Đóng góp cho VMAD.

Fork repository trên GitHub, sau đó clone bản fork về máy tính của bạn:

git clone https://github.com/<your-username>/VMAD.git
cd VMAD
git remote add upstream https://github.com/Panda-Lab-VN/VMAD.git

Khởi tạo môi trường ảo và cài đặt package cùng mô hình spacy:

# Tạo & kích hoạt virtualenv
python -m venv venv
source venv/bin/activate  # Linux/Mac
# venv\Scripts\activate   # Windows

# Cài đặt gói mở rộng đầy đủ
pip install -e ".[all]"
python -m spacy download xx_ent_wiki_sm

Chạy các crawler trong thư mục src/crawlers/ để kiểm tra:

# Crawl PubMed articles
python -m src.crawlers.pubmed_crawler --max 50 --output data/raw/pubmed_articles.jsonl

# (Optional) Tải mẫu từ VinBigData
python -m src.crawlers.vinbigdata_loader --sample 50 --output data/raw/vinbigdata_sample.jsonl

Thực thi quy trình chuẩn hóa dữ liệu và ẩn danh PHI:

python -c "
from src.data_loader import VMADDataLoader
from src.preprocessing import run_pipeline

loader = VMADDataLoader()
df = loader.load_all()
df_std = VMADDataLoader.standardize(df)
VMADDataLoader.save_standardized(df_std, 'data/processed/standardized.jsonl')

run_pipeline('data/processed/standardized.jsonl', 'data/processed/final_dataset.jsonl', run_anonymization=True)
"

Đảm bảo toàn bộ unit test chạy thành công trước khi gửi Pull Request:

# Chạy toàn bộ unit test
pytest tests/ -v

# Tạo nhánh tính năng & commit
git checkout -b feature/add-new-recognizer
git commit -m "feat(anonymization): add custom vietnamese hospital recognizer"
git push origin feature/add-new-recognizer

Đội ngũ nòng cốt tại Panda Lab sẽ review PR của bạn, chạy kiểm tra CI tự động và merge vào nhánh chính.