Thu thập dữ liệu đa nguồn
Tích hợp 6 bộ thu thập dữ liệu y tế: PubMed API, PMC Open Access, Scrapy & Playwright spider cho website bệnh viện (BV Bạch Mai, BV Chợ Rẫy), VinBigData Chest X-ray và Open Medical Datasets.
Open Vietnamese Medical Dataset for AI
Xây dựng nền tảng dữ liệu mở y tế Việt Nam — chuẩn hóa tuân thủ GDPR/HIPAA, sẵn sàng cho fine-tuning các mô hình LLM, PhoBERT, Llama 3 và Qwen.
pip install vmad-datasetCrawling từ BV Bạch Mai, Chợ Rẫy, PubMed & VinBigData
Phát hiện & khử định danh Tên, CCCD, Ngày sinh, SĐT, Địa chỉ
Trích xuất văn bản, loại bỏ ký tự rác, xuất JSONL / Parquet
Chấm điểm thuật ngữ y khoa & loại bỏ văn bản lỗi
Đóng gói dạng Alpaca/ShareGPT sẵn sàng huấn luyện Llama & Qwen
Phát triển minh bạch với giấy phép Apache 2.0. Toàn bộ mã nguồn crawler, pipeline và dữ liệu đều sẵn sàng cho cộng đồng.
Đã đóng gói thành dạng Alpaca & ShareGPT JSONL / Parquet, dễ dàng đưa vào fine-tune với Unsloth, LLaMA-Factory hay Hugging Face Trainer.
Dữ liệu được thu thập từ các báo cáo lâm sàng, tài liệu nghiên cứu y học tiếng Việt tại các bệnh viện lớn (Bạch Mai, Chợ Rẫy, PubMed, PMC).
Tích hợp Presidio engine được tùy biến riêng cho các thực thể tiếng Việt (CCCD, SĐT VN, Tên người, Địa chỉ, Ngày sinh).
Sử dụng trực tiếp để fine-tune các dòng mô hình tiên tiến nhất: Qwen 2.5, Llama 3, Gemma, PhoBERT, VinBigData.
Tích hợp 6 bộ thu thập dữ liệu y tế: PubMed API, PMC Open Access, Scrapy & Playwright spider cho website bệnh viện (BV Bạch Mai, BV Chợ Rẫy), VinBigData Chest X-ray và Open Medical Datasets.
Tích hợp Microsoft Presidio với các bộ nhận dạng tùy chỉnh cho tiếng Việt. Phát hiện và thay thế PERSON, ID_CARD (CCCD 12 / CMND 9 chữ số), DOB (ngày sinh), PHONE (SĐT VN) và ADDRESS với độ chính xác >99%.
Sử dụng lớp VMADDataLoader để hợp nhất dữ liệu từ tất cả các nguồn, trích xuất cấu trúc văn bản, làm sạch và xuất dưới định dạng chuẩn JSONL & Parquet cùng metadata chi tiết.
Chấm điểm chất lượng (quality_score) dựa trên mật độ thuật ngữ y khoa và độ sạch văn bản, kết hợp tiến trình Daemon chạy ngầm liên tục tự động thu thập và xử lý quy mô lớn.
VMAD tổng hợp văn bản lâm sàng tiếng Việt từ các nguồn chính thống và trải qua quy trình tự động hóa khử định danh PHI trước khi đóng gói thành các tập dữ liệu huấn luyện tiêu chuẩn.
| Mô hình AI (Model) | Nhiệm vụ (Task) | Độ chính xác (Accuracy / F1) | Trạng thái (Status) |
|---|---|---|---|
| PhoBERT-base-v2 | NER (Bóc tách thực thể PHI) | 94.6% | Đạt chuẩn |
| Qwen 2.5 (7B-Instruct) | Medical QA (Trả lời câu hỏi y tế) | 88.2% | Thử nghiệm v1 |
| Llama 3 (8B-Instruct) | Clinical Summarization (Tóm tắt ca bệnh) | 91.4% | Thử nghiệm v1 |
Phát hành phiên bản 1.0 với 10,000+ mẫu hồ sơ & văn bản y tế tiếng Việt.
Hoàn thiện mô hình bóc tách PHI tiếng Việt dựa trên Microsoft Presidio.
Mở rộng tập dữ liệu hỏi đáp y khoa & suy luận lâm sàng chuyên sâu.
Tích hợp dữ liệu đa thức: Ảnh X-quang, Chẩn đoán hình ảnh kết hợp báo cáo văn bản.
Mọi đóng góp về bộ thu thập (crawler), thuật toán ẩn danh PHI hay kiểm định chất lượng dữ liệu đều trực tiếp nâng cao sức mạnh cho cộng đồng AI Việt Nam.