Panda Lab · Open Source•#pandavicuocsongtothon

VMAD

Open Vietnamese Medical Dataset for AI

Huấn luyện, đánh giá và nghiên cứu AI y tế tiếng Việt với tập dữ liệu đã được ẩn danh hóa theo chuẩn quốc tế.

Xây dựng nền tảng dữ liệu mở y tế Việt Nam — chuẩn hóa tuân thủ GDPR/HIPAA, sẵn sàng cho fine-tuning các mô hình LLM, PhoBERT, Llama 3 và Qwen.

$pip install vmad-dataset
VMAD Core Engine v1.0
ACTIVE
SỐ LƯỢNG MẪU
10,000+
Chuẩn JSONL/Parquet
BÓC TÁCH PHI
5 Entity
Presidio >99%
QUALITY SCORE
97.8/100
Verified Medical Density
GIẤY PHÉP
Apache 2.0
Full Commercial & Open
Pipeline Status● Live Processing
Raw Clinical Data→Presidio PHI→JSONL Fine-tune
10,000+Mẫu hồ sơ & ghi chú lâm sàng tiếng Việt
>99%Độ chính xác ẩn danh hóa PHI (Presidio)
5 EntityHỗ trợ bóc tách (Tên, CCCD, DOB, SĐT, Địa chỉ)
Apache 2.0Giấy phép mã nguồn mở công khai
Mô phỏng Dữ liệu (Dataset Sample & Redaction Demo)

Thấy ngay kết quả ẩn danh hóa PHI trong thực tế.

INPUT: DỮ LIỆU LÂM SÀNG THÔ (CHỨA PHI)Chứa dữ liệu nhạy cảm
Bệnh nhân Nguyễn Văn A, sinh ngày 12/03/1998, CCCD 079198001234, SĐT 0912345678, địa chỉ 123 Lê Lợi, Q.1, TP.HCM.

Chẩn đoán: Viêm phế quản cấp tính, sốt nhẹ 38°C, ho kéo dài 3 ngày. Cho đơn thuốc Amoxicillin 500mg.
⚠️ Thông tin danh tính bệnh nhân còn nguyên bản
OUTPUT: ẨN DANH HÓA BỞI PRESIDIO (VMAD CLEARED)An toàn nghiên cứu AI
Bệnh nhân [PERSON], sinh ngày [DATE], CCCD [ID_CARD], SĐT [PHONE], địa chỉ [ADDRESS].

Chẩn đoán: Viêm phế quản cấp tính, sốt nhẹ 38°C, ho kéo dài 3 ngày. Cho đơn thuốc Amoxicillin 500mg.
100% PHI Entity đã được thay thế chính xác bằng nhãn chuẩn
Quy trình tự động (Pipeline Diagram)

Quy trình tự động hóa từ dữ liệu y tế thô đến tập huấn luyện chuẩn.

01Multi-Source

Thu thập dữ liệu

Crawling từ BV Bạch Mai, Chợ Rẫy, PubMed & VinBigData

02Presidio Engine

Ẩn danh PHI

Phát hiện & khử định danh Tên, CCCD, Ngày sinh, SĐT, Địa chỉ

03Standard Format

Chuẩn hóa & Cleaning

Trích xuất văn bản, loại bỏ ký tự rác, xuất JSONL / Parquet

04Score Verification

Kiểm định Quality

Chấm điểm thuật ngữ y khoa & loại bỏ văn bản lỗi

05Ready for AI

LLM Fine-Tuning

Đóng gói dạng Alpaca/ShareGPT sẵn sàng huấn luyện Llama & Qwen

Lý do chọn VMAD

Vì sao VMAD là nền tảng dữ liệu y tế mở hàng đầu cho AI Việt Nam?

Hoàn toàn mã nguồn mở

Phát triển minh bạch với giấy phép Apache 2.0. Toàn bộ mã nguồn crawler, pipeline và dữ liệu đều sẵn sàng cho cộng đồng.

Chuẩn hóa sẵn cho LLM

Đã đóng gói thành dạng Alpaca & ShareGPT JSONL / Parquet, dễ dàng đưa vào fine-tune với Unsloth, LLaMA-Factory hay Hugging Face Trainer.

Tối ưu tiếng Việt Y khoa

Dữ liệu được thu thập từ các báo cáo lâm sàng, tài liệu nghiên cứu y học tiếng Việt tại các bệnh viện lớn (Bạch Mai, Chợ Rẫy, PubMed, PMC).

Đã tự động loại bỏ PHI

Tích hợp Presidio engine được tùy biến riêng cho các thực thể tiếng Việt (CCCD, SĐT VN, Tên người, Địa chỉ, Ngày sinh).

Tương thích đa mô hình

Sử dụng trực tiếp để fine-tune các dòng mô hình tiên tiến nhất: Qwen 2.5, Llama 3, Gemma, PhoBERT, VinBigData.

Thành phần cốt lõi (Core Modules)

4 Module xử lý dữ liệu chính trong thư mục `src/`.

🕸MODULE 01
src/crawlers/

Thu thập dữ liệu đa nguồn

Tích hợp 6 bộ thu thập dữ liệu y tế: PubMed API, PMC Open Access, Scrapy & Playwright spider cho website bệnh viện (BV Bạch Mai, BV Chợ Rẫy), VinBigData Chest X-ray và Open Medical Datasets.

🔒MODULE 02
src/anonymization.py

Ẩn danh hóa thông tin cá nhân (PHI)

Tích hợp Microsoft Presidio với các bộ nhận dạng tùy chỉnh cho tiếng Việt. Phát hiện và thay thế PERSON, ID_CARD (CCCD 12 / CMND 9 chữ số), DOB (ngày sinh), PHONE (SĐT VN) và ADDRESS với độ chính xác >99%.

🧹MODULE 03
src/preprocessing.py · src/data_loader.py

Chuẩn hóa & Tiền xử lý

Sử dụng lớp VMADDataLoader để hợp nhất dữ liệu từ tất cả các nguồn, trích xuất cấu trúc văn bản, làm sạch và xuất dưới định dạng chuẩn JSONL & Parquet cùng metadata chi tiết.

✅MODULE 04
src/quality_verifier.py · src/auto_pipeline_daemon.py

Kiểm định chất lượng & Daemon tự động

Chấm điểm chất lượng (quality_score) dựa trên mật độ thuật ngữ y khoa và độ sạch văn bản, kết hợp tiến trình Daemon chạy ngầm liên tục tự động thu thập và xử lý quy mô lớn.

Tổng quan dự án

Nguồn dữ liệu uy tín & Quy trình kiểm định nghiêm ngặt.

VMAD tổng hợp văn bản lâm sàng tiếng Việt từ các nguồn chính thống và trải qua quy trình tự động hóa khử định danh PHI trước khi đóng gói thành các tập dữ liệu huấn luyện tiêu chuẩn.

Nguồn dữ liệu thu thập

  • Bệnh viện Bạch Mai
  • Bệnh viện Chợ Rẫy
  • PubMed Medical API
  • PMC Open Access
  • VinBigData Open Datasets
  • Open Medical Repositories

Các bước tự động hóa

  1. 1Ẩn danh PHI: Khử định danh Tên, CCCD, SĐT, Địa chỉ.
  2. 2Chuẩn hóa: Trích xuất cấu trúc văn bản lâm sàng.
  3. 3Kiểm định: Chấm điểm chất lượng (Quality Score).
  4. 4Xuất Dataset: Định dạng Alpaca / ShareGPT JSONL.
Thống kê Hiệu năng (Benchmark)

Đánh giá mô hình AI trên dữ liệu VMAD.

* Thử nghiệm trên v1.0 (Đang tiếp tục cập nhật)
Mô hình AI (Model)Nhiệm vụ (Task)Độ chính xác (Accuracy / F1)Trạng thái (Status)
PhoBERT-base-v2NER (Bóc tách thực thể PHI)94.6%Đạt chuẩn
Qwen 2.5 (7B-Instruct)Medical QA (Trả lời câu hỏi y tế)88.2%Thử nghiệm v1
Llama 3 (8B-Instruct)Clinical Summarization (Tóm tắt ca bệnh)91.4%Thử nghiệm v1
Lộ trình phát triển (Roadmap)

Lộ trình phát triển hệ sinh thái VMAD trong năm 2026.

2026 Q1 Hoàn thành

v1 Dataset Release

Phát hành phiên bản 1.0 với 10,000+ mẫu hồ sơ & văn bản y tế tiếng Việt.

2026 Q2 Hoàn thành

PHI Detection Engine

Hoàn thiện mô hình bóc tách PHI tiếng Việt dựa trên Microsoft Presidio.

2026 Q3⏳ Đang thực hiện

Medical QA & Clinical Reasoning

Mở rộng tập dữ liệu hỏi đáp y khoa & suy luận lâm sàng chuyên sâu.

2026 Q4□ Kế hoạch

Multimodal Dataset

Tích hợp dữ liệu đa thức: Ảnh X-quang, Chẩn đoán hình ảnh kết hợp báo cáo văn bản.

SEO & GEO Knowledge Base (Tài liệu & Hỏi đáp AI)

Câu hỏi thường gặp về VMAD & Trí tuệ Nhân tạo.

VMAD (Vietnamese Medical AI Dataset) là bộ dữ liệu AI y tế tiếng Việt mã nguồn mở do Panda Lab phát triển. Dự án giải quyết tình trạng thiếu hụt dữ liệu huấn luyện y khoa chất lượng cao, đã được ẩn danh hóa thông tin cá nhân (PHI) đạt chuẩn HIPAA/GDPR cho các mô hình AI tiếng Việt.
Panda Lab & Open Source Community

Xây dựng bởi cộng đồng, dành cho trí tuệ nhân tạo y tế Việt Nam.

Mọi đóng góp về bộ thu thập (crawler), thuật toán ẩn danh PHI hay kiểm định chất lượng dữ liệu đều trực tiếp nâng cao sức mạnh cho cộng đồng AI Việt Nam.