GitHub - ekimetrics/adaptive-chunking: Adaptive Chunking: automatically select the best chunking method per document for RAG. Accepted at LREC 2026.

GitHub Nguồn gốc

Bài viết giới thiệu Adaptive Chunking, một phương pháp tối ưu hóa quy trình RAG (Retrieval-Augmented Generation) bằng cách tự động lựa chọn chiến lược phân đoạn văn bản tốt nhất cho từng tài liệu, thay vì dùng một phương pháp duy nhất cho tất cả. Hệ thống sử dụng năm chỉ số đánh giá chất lượng nội tại để chấm điểm các phương pháp chia đoạn khác nhau và chọn ra phương pháp tối ưu, đồng thời có thiết kế mô-đun cho phép người dùng tùy chỉnh cả phương pháp và chỉ số đánh giá. Kết quả thử nghiệm cho thấy Adaptive Chunking vượt trội hơn các phương pháp phổ biến như LangChain recursive về mức độ hoàn chỉnh của truy xuất và độ chính xác của câu trả lời.

Điểm đáng chú ý

Kho lưu trữ GitHub "ekimetrics/adaptive-chunking" triển khai chính thức bài báo "Adaptive Chunking: Optimizing Chunking-Method Selection for RAG", được chấp nhận tại hội nghị LREC 2026.
Tác giả gồm Paulo Roberto de Moura Junior, Jean Lelong, Annabelle Blangero từ Ekimetrics.
Phương pháp sử dụng năm chỉ số chất lượng nội tại (Size Compliance, Intrachunk Cohesion, Contextual Coherence, Block Integrity, Filtered Missing Reference Error) trên bộ dữ liệu CLAIR với 33 tài liệu thuộc 3 lĩnh vực, tổng ~1,18 triệu token.
Kết quả đánh giá RAG: Adaptive Chunking đạt Retrieval Completeness 67,7, Answer Correctness 78,0, trả lời được 65/99 câu hỏi, vượt trội so với LangChain recursive (58,1; 70,1; 49/99) và Page splitting (59,1; 73,3; 49/99).