RAG에서 할루시네이션을 잡는 4단계

DocPilot 자체 운영 18개월에서 정리한 정확도 94.2%의 비밀. 검색·재랭킹·근거 인용·평가까지.

RAG가 '틀리지 않게' 만드는 일은 모델을 바꾸는 일이 아닙니다. DocPilot이 답변 정확도 94.2%를 유지하는 4단계 — 검색·재랭킹·근거 인용·평가.

1단계 — 하이브리드 검색

벡터(의미) + BM25(키워드)를 합칩니다. 한쪽만 쓰면 '말은 비슷한데 다른 주제'를 가져옵니다. 한국어 환경에서는 특히 키워드 검색이 강력합니다.

2단계 — 재랭킹

검색된 후보 20개를 LLM이 재정렬. '이 질문에 가장 답이 되는' 문서를 상위로. 추가 비용은 미미하지만 정확도 영향이 큽니다.

3단계 — 답변 근거 인용

답변마다 출처 문서·페이지를 노출합니다. 사용자가 직접 검증할 수 있게 만드는 것이 신뢰의 핵심.

4단계 — 사용자 평가 루프

'이 답변이 도움이 됐나요' 한 줄. 부정 평가는 자동으로 분석 → 검색 정확도·임베딩·프롬프트 개선에 반영. 운영 중에도 정확도가 올라갑니다.