RAG만으로 기업 문서의 할루시네이션을 막을 수는 없습니다.
원문이 잘못 읽히거나 표와 항목의 관계가 깨진 상태라면, 생성형 AI는 잘못된 정보를 근거로 출처까지 붙은 오답을 만들 수 있습니다. 기업 문서 AI의 할루시네이션은 답변 생성 단계가 아니라 문서 인식과 구조화 단계에서 이미 시작될 수 있기 때문입니다. 따라서 기업은 프롬프트나 RAG 적용 여부뿐 아니라 다음 다섯 가지를 함께 확인해야 합니다.
답변의 근거를 원문까지 추적할 수 있는가
불확실한 결과를 예외로 분기할 수 있는가
표와 항목의 문서 구조가 보존되는가
방지 효과를 지표로 측정할 수 있는가
보안과 감사 추적 요건을 충족하는가
핵심 요약
프롬프트 엔지니어링, RAG, 파인튜닝은 할루시네이션 가능성을 줄이는 데 도움이 됩니다. 하지만 잘못 읽히거나 구조가 깨진 문서를 근거로 사용하면 오히려 발견하기 어려운 오류가 만들어질 수 있습니다. 기업 문서 업무에서는 문서 인식부터 구조화, 검색, 답변 생성, 근거 검증까지 전체 과정의 품질을 확인해야 합니다.
RAG만으로 할루시네이션을 막기 어려운 이유
RAG는 생성형 AI가 사내 문서나 데이터베이스를 검색하고, 검색된 내용을 바탕으로 답하도록 만드는 기술입니다. 하지만 RAG의 품질은 검색 모델만으로 결정되지 않습니다. 문서 파싱, 청킹, 검색 정확도, 근거 선택, 답변 생성 등 여러 단계의 영향을 받습니다. 예를 들어 계약서의 특약 조항이 본문과 잘못 연결되거나, 재무제표의 숫자와 항목명이 어긋난 상태로 추출되면 문제가 발생합니다. 생성형 AI가 해당 정보를 정확히 인용하더라도 숫자가 의미하는 항목 자체는 틀릴 수 있습니다. 이처럼 출처는 있지만 근거가 잘못된 답변은 근거가 없는 답변보다 오류를 발견하기 어렵습니다. 할루시네이션 방지는 RAG를 붙이는 것보다 먼저, RAG가 참고하는 문서를 정확하게 만드는 것에서 시작해야 합니다.
1. 답변의 근거를 원문까지 추적할 수 있는가
AI가 제시한 답변이 어떤 문서의 어느 페이지와 항목에서 나왔는지 확인할 수 있어야 합니다. 문서 이름만 표시하는 것으로는 부족합니다. 답변에 사용된 원문 문장이나 표의 위치까지 연결돼야 담당자가 빠르게 결과를 검증할 수 있습니다. 확인할 내용은 다음과 같습니다.
답변의 문서, 페이지, 문단을 확인할 수 있는가
여러 문서를 사용했다면 근거를 구분할 수 있는가
근거가 없을 때 답변을 보류하는가
잘못된 결과의 원인을 추적할 수 있는가
2. 불확실한 결과를 예외로 분기할 수 있는가
흐릿한 스캔본, 손글씨, 처음 접하는 양식에서는 오류 가능성이 높아질 수 있습니다. 이때 모든 결과를 정상 처리해서는 안 됩니다. 문자와 항목의 인식 신뢰도, 검색된 근거의 적합성, 문서 간 값의 일치 여부, 업무 규칙 등을 종합해 불확실한 결과만 사람에게 넘길 수 있어야 합니다. 특히 생성형 AI가 스스로 제시하는 확신 점수에만 의존해서는 안 됩니다. 실제 문서 근거와 규칙을 바탕으로 결과를 다시 검증해야 합니다.
3. 표와 항목의 문서 구조가 보존되는가
기업 문서에서는 글자를 정확히 읽는 것만큼 항목 사이의 관계를 정확히 이해하는 것이 중요합니다. 재무제표의 숫자를 정확히 읽었더라도 해당 값이 매출인지 영업이익인지 잘못 연결되면 업무에서는 오답입니다. 계약서에서도 조항, 예외 조건, 각주의 관계가 무너지면 원문의 의미가 달라질 수 있습니다. 따라서 다음 구조가 데이터 변환 과정에서도 유지되는지 확인해야 합니다.
표의 행과 열
병합 셀과 다중 페이지 표
항목명과 값의 연결
제목, 본문, 각주의 계층 관계 문서 구조가 깨지면 RAG는 관련 정보가 아닌 비슷한 단어나 숫자를 근거로 선택할 수 있습니다.
4. 방지 효과를 지표로 측정할 수 있는가
“할루시네이션이 줄었다”는 평가만으로는 실제 효과를 판단하기 어렵습니다. PoC에서는 실제 업무 문서를 활용해 답변 품질과 운영 효율을 각각 측정해야 합니다.
답변 품질 지표
정답 정확도: 답변이 실제 정답과 일치하는 비율
근거 일치율: 답변이 제시된 문서 근거와 일치하는 비율
인용 정확도: 표시된 출처가 답변을 실제로 뒷받침하는 비율
근거 없는 답변 비율: 원문에서 확인할 수 없는 내용이 포함된 비율
운영 효율 지표
자동처리율: 사람 개입 없이 처리된 문서 비율
예외검수율: 추가 확인이 필요했던 문서 비율
오정상 처리율: 오류 결과를 정상으로 잘못 처리한 비율
평균 검수 시간: 예외 한 건을 확인하는 데 걸린 시간 자동처리율이 높더라도 잘못된 결과가 정상으로 통과한다면 안전한 자동화라고 보기 어렵습니다. 기업 업무에서는 자동처리율과 함께 오정상 처리율을 반드시 확인해야 합니다.
5. 보안과 감사 추적 요건을 충족하는가
금융, 공공, 제조 등 민감한 문서를 다루는 기업에서는 정확도만으로 시스템을 도입할 수 없습니다. 문서가 어디에서 처리되는지, 누가 결과를 확인했는지, 어떤 근거로 답변이 생성됐는지를 기록하고 관리할 수 있어야 합니다. 도입 전에는 다음을 확인해야 합니다.
온프레미스·폐쇄망 배포가 가능한가
원문과 처리 데이터의 저장 위치를 통제할 수 있는가
답변 생성과 검증 이력이 남는가
사용자별 접근 권한을 관리할 수 있는가
오류 발생 시 결과를 재현할 수 있는가
PoC에서 무엇을 확인해야 하나요?
공개 벤치마크나 인식률만으로 실제 업무 적용 가능성을 판단하기는 어렵습니다. 최근 한 달간 처리한 계약서, 신청서, 증빙서류 등 실제 문서를 활용해 다음 단계를 확인해야 합니다.
단계 | 주요 확인 내용 |
|---|---|
문서 인식 | 문자와 주요 항목이 정확히 추출되는가 |
구조화 | 표와 항목 간 관계가 유지되는가 |
검색 | 필요한 근거가 검색 결과에 포함되는가 |
답변 | 답변이 문서 근거 안에서 작성되는가 |
검증 | 오류 가능성이 높은 결과를 구분하는가 |
운영 | 실제로 사람의 검수 시간과 개입이 줄었는가 |
핵심은 많이 자동화하는 것이 아니라, 정확한 결과는 자동 처리하고 위험한 결과만 사람에게 넘기는 것입니다.
한국딥러닝은 기업에서 바로 일할 수 있는 AI 직원을 구현합니다
한국딥러닝은 Zero Training, Zero Hallucination, Zero Review라는
3 Zero 전략과 방향을 바탕으로 기업의 실제 업무에 바로 투입할 수 있는
AI 직원을 구현하고자 합니다. 단순히 문서를 읽거나 질문에 답하는 AI가 아니라,
문서를 이해하고 필요한 정보를 비교·검증하며, 정상 건과 예외 건을 구분해 다음 업무와 시스템까지 연결하는 AI 직원입니다.
이를 위해 문서 업무를 다음과 같이 연결합니다.
OCR 기술: 문서 속 문자와 주요 항목을 인식하고 추출
Parser 기술: 표, 병합 셀, 제목, 문단 등 문서 구조와 관계를 복원
DEEP Agent: 문서 근거를 바탕으로 비교·검증하고 후속 업무와 시스템을 연결
문서 수집 → 분류 → 정보 추출 → 구조화 → 비교·검증 → 정상·예외 분기 → 시스템 연계
Zero Hallucination이 의미하는 것
Zero Hallucination은 생성형 AI의 오류가 어떠한 상황에서도 완전히 발생하지 않는다고 보장하는 표현이 아닙니다. 한국딥러닝이 추구하는 Zero Hallucination은 문서 근거 밖의 답변 가능성을 최소화하고, 생성된 결과를 실제 원문과 대조·검증하며, 근거가 부족하거나 위험도가 높은 결과를 예외로 분기하는 기술적 방향입니다. 핵심은 세 가지입니다.
답변의 근거를 원문까지 추적할 수 있게 한다.
문서 근거와 답변이 일치하는지 검증한다.
불확실하거나 고위험인 결과는 사람이 확인하도록 분기한다. 이를 통해 사람이 모든 결과를 다시 확인하는 방식에서 벗어나, 정상 건은 자동으로 처리하고 예외 건에만 집중할 수 있는 업무 구조를 지향합니다.
Q&A
Q1. 할루시네이션을 완전히 없앨 수 있나요?
모든 환경에서 오류 가능성을 완전히 제거한다고 보장하기는 어렵습니다. 현실적인 목표는 문서 근거 밖의 생성을 줄이고, 결과를 원문과 검증하며, 위험한 결과를 사람이 확인하도록 분기하는 것입니다.
Q2. RAG만 적용하면 할루시네이션이 방지되나요?
RAG는 할루시네이션을 줄이는 데 도움이 되지만 만능은 아닙니다. 문서가 잘못 파싱되거나 필요한 근거가 검색되지 않으면 왜곡된 답변이 만들어질 수 있습니다.
Q3. 문서 파싱 오류가 왜 할루시네이션으로 이어지나요?
RAG는 파싱된 데이터를 검색 대상으로 사용합니다. 표의 행과 열이 어긋나거나 숫자와 항목이 잘못 연결되면, AI는 왜곡된 데이터를 근거로 자연스러운 오답을 만들 수 있습니다.
Q4. 방지 효과는 어떻게 확인하나요?
정답 정확도와 근거 일치율 같은 품질 지표를 먼저 확인해야 합니다. 이후 자동처리율, 예외검수율, 오정상 처리율 등 실제 업무 운영 지표를 함께 평가해야 합니다.
💡 참고해보세요!
문의
할루시네이션 방지 기술은 실제 업무 문서로 검증해야 합니다. 한국딥러닝은 문서 인식과 구조화부터 근거 추적, 결과 검증, 정상·예외 분기까지 실제 업무 데이터를 기준으로 확인할 수 있도록 지원합니다.
