문서 AI를 이야기할 때 가장 먼저 떠올리는 기술은 여전히 OCR이다.
계약서, 신청서, 증빙서류, 영수증, 도면, 공문, 보고서처럼 기업과 기관의 업무에는 아직도 수많은 문서가 오간다. 많은 사람들은 OCR을 “이미지 속 글자를 텍스트로 바꾸는 기술” 정도로 이해한다.
하지만 실제 업무 현장의 문서는 그렇게 단순하지 않다.
한 장의 문서 안에는 제목, 본문, 표, 주석, 서명란, 도장, 체크박스, 첨부 이미지, 숫자, 단위, 항목 간 관계가 복잡하게 얽혀 있다. 글자를 정확히 읽는 것만으로는 부족하다. 어느 값이 어떤 항목에 연결되는지, 표의 행과 열이 어떤 의미를 갖는지, 문서 전체 흐름 속에서 해당 정보가 어떤 맥락에 놓여 있는지를 함께 이해해야 한다.
한국딥러닝의 AI 개발자 Ian은 이 문제를 오래 붙잡아온 사람이다.
2026년 3월, Ian이 개발에 참여한 한국딥러닝의 문서 AI 모델 KDL Frontier는 글로벌 OCR 벤치마크 OCRBench v2 영어 부문에서 전체 1위를 기록했다. 제미나이, GPT, 엔비디아 등 글로벌 빅테크 모델보다 높은 순위였다.
이번 성과는 단순히 OCR 점수 하나가 높게 나온 결과가 아니다. 문서 인식, 정보 추출, 파싱, 계산, 맥락 이해, 추론까지 포함하는 고난도 평가에서 한국딥러닝의 문서 AI 기술이 글로벌 주요 모델과 경쟁할 수 있음을 보여준 사례다.
무엇보다 중요한 건, 이 성과가 한국딥러닝이 오래 집중해온 방향과 맞닿아 있다는 점이다.
문서 AI는 범용 AI만으로 해결하기 어렵다. 산업과 업무마다 문서를 보는 방식이 다르고, 같은 숫자라도 어떤 문서에 놓였는지에 따라 의미가 달라진다. 결국 문서를 제대로 이해하려면 기술뿐 아니라 문서 도메인에 대한 경험과 해석력이 필요하다.
Ian에게 이번 성과의 의미와 KDL Frontier가 문서를 이해하는 방식, 그리고 한국딥러닝 개발팀이 문서 AI를 대하는 태도에 대해 물었다.
“1위보다 더 중요했던 건, 실제 문서에서도 통하는 모델을 만드는 일이었습니다.”
Q. 먼저 OCRBench v2 1위 달성 소감이 궁금합니다.
솔직히 기뻤습니다. 개발자로서 글로벌 리더보드에서 1위를 했다는 건 분명히 의미 있는 일이니까요.
다만 저희가 처음부터 “리더보드 1위”만 보고 달린 건 아니었습니다. 더 중요하게 본 건 실제 고객 문서에서 모델이 얼마나 안정적으로 동작하는가였습니다.
업무 현장에서 OCR이 틀리면 단순히 글자 하나가 잘못 읽히는 문제가 아닙니다. 숫자 하나가 잘못 추출되면 검토자가 다시 확인해야 하고, 항목이 잘못 연결되면 후속 업무 전체가 흔들릴 수 있습니다.
그래서 저희는 점수를 높이는 것보다 “실제 문서에서 의미 있는 오류를 얼마나 줄일 수 있는가”를 더 중요하게 봤습니다. 이번 결과는 그 방향이 틀리지 않았다는 확인에 가까웠습니다.
OCRBench v2는 왜 어려운 벤치마크인가요?
Q. OCRBench v2는 일반적인 OCR 평가와 어떤 점이 다른가요?
기존 OCR 평가는 보통 “글자를 얼마나 정확히 읽었는가”에 초점이 맞춰져 있습니다. 물론 그것도 중요합니다. 하지만 문서 AI에서 정말 어려운 문제는 그다음에 있습니다.
예를 들어 계약서에서 날짜를 읽었다고 해도, 그 날짜가 계약 체결일인지, 효력 발생일인지, 지급 기한인지 구분하지 못하면 업무에 바로 쓰기 어렵습니다. 표 안의 금액을 읽어도 그 금액이 공급가액인지, 부가세인지, 합계금액인지 연결하지 못하면 결국 사람이 다시 봐야 합니다.
OCRBench v2는 이런 부분을 더 깊게 봅니다. 단순 인식뿐 아니라 문서 내 텍스트의 위치, 레이아웃, 관계, 추출, 파싱, 계산, 맥락 이해, 추론 능력을 함께 평가합니다.
쉽게 말하면 “글자를 읽을 수 있느냐”가 아니라, “문서를 보고 업무적으로 의미 있는 정보를 이해할 수 있느냐”를 묻는 평가에 가깝습니다.
“OCR에서 가장 위험한 오류는 못 읽는 오류가 아니라, 잘못 연결하는 오류입니다.”
Q. KDL Frontier가 좋은 성적을 낼 수 있었던 핵심은 무엇인가요?
저희는 문서를 하나의 이미지나 텍스트 덩어리로 보지 않습니다. 문서 안에는 구조가 있고, 관계가 있고, 흐름이 있습니다. KDL Frontier는 이 전체 구조와 맥락을 함께 고려하도록 설계됐습니다.
OCR에서 흔히 생각하는 오류는 글자를 잘못 읽는 것입니다. 그런데 실제 업무에서는 글자는 맞게 읽었는데 엉뚱한 항목에 연결되는 오류가 더 치명적일 때가 많습니다.
예를 들어 문서에 ‘2026년 3월 1일’이라는 날짜가 있고, 모델이 이 날짜를 정확히 읽었다고 해도 그것이 계약일인지, 제출일인지, 만료일인지 잘못 판단하면 결과적으로는 틀린 정보가 됩니다.
그래서 저희는 텍스트를 잘 읽는 것만큼이나 문서 내 요소 간 연결성을 유지하는 데 집중했습니다. 레이아웃, 위치, 주변 텍스트, 항목 간 관계를 동시에 보면서 정보가 실제 의미 단위로 추출되도록 한 것이 성능에 영향을 줬다고 생각합니다.
“문서 AI에는 문서를 아는 AI가 필요합니다.”
Q. 최근에는 범용 멀티모달 모델도 문서를 꽤 잘 읽습니다. 그럼에도 문서 특화 모델이 필요한 이유는 무엇일까요?
범용 모델은 정말 빠르게 발전하고 있습니다. 이미지도 보고, 텍스트도 이해하고, 질문에도 답할 수 있습니다. 저희도 그 발전 속도를 계속 보고 있습니다.
다만 기업과 기관의 문서 업무는 범용 모델이 잘하는 일반적인 이해 능력만으로는 부족한 경우가 많습니다. 실제 문서 처리에서는 일관성, 재현성, 보안, 항목별 정확도, 구조 유지, 후처리 가능성이 중요합니다.
고객사는 보통 “이 문서가 대략 어떤 내용인지 알려줘”를 원하는 게 아닙니다. “이 항목을 정확히 추출해서 우리 시스템의 특정 필드에 넣어줘”를 원합니다. 이때는 답변이 자연스러운 것보다, 문서에 있는 정보만 근거로 정확하게 추출되는 것이 훨씬 중요합니다.
그리고 이건 단순히 모델이 똑똑하다고 해결되는 문제가 아닙니다. 문서가 어떤 업무에서 쓰이는지, 어떤 항목이 중요한지, 어떤 오류가 실제 운영에서 치명적인지 알아야 합니다.
예를 들어 공공 문서, 금융 서류, 제조 현장 문서, 교육 행정 문서는 모두 구조와 목적이 다릅니다. 같은 ‘금액’이라는 단어도 어떤 문서에서는 계약금이고, 어떤 문서에서는 공급가액이며, 어떤 문서에서는 예산 집행액일 수 있습니다. AI가 이 차이를 이해하지 못하면 자동화는 오히려 검토 부담을 늘릴 수 있습니다.
문서 AI에 도메인 지식이 필요한 이유가 여기에 있습니다.
한국딥러닝은 문서를 단순히 OCR 처리 대상으로 보지 않습니다. 문서가 어떤 업무에서 발생하고, 어떤 기준으로 검토되며, 어떤 형태로 시스템에 들어가야 하는지까지 함께 봅니다. 그 경험이 모델 설계와 데이터 구성, 오류 분석 과정에 계속 반영됩니다.
KDL Frontier는 문서를 어떻게 이해하나요?
Q. 조금 더 기술적으로 설명한다면 어떤 접근을 적용했나요?
문서에는 시각 정보와 언어 정보가 동시에 존재합니다. 어떤 텍스트가 어디에 놓여 있는지, 어떤 항목과 가까운지, 표 안에서 몇 번째 행과 열에 있는지, 주변 문장과 어떤 관계를 갖는지가 모두 중요합니다.
KDL Frontier는 이런 정보를 분리해서 보지 않고 함께 반영하는 방향으로 설계됐습니다. 문서의 레이아웃, 관계, 위치 정보를 함께 보고, 문서 안의 요소들이 어떤 맥락에서 연결되는지 유지하려고 했습니다.
특히 문서 파싱에서는 단순히 “텍스트를 뽑아내는 것”이 아니라, 문서가 가진 구조를 최대한 보존하는 것이 중요합니다. 제목은 제목으로, 표는 표로, 항목과 값은 서로 연결된 형태로 유지되어야 이후 자동화 업무에 활용할 수 있습니다.
결국 문서 AI의 목표는 사람이 보던 문서를 기계가 그대로 읽게 하는 것이 아닙니다. 사람이 업무에서 판단하던 구조와 의미를 AI가 이해할 수 있게 만드는 일입니다.
“문서에 없는 답을 만들지 않는 것도 기술입니다.”
Q. 문서 AI에서 환각을 줄이는 것도 중요하다고 하셨습니다.
문서 AI에서는 환각을 줄이는 것이 매우 중요합니다. 문서에 없는 내용을 그럴듯하게 생성하면 안 됩니다. 고객 업무에 들어가는 기술이라면 모르는 것은 모른다고 처리하고, 문서에 있는 정보만 기반으로 결과를 내야 합니다.
특히 문서 자동화는 결과가 시스템에 바로 연결되는 경우가 많습니다. 잘못 생성된 값이 내부 시스템에 들어가면 사람이 뒤늦게 오류를 찾기 어렵습니다. 그래서 문서 AI에서는 “얼마나 자연스럽게 답하는가”보다 “근거 없는 답을 만들지 않는가”가 더 중요합니다.
저희가 문서 구조 이해와 Near-Zero Hallucination을 중요하게 보는 이유도 여기에 있습니다. 문서에 있는 정보만 기반으로 추출하고, 항목 간 관계를 유지하고, 확신하기 어려운 경우에는 무리하게 답을 생성하지 않는 방향이 실제 업무에서는 더 안전합니다.
“한국어 손글씨, 흐릿한 스캔본, 복잡한 표… 실제 문서는 늘 모델을 괴롭힙니다.”
Q. 개발 과정에서 가장 어려웠던 부분은 무엇이었나요?
실제 문서는 깔끔하지 않습니다. 리더보드나 샘플 이미지처럼 정돈된 문서만 있는 게 아니라, 스캔이 흐릿하거나 기울어져 있고, 도장이 겹쳐 있거나, 손글씨가 섞여 있거나, 표가 깨져 있는 경우도 많습니다.
특히 한국어 손글씨나 노이즈가 많은 문서는 모델 입장에서 굉장히 까다롭습니다. 글자 자체의 변형도 크고, 주변 레이아웃과 함께 봐야 의미가 잡히는 경우가 많습니다.
그래서 저희는 특정 유형의 문서에만 맞춘 모델이 아니라, 다양한 문서 유형에 대응할 수 있는 일반화 성능을 중요하게 봤습니다. 공공, 금융, 제조, 교육 등 도메인마다 문서 형태가 다르기 때문에 어느 한쪽에만 잘 맞는 방식으로는 실제 고객 환경에서 오래 쓰이기 어렵습니다.
중요한 건 처음 보는 문서에서도 얼마나 무너지지 않는가입니다. 문서 유형이 조금 바뀌거나 양식이 달라져도 안정적으로 처리되어야 PoC에서 끝나는 기술이 아니라 실제 운영에 들어갈 수 있는 기술이 됩니다.
OCRBench v2 Private data 리더보드에서 확인한 성능
Q. 이번 평가가 Private data 기준이라는 점도 의미가 있을까요?
네. 공개된 샘플에만 잘 맞는 모델은 실제 환경에서 한계가 있습니다. 리더보드 점수는 높지만 고객 문서에 적용했을 때 성능이 떨어진다면 좋은 기술이라고 말하기 어렵습니다.
이번 OCRBench v2 2026년 3월 영어 부문 평가는 Private data 리더보드 기준으로 공개됐습니다. 특정 공개 샘플에만 최적화된 결과가 아니라, 별도로 구성된 평가 데이터에서 문서 이해 능력을 확인했다는 점에서 의미가 있습니다.
저희가 고객사 문서를 다룰 때도 같은 관점으로 접근합니다. 문서 유형이 바뀌거나 양식이 조금 달라져도 안정적으로 처리되어야 합니다. 그래야 실제 운영 환경에서 사람이 다시 검토해야 하는 시간을 줄일 수 있습니다.
“좋은 모델은 개발자 혼자 만드는 게 아니라, 실패를 끝까지 추적하는 팀이 만듭니다.”
Q. 이번 성과를 만든 한국딥러닝 개발 문화도 궁금합니다.
저희 팀은 결과만큼이나 실패를 중요하게 봅니다. 모델이 틀렸을 때 “왜 틀렸는지”를 끝까지 봐야 다음 개선이 가능합니다.
문서 AI는 단순히 정확도 숫자만 보고 개선하기 어렵습니다. 어떤 오류는 인식 문제이고, 어떤 오류는 레이아웃 문제이고, 어떤 오류는 관계 이해 문제입니다. 겉으로는 같은 오답처럼 보여도 원인은 다를 수 있습니다.
그래서 저희는 실패 케이스를 많이 봅니다. 모델이 어떤 문서에서 흔들리는지, 어떤 항목을 잘못 연결하는지, 어떤 레이아웃에서 정보가 깨지는지를 계속 확인합니다. 그리고 그걸 개발자 개인의 감으로 넘기지 않고 팀 차원에서 공유합니다.
특히 문서 도메인에서는 작은 오류도 그냥 넘기기 어렵습니다. 고객이 실제로 어떤 문서를 처리하는지, 어떤 예외가 자주 발생하는지, 어떤 항목에서 검토 시간이 많이 드는지 계속 봐야 합니다. 모델을 만드는 일과 현장을 이해하는 일이 분리되어 있지 않습니다.
좋은 모델은 한 번에 나오지 않습니다. 실패한 실험을 기록하고, 원인을 나누고, 다시 설계하는 과정을 버티는 팀에서 나온다고 생각합니다.
“기술적으로 멋진 모델보다, 고객 업무에서 쓸 수 있는 모델을 만들고 싶습니다.”
Q. 고객사 입장에서 이번 성과를 어떻게 이해하면 좋을까요?
벤치마크 1위는 기술력을 보여주는 하나의 지표입니다. 하지만 고객사 입장에서 더 중요한 건 “그래서 우리 업무에 쓸 수 있는가”라고 생각합니다.
문서 AI를 도입하려는 고객사는 이미 문제를 겪고 있는 경우가 많습니다. 사람이 문서를 하나씩 확인하느라 시간이 오래 걸리거나, 입력 오류가 반복되거나, 문서 유형이 다양해서 기존 OCR로 자동화가 잘 안 되는 경우입니다.
KDL Frontier의 강점은 문서를 단순 텍스트로 바꾸는 데서 끝나지 않는다는 점입니다. 문서의 구조와 맥락을 함께 이해하고, 필요한 정보를 의미 단위로 추출할 수 있도록 설계되어 있습니다.
계약서, 신청서, 증빙서류, 보고서, 공문처럼 복잡한 문서를 다루는 조직이라면 단순 OCR보다 한 단계 더 높은 수준의 문서 이해가 필요합니다. 그리고 그 문서 이해는 기술만으로 완성되지 않습니다. 해당 문서가 어떤 업무에서 쓰이고, 어떤 정보가 실제 의사결정에 필요한지 알아야 합니다.
한국딥러닝이 자신 있게 말할 수 있는 부분도 여기에 있습니다. 저희는 문서 AI 영역을 오래 다뤄왔고, 다양한 산업의 문서를 실제로 처리하며 쌓은 경험이 있습니다. 그 경험이 모델의 구조와 제품의 사용성, 고객사 적용 방식에 녹아 있습니다.
Ian이 생각하는 좋은 AI 개발자
Q. AI 개발자로서 가장 중요하게 생각하는 태도는 무엇인가요?
겸손함이라고 생각합니다. 모델이 좋아질수록 개발자는 모델을 믿고 싶어집니다. 그런데 실제 문서를 보면 항상 예외가 있습니다. 처음 보는 양식, 예상하지 못한 노이즈, 사람이 보기에도 애매한 문서가 계속 나옵니다.
그래서 모델을 과신하지 않는 태도가 중요합니다. 성능이 잘 나왔을 때도 “어디서 틀릴 수 있을까”를 계속 봐야 합니다. 특히 문서 AI는 고객 업무와 직접 연결되기 때문에 더 조심해야 합니다.
또 하나는 문제를 정확히 정의하는 능력입니다. AI 개발은 모델을 돌리는 일만이 아닙니다. 고객의 업무에서 어떤 오류가 정말 치명적인지, 어떤 정보가 반드시 보존되어야 하는지, 어떤 상황에서는 답을 내지 않는 것이 더 안전한지를 함께 판단해야 합니다.
저는 좋은 AI 개발자는 기술을 잘 아는 사람인 동시에, 그 기술이 쓰이는 업무를 이해하려고 노력하는 사람이라고 생각합니다.
“문서 AI의 다음 과제는 더 정확하게, 더 가볍게, 더 쉽게 쓰이게 만드는 것입니다.”
Q. 앞으로 Ian과 한국딥러닝 개발팀이 집중하고 싶은 방향은 무엇인가요?
정확도를 계속 높이는 건 기본입니다. 하지만 실제 도입을 생각하면 정확도만큼 중요한 것들이 있습니다. 더 빠르게 처리되어야 하고, 더 다양한 환경에서 돌아가야 하고, 고객사가 더 쉽게 적용할 수 있어야 합니다.
특히 기업과 기관은 보안 요구사항이 높습니다. 클라우드뿐 아니라 온프레미스나 폐쇄망 환경에서도 안정적으로 동작해야 하는 경우가 많습니다. 그래서 모델을 더 효율적으로 만들고, 다양한 배포 환경에 맞출 수 있도록 하는 것도 중요합니다.
또 하나는 문서 도메인별 최적화입니다. 모든 문서를 하나의 방식으로 처리하기보다, 고객 업무와 문서 유형에 맞춰 더 정교하게 이해하는 방향으로 발전해야 한다고 봅니다.
문서 AI는 아직 풀 문제가 많습니다. 그래서 재미있습니다. 기술적으로도 어렵고, 고객 업무와도 깊게 연결되어 있고, 제대로 만들었을 때 실제 효율 개선이 분명하게 나타나는 영역이니까요.
문서를 읽는 AI에서, 업무를 이해하는 AI로
OCRBench v2 1위는 한국딥러닝에게 중요한 성과다. 하지만 Ian은 인터뷰 내내 “1위”보다 “실제 문서”와 “업무에서 쓰일 수 있는 AI”를 더 많이 이야기했다.
글자를 읽는 기술은 많아지고 있다. 하지만 기업이 원하는 것은 단순한 텍스트 변환이 아니다. 문서 속 정보를 정확히 이해하고, 업무에 필요한 형태로 구조화하고, 시스템에 연결될 수 있는 기술이다.
그리고 그 기술은 모델 성능만으로 완성되지 않는다. 문서가 발생하는 업무, 사람이 검토하는 기준, 자동화 이후 데이터가 흘러가는 시스템까지 알아야 한다. 이걸 알아야 AI가 의미를 가진다.
한국딥러닝이 집중하는 문서 AI의 방향도 여기에 있다.
문서를 이미지로 보지 않고, 데이터로 바꾸는 것. 텍스트를 추출하는 데서 끝나지 않고, 관계와 맥락을 이해하는 것. 고객의 실제 업무에서 다시 사람이 검토해야 하는 시간을 줄이는 것.
Ian은 마지막으로 이렇게 말했다.
“문서 AI는 결국 고객의 시간을 줄여야 합니다. 모델이 똑똑해 보이는 것보다, 사람이 다시 확인하지 않아도 될 만큼 정확하고 안정적인 결과를 내는 게 더 중요합니다. 저희가 만들고 싶은 건 그런 기술입니다.”
OCRBench v2 글로벌 1위는 그 과정에서 나온 하나의 결과다.
그리고 그 결과는 한국딥러닝이 앞으로 어떤 문서 AI를 만들어갈지 보여주는 출발점이기도 하다.
