“우리는 문서를 읽는 것이 아니라, 문명을 해석하는 일을 합니다”
한국딥러닝 머신러닝 엔지니어 Jayden 인터뷰
“같은 문서라도, 문단 위치에 따라 의미가 달라질 수 있다는 걸 안 순간, 저는 ‘글자를 인식하는 기술’보다 ‘문서를 이해하는 기술’에 더 빠져들게 됐어요.”
문서 AI 분야는 이제 더 이상 ‘문자를 인식하는 기술’에 머물지 않습니다. 글자 너머의 구조와 문맥, 나아가 사용자의 의도까지 이해하려는 시도는, 단순한 기술 발전을 넘어 인류가 구축한 문명의 체계를 다시 쓰는 일에 가깝습니다. 한국딥러닝의 AI OCR 팀은 바로 이 근본적인 도전 위에 서 있습니다.
이번 인터뷰에서는 한국딥러닝의 핵심 기술 중 하나인 VLM OCR과 Document AI를 개발 중인 ML 엔지니어 Jayden를 만났습니다.
OCR 파트장으로 일하며 다양한 실전 경험을 쌓아온 그는, 이곳에 합류한 지 이제 한 달. 누군가는 ‘너무 이르다’고 할 수 있는 시점이지만, 오히려 그래서 더욱 생생하게 느껴지는 온보딩 경험과 팀 문화, 그리고 그가 본 ‘기술의 방향’에 대한 이야기를 들어보았습니다.
Q. 안녕하세요. 먼저 간단히 자기소개 부탁드립니다.
입사한 지는 이제 막 한 달 정도 지났고요. 이전에는 약 4년간 OCR 분야에서 연구와 개발을 병행하며 다양한 실전 프로젝트들을 경험해왔습니다.
주로 신분증, 금융 카드, 백과사전 등 다양한 유형의 문서에 대해 텍스트 인식, 표 구조 분석, 정보 추출 같은 전 과정을 직접 설계했고, 각 프로젝트의 요구사항에 맞춰 모델을 개발하고, 실제 서비스에 서빙까지 하는 일들을 맡았죠.
MLOps 관점에서도 직접 모델을 운영 환경에 배포하고 관리해본 경험이 있어서, 모델 단의 이슈뿐 아니라 서비스 단에서의 성능까지 고려하며 일해왔습니다. 예컨대 모델이 현장에서 어떻게 오작동할 수 있는지, 사용자가 어떤 지점에서 불편을 느끼는지를 파악하고 이를 개선해 나가는 과정을 통해 많은 인사이트를 얻을 수 있었어요.
연구자로서 이론적인 깊이도 중요하지만, AI Engineer로서 기술이 실전에서 어떻게 쓰이는지를 몸으로 익히는 게 정말 큰 자산이 된다고 생각합니다.
Q. 입사 후 온보딩은 어떠셨나요? 한 달 차의 시선에서 느낀 점이 궁금합니다.
안녕하세요. 한국딥러닝에서 문서 이해 AI를 개발하고 있는 머신러닝 엔지니어 Jayden입니다. 입사한 지는 이제 막 한 달 정도 지났고요. 이전에는 약 4년간 OCR 분야에서 연구와 개발을 병행하며 다양한 실전 프로젝트들을 경험해왔습니다.
주로 신분증, 금융 카드, 백과사전 등 다양한 유형의 문서에 대해 텍스트 인식, 표 구조 분석, 정보 추출 같은 전 과정을 직접 설계했고, 각 프로젝트의 요구사항에 맞춰 모델을 개발하고, 실제 서비스에 서빙까지 하는 일들을 맡았죠.
MLOps 관점에서도 직접 모델을 운영 환경에 배포하고 관리해본 경험이 있어서, 모델 단의 이슈뿐 아니라 서비스 단에서의 성능까지 고려하며 일해왔습니다. 예컨대 모델이 현장에서 어떻게 오작동할 수 있는지, 사용자가 어떤 지점에서 불편을 느끼는지를 파악하고 이를 개선해 나가는 과정을 통해 많은 인사이트를 얻을 수 있었어요.
연구자로서 이론적인 깊이도 중요하지만, AI Engineer로서 기술이 실전에서 어떻게 쓰이는지를 몸으로 익히는 게 정말 큰 자산이 된다고 생각합니다.
Q. 한국딥러닝에 합류하게 된 계기가 궁금합니다.
제가 참여했던 프로젝트들 대부분은 ‘인식률 향상’과 ‘자동화 효율’이라는 목표에 집중돼 있었어요. 오탈자율 0.1% 낮추는 일, 인식 속도를 0.2초 줄이는 일, 이런 것들이 주요 KPI였죠. 물론 그 자체로도 충분히 중요한 일이었고, 실제 고객 현장에서 의미 있는 성과도 많이 냈습니다.
하지만 시간이 지날수록, ’이 기술이 정말 이게 끝인가?’라는 고민이 들더라고요. 단지 더 정확히, 더 빠르게 인식하는 게 아니라, 그 다음 스텝은 뭘까라는 질문이 자연스럽게 생겼어요.
그때 우연히 보게 된 한국딥러닝의 기술 철학이 굉장히 인상 깊었어요. ‘문서를 이해하는 AI’, ‘문명 해석 기술’, 이런 문장들을 보고 처음엔 솔직히 다소 과장된 표현 아닐까 싶었는데, 내용을 들여다보니 굉장히 실질적인 기술 로드맵과 맞닿아 있더라고요.
특히 문서의 구조를 분석하고, 단어 뒤에 숨은 규칙과 문맥을 해석해서 실제 산업의 업무 플로우를 자동화하려는 방향이 굉장히 매력적으로 다가왔어요. 단순한 기술 향상이 아니라, ‘일의 방식 자체를 바꾸는 기술’을 만들고 있다는 점에서 마음이 움직였습니다.
솔직히 말하면 새로운 회사에 들어간다는 건 누구에게나 약간은 긴장되는 일이잖아요. 특히 기술 수준이 높다고 알려진 팀일수록, 내가 잘 따라갈 수 있을지 걱정도 되는 게 사실이고요.
그런데 한국딥러닝에서는 그런 불안감이 거의 느껴지지 않았어요. 온보딩 자체가 하나의 제품처럼 잘 설계돼 있다는 느낌이었거든요. 첫 주에는 팀에서 사용하는 주요 기술 스택과 아키텍처에 대한 문서를 단계별로 공부하고, 실제로 써보면서 이해할 수 있도록 가이드가 짜여 있었고요. 단순히 기술만 던져주는 게 아니라, 문서 안에 “왜 이렇게 만들었는지”, “과거에 어떤 시도가 있었는지” 같은 맥락까지 담겨 있어서 빠르게 흡수할 수 있었어요.
무엇보다 팀 내부의 피드백 문화가 인상 깊었어요. 슬랙이나 노션에서 자연스럽게 “이 부분 헷갈릴 수 있어요”, “이 문서 보면 도움될 거예요” 같은 멘트를 자주 볼 수 있었고, 그것들이 신입 입장에서는 정말 큰 도움이 됐어요. 그냥 혼자 공부하는 느낌이 아니라, 누군가 옆에서 같이 길을 열어주는 느낌이랄까요.
그 덕분에 입사 초기임에도 불구하고, 실제 문제에 함께 참여하고 있다는 감각을 꽤 빠르게 느낄 수 있었습니다. 이건 제가 생각한 것보다 훨씬 강력한 몰입 요인이었어요.
Q. 기술적으로도 기존 경험과 차별화된 부분이 있었을까요?
제가 이전에 다뤘던 프로젝트들도 꽤 다양했어요. 텍스트 OCR뿐 아니라 표 구조 분석, 문서 레이아웃 분석, Triton 기반 모델 서빙, NLP 모델 연동 등 여러 분야를 섭렵했죠.
하지만 한국딥러닝의 접근 방식은 그보다 훨씬 더 ‘문서’라는 대상 자체를 다르게 바라본다는 느낌이었어요. 단순히 텍스트를 추출하는 데 그치지 않고, 그 텍스트가 어디에 위치해 있는지, 주변에 어떤 시각적 요소가 있는지, 레이아웃 상 어떤 논리적 맥락을 암시하고 있는지를 AI가 함께 고려하게 만들더라고요.
예컨대, 어떤 문서에서 도장이 단순한 꾸밈이 아니라 실제로 ‘승인 여부’를 나타내는 핵심 단서가 될 수 있다는 점을 모델이 학습하도록 설계하는 방식은 제가 처음 보는 접근이었어요. 표의 마지막 행이나 캡션에 숨어 있는 정보들도 단순히 ‘텍스트’로 보지 않고, 문서 내에서 어떤 위상과 기능을 갖는지까지 판단하려는 시도가 이뤄지고 있었고요.
기술적으로는 VLM 기반의 멀티모달 학습을 문서 영역에 정교하게 적용한 방식이었고, 이걸 통해 정말 ‘읽는 AI’를 구현하려 한다는 철학이 느껴졌습니다. 이 부분이 제가 가장 크게 자극받은 부분이기도 해요.
Q. 문화적인 면에서는 어떤 차별화가 느껴지셨나요?
제가 이전에 일했던 조직들도 자유로운 편이었지만, 한국딥러닝은 ‘자율과 피드백’의 밸런스가 정말 잘 맞는 팀이라는 인상을 받았어요.
일단 누구 하나가 과하게 지시하거나 컨트롤하지 않아요. 다들 각자의 영역에서 자율적으로 실험하고 설계하고 움직이는데, 그게 각자 분리돼 있는 게 아니라, 굉장히 촘촘하게 연결돼 있어요. 실험 결과 하나를 공유하면, 곧바로 “이건 왜 이렇게 됐을까요?”, “그럼 이런 구조는 어떨까요?” 같은 반응이 바로 와요. 그게 되게 자연스럽고 빠르게 오가는 구조라서, 혼자 일하는 느낌이 거의 들지 않아요.
특히 인상 깊었던 건, 제가 입사한 지 일주일밖에 안 됐을 때도 팀에서 제 아이디어에 대해 “그거 해볼 만한데요?”, “다음 실험 때 그 방식도 포함해보죠”라고 이야기해준 순간들이었어요. 경력이나 입사 기간에 관계없이 기술적인 의견을 존중해주는 분위기가 정말 강하게 느껴졌고요.
이렇게 자율성은 보장되되, 동시에 명확한 피드백 루프가 존재하니까, 책임감과 기대감이 동시에 생기는 구조더라고요. 개인적으로 굉장히 일하기 좋은 환경이라고 느꼈습니다.
Q. 앞으로 어떤 기술을 함께 만들고 싶으신가요?
제가 요즘 가장 강하게 느끼는 건, 이 팀이 만드는 기술이 단순히 ‘OCR 성능을 얼마나 높일 수 있느냐’를 넘어서서, ‘문서를 어떻게 이해하고 해석할 수 있느냐’라는 방향으로 나아가고 있다는 점이에요.
우리가 다루는 문서들은 단일 객체가 아니라, 맥락 안에서 의미를 갖는 존재들이잖아요. 예를 들어 한 장의 문서만 보면 잘 이해되지 않는 정보도, 앞뒤 문서와 함께 보면 명확해지는 경우가 많고요. 또는 도메인별로 같은 단어도 전혀 다른 의미를 갖기도 하고요. 이런 복잡한 맥락을 인간은 자연스럽게 해석하지만, AI에게는 굉장히 어려운 과제죠.
그래서 저는 지금의 기술을 바탕으로 더 나아가, 문서 간의 논리 흐름을 파악하고, 산업의 도메인을 반영한 의도 해석을 수행하며, 그 위에서 리스크를 선제적으로 감지하는 AI를 만들고 싶어요. 단순히 “이건 뭐다”라고 분류하는 것이 아니라, “이 문서 흐름 안에서 이 위치에 있는 이 항목은 어떤 위험을 암시할 수 있다”는 식의 판단을 할 수 있는 기술이요.
그게 결국 진짜 의미 있는 자동화라고 생각해요. 사람이라도 실수할 수 있는 부분들을 AI가 먼저 잡아주고, 판단을 돕고, 궁극적으로 ‘일하는 방식을 근본적으로 바꿔주는 도구’가 되는 거죠. 저는 한국딥러닝 팀이 그걸 현실로 만들 수 있는 가장 가까운 팀 중 하나라고 믿고 있습니다.
Q. ‘문서 AI’라는 분야에서 일한다는 건, 본인에게 어떤 의미인가요?
문서라는 건 단순히 텍스트의 집합이 아니라고 생각해요. 그것은 인간이 만든 질서와 시스템의 가장 직접적인 표현이고, 사회가 작동하는 방식 그 자체이기도 하죠. 계약서, 보고서, 증명서, 의료 기록… 이 모든 것들이 그냥 정보가 아니라 ‘결정의 근거’가 되는 문서들이잖아요.
AI가 이런 문서를 해석하고 이해한다는 건, 단순히 기술적으로 글자를 읽는 것을 넘어서, 인간 사회의 규칙과 맥락, 질서를 이해하려는 시도라고 생각해요. 이건 굉장히 철학적인 도전이기도 하죠. 우리가 만든 모델이 사회가 만든 룰을 읽고 해석하며, 그 안에서 사람에게 더 나은 선택을 할 수 있도록 도와주는 것. 저는 그게 지금 제가 하고 있는 일의 본질이라고 느껴요.
그래서인지, 이 일을 할 때마다 기술적 성능 이상으로 ‘무엇을 위한 기술인가’를 고민하게 돼요. 더 정확하게 읽는 것보다, 더 잘 판단하도록 돕는 것, 그게 이 분야의 핵심이라고 생각해요. 지금 제가 있는 이 위치에서 그런 기술을 함께 고민하고 만들 수 있다는 건 정말 큰 행운이라고 생각하고 있고요.
Q. 팀에서 일하면서 생긴 ‘기술 외적인 변화’가 있다면요?
가장 크게 바뀐 건, ‘기술을 바라보는 태도’ 자체예요.
이전에는 좋은 모델을 만들고, 높은 정확도를 달성하는 것이 가장 중요한 목표였어요. 벤치마크를 기준으로 성능을 끌어올리고, 최신 논문을 따라가며 기술을 정제하는 데 집중했죠. 그게 나쁘다는 건 아니지만, 지금은 완전히 다른 관점이 생겼어요.
한국딥러닝에서는 ‘좋은 모델’보다 ‘좋은 해결책’이 더 중요하게 여겨져요. 지금 당장 정확도가 1~2% 낮더라도, 실제 고객의 문제를 해결할 수 있다면 그게 더 나은 선택일 수 있다는 생각을 팀 모두가 공유하고 있더라고요. 이건 생각보다 큰 전환이에요. 숫자가 아니라 현실을 기준으로 기술을 평가한다는 점에서요.
이런 환경에서 일하다 보니, 어느 순간 저도 ‘문제를 정의하는 방식’부터 달라지고 있다는 걸 느꼈어요. 이제는 기능 하나를 구현하기보다, 어떤 문제를 정의하고 그걸 풀기 위해 어떤 기술을 조합할지 고민하는 시간이 훨씬 길어졌고, 그 과정이 저를 더 성숙하게 만들어주는 것 같아요.
결국, 더 좋은 질문을 던지는 사람이 되어가고 있다는 생각이 들어요. 기술자에서 문제 해결자로 바뀌는, 그런 전환점에 서 있는 기분이랄까요.
Q. 한국딥러닝에 관심 있는 엔지니어에게 전하고 싶은 말이 있다면요?
이곳은 단순히 ‘좋은 기술을 연구하는 곳’이 아니에요. 현장에서 실제로 필요한 문제를 풀기 위한 기술을 만들고, 그 기술이 어떻게 쓰이는지 끝까지 확인할 수 있는 곳이에요.
입사 전에는 ‘이 기술 스택 내가 다 따라갈 수 있을까?’라는 걱정도 있었는데, 막상 와보니 팀이 잘 연결되어 있어서 어느새 자연스럽게 스며들어 있더라고요.
그리고 생각보다 자유도가 높아서, 새로운 아이디어를 실험하거나 제안할 기회도 많고요.
‘이미 다 끝난 기술’이 아니라, 이제 막 더 큰 역할을 하려는 기술을 다루고 싶다면, 이 팀은 정말 좋은 무대라고 생각합니다.
