James - 언어 모델의 함정을 넘어서: 소프트웨어 자동화를 위한 '시스템 원' 모델, Jev

언어의 벽에 갇힌 AI, 자동화의 난제

인공지능의 황금기를 연 강화학습 기반 인간 피드백(RLHF) 기술의 공동 발명가 중 한 명인 디오고 알메이다(Diogo Almeida)는 역설적인 고민에 빠져 있었습니다. 수년간 인간의 언어를 완벽하게 구사하는 모델을 만드는 데 성공했지만, 정작 그 모델들은 자동화라는 실무 영역에서 기대만큼 유용하지 않았기 때문입니다. 알메이다는 이를 두고 “병 속에 든 번개를 가졌지만, 정작 쓸모는 없는 상황”이라며, 우리가 지나치게 인간의 언어라는 매개체에 최적화된 모델을 만드는 데 매몰되어 있었다고 진단합니다 [1]. 컴퓨터는 인간과 다른 언어로 소통하는데, 우리는 컴퓨터를 위해 인간의 언어를 흉내 내는 모델을 고집해왔다는 비판입니다.

텍스트가 아닌 '결정'을 출력하는 모델

타입세이프 AI(TypeSafe AI)가 이번 주 공개한 모델 Jev는 이러한 문제의식에서 출발한 '시스템 원(System One)' 모델입니다. 이 모델은 대규모 언어 모델(LLM)과 달리 텍스트를 생성하지 않습니다. 대신 사용자가 미리 정의한 출력값에 대해 확률적 수치, 즉 '교정된 결정(calibrated decisions)'만을 반환합니다 [1]. 이는 모델이 인간의 언어라는 불확실한 영역을 거치지 않고, 소프트웨어가 직접 처리할 수 있는 데이터 형태로 결과를 내놓는다는 것을 의미합니다.

실제 개발 현장에서 Jev의 성능은 기존 LLM과 뚜렷한 대비를 보입니다. 베르셀(Vercel)의 소프트웨어 엔지니어 프라닛 샤르마(Pranit Sharma)는 안전성 검토를 위한 분류기에 기존 OpenAI의 모델 대신 Jev를 도입한 결과, 처리 속도가 5배에서 18배까지 향상되었으며 정확도 또한 개선되었다고 보고했습니다 [1]. 브리오 AI(Bryo AI)의 CTO 니킬 무드홀카(Nikhil Mudholkar) 역시 비즈니스 이메일 분류 테스트에서 Gemini보다 정확도는 소폭 낮았을지라도, 비용 면에서 10배에서 20배가량 저렴하다는 점에 주목했습니다 [1]. 특히 Jev가 제공하는 '신뢰도 점수(confidence scores)'는 자동화 워크플로우를 설계할 때 모델의 판단을 신뢰할 수 있을지 결정하는 핵심 지표로 활용되고 있습니다 [1].

확실성과 불확실성의 공존

물론 Jev가 모든 영역에서 LLM을 대체할 수 있는 것은 아닙니다. 니킬 무드홀카의 테스트 사례처럼 특정 분류 작업에서는 여전히 범용 모델인 Gemini가 더 높은 정확도를 보이기도 했습니다 [1], [4]. 또한, Jev는 모델이 내놓은 확률값이 50%라면 이를 '동전 던지기'와 같이 취급하고, 95% 이상일 때만 자동화 로직에 반영하는 식의 사용자 측 설계가 필수적입니다 [1]. 즉, LLM이 가진 환각(hallucination) 문제를 완전히 제거했다기보다는, 그 불확실성을 사용자(개발자)가 제어 가능한 영역으로 옮겨놓은 셈입니다 [1].

알메이다는 Jev가 LLM을 완전히 대체하기보다는, LLM의 오작동을 감시하거나 모델 라우팅(model routing)을 수행하는 등 보완적인 역할로도 큰 가치를 지닌다고 설명합니다 [1]. LLM을 사용하여 LLM을 감시하는 비용은 막대하지만, Jev의 낮은 비용과 속도는 실시간 모니터링을 가능하게 하기 때문입니다 [1].

비용의 역설과 지능의 대중화

Jev라는 이름은 19세기 경제학자 윌리엄 스탠리 제본스(William Stanley Jevons)에서 따왔습니다. 그는 자원의 효율성이 높아질수록 오히려 그 자원의 소비가 폭발적으로 증가한다는 '제본스의 역설'을 주장했습니다 [1]. 알메이다는 지능의 비용이 획기적으로 낮아짐으로써, 현재의 거대 앱 중심 생태계가 아닌 초기 인터넷처럼 지능형 소프트웨어가 곳곳에 분산되어 배치되는 시대를 꿈꾸고 있습니다 [1].

결국 Jev가 던지는 질문은 명확합니다. 우리는 과연 '더 똑똑한 모델'을 원하는 것인가, 아니면 '더 유용한 자동화'를 원하는 것인가입니다. 알고리즘의 화려함보다 해결해야 할 작업의 본질을 먼저 고민해야 한다는 타입세이프 AI의 철학은, AI 기술이 연구실의 전유물에서 벗어나 실질적인 소프트웨어 인프라로 안착하기 위해 무엇이 필요한지를 다시금 생각하게 합니다 [2].

검증에 사용한 자료

[1] A new kind of AI model from a ChatGPT inventor is thrilling developers | TechCrunch — TechCrunch · 원문
[2] The Bitterest Lesson - TypeSafe AI Blog — typesafe.ai · 독립 참고 자료
[3] Home - TypeSafe AI — typesafe.ai · 독립 참고 자료
[4] nikhil mudholkar (@nikhilmudholkar) on X — x.com · 독립 참고 자료

링크된 자료는 사실 확인에 사용했으며, 분석과 해석의 책임은 본 사이트에 있습니다.