텍스트를 버린 AI, '데사(Dessa)'가 여는 음성 인터페이스의 새로운 국면

텍스트의 한계를 넘어선 음성의 복원

지난 수년간 대화형 AI의 발전은 거대한 텍스트 데이터의 바다 위에서 이루어졌습니다. 우리가 흔히 접하는 음성 AI는 사용자의 목소리를 텍스트로 변환하고, 그 텍스트를 기반으로 답변을 생성한 뒤 다시 음성으로 합성하는 이른바 '텍스트 파이프라인'을 거칩니다. 이러한 과정은 필연적으로 인간 대화의 핵심 요소인 감정, 뉘앙스, 호흡, 그리고 찰나의 망설임과 같은 비언어적 정보를 거세합니다. 블록(Block)의 연구팀이 새롭게 선보인 음성 모델 '데사(Dessa)'는 바로 이 지점에서 근본적인 의문을 제기합니다 [1][3].

데사는 텍스트를 전혀 학습하지 않고 오직 인간의 대화 음성 데이터만으로 학습된 모델입니다 [3]. 기존의 모델들이 ElevenLabs v4나 Fish Audio Drama 3처럼 음성 태그를 활용해 감정을 '지시'하는 방식이었다면, 데사는 인간이 언어를 습득하는 방식과 유사하게 오직 소리를 듣는 것만으로 대화의 맥락과 감정 표현을 체득했습니다 [1][3]. 이는 단순히 기술적인 효율성을 넘어, AI가 인간의 감정을 '듣고' 반응할 수 있는 수준으로 진화했음을 시사합니다.

온디바이스 AI의 실용적 가능성

데사의 또 다른 주목할 점은 그 구동 환경입니다. 블록 측은 이 모델이 NVIDIA GB200 NVL72 랙 하나로 학습되었으며, 추론 과정에서는 MacBook M4 Max와 같은 소비자용 컴퓨터에서도 충분히 구동 가능하다고 밝혔습니다 [1][3]. 이는 클라우드 서버에 의존하지 않고도 실시간으로 감정적인 대화가 가능한 AI를 개인 기기에 탑재할 수 있음을 의미합니다.

블록은 자사의 금융 솔루션인 스퀘어(Square)를 통해 이미 AI 기반 음성 주문 시스템을 운영하고 있습니다 [1][2]. 기존의 스퀘어 AI가 비즈니스 정보를 바탕으로 정확한 응답을 제공하는 데 집중했다면, 데사와 같은 모델은 향후 고객과의 상담 과정에서 더욱 자연스러운 응대와 감정적 교감을 가능하게 할 것으로 보입니다 [2][3]. 이는 비즈니스 환경에서 AI가 단순한 정보 전달자를 넘어, 보다 인간적인 고객 경험을 제공하는 동반자로 거듭날 수 있는 토대가 됩니다.

기술적 도전과 안전성에 대한 과제

물론 이러한 기술적 진보가 항상 장밋빛 미래만을 보장하는 것은 아닙니다. 블록은 데사를 일반에 공개하는 대신, 모델의 위험성을 검증하기 위해 안전성 연구원들에게 조기 접근 권한을 부여하는 방식을 택했습니다 [1][3]. 이는 음성 AI가 인간의 목소리를 완벽하게 모사할 수 있게 됨에 따라 발생할 수 있는 사기나 오용의 가능성을 사전에 차단하기 위한 조치로 해석됩니다 [1].

또한, 데사가 텍스트를 거치지 않고 학습했다는 점은 학술적으로도 흥미로운 질문을 던집니다. 텍스트 기반 모델보다 언어와 사실을 얼마나 효율적으로 학습할 수 있는지, 새로운 언어 습득 속도는 어떠한지 등은 여전히 검증이 필요한 영역입니다 [3]. 특히 텍스트라는 표준화된 데이터 없이 오직 소리만으로 학습된 모델이 데이터의 편향성을 어떻게 극복할 것인지, 혹은 인간의 언어적 복잡성을 어디까지 수용할 수 있을지는 향후 지속적으로 관찰해야 할 지점입니다.

결국 데사는 우리에게 '지능과 대화하는 가장 자연스러운 방법이 무엇인가'라는 질문을 다시 던집니다. 텍스트로 압축된 정보가 아닌, 목소리에 담긴 수천 가지의 미세한 정보를 온전히 이해하려는 시도가 과연 인간과 기계 사이의 간극을 얼마나 좁힐 수 있을까요? 기술이 인간의 감정을 듣기 시작한 지금, 우리는 AI와의 대화에서 새로운 차원의 신뢰를 쌓을 준비가 되었는지 자문해 보아야 할 것입니다.

검증에 사용한 자료

[1] Block's new voice model sounds eerily human | TechCrunch — TechCrunch · 원문
[2] Take orders with AI powered voice ordering | Square Support Center - United States — squareup.com · 독립 참고 자료
[3] Dessa - the Conversation Model trained only on speech — block.xyz · 공식·1차 자료
[4] jack (@jack) on X — x.com · 독립 참고 자료

링크된 자료는 사실 확인에 사용했으며, 분석과 해석의 책임은 본 사이트에 있습니다.