▲  Confucius4-R2T2를 소개하는 프로젝트 개요 화면입니다. 80ms~2초 단위의 저지연 실시간 음성인식(ASR)과 이전에 출력한 텍스트를 수정하지 않는 'append-only' 방식이 핵심 특징이라고 설명합니다. ⓒ 넷이즈 유다오 AI는 이미 통역을 잘합니다. 챗지피티(ChatGPT)와 대화하다 보면 한국어로 시작해 영어로 질문하고 다시 중국어로 넘어가도 자연스럽게 알아듣고 답합니다. 언어의 장벽이 빠르게 낮아지고 있다는 사실은 이제 그리 놀랍지도 않습니다. 그렇다면 또 하나의 실시간 음성인식 모델과 동시통역 모델이 등장했다는 것이 왜 중요할까요. 넷이즈 유다오(NetEase Youdao)에서 발표한 R2T2와 T3PO는 공개 직후 Hugging Face의 음성인식과 번역 Trending 순위에서 각각 1위에 올랐습니다. 특정 실시간 음성인식 벤치마크에서도 R2T2는 낮은 지연 시간과 출력 안정성을 동시에 보여주며 OpenAI 계열 모델이나 엔비디아 등 기존 강자들과 다른 경쟁력을 드러냈습니다. 여기서 '넘어섰다'는 의미는 모든 음성인식 능력에서 이들을 능가했다는 뜻이 아닙니다. 실시간으로 듣고도 이미 내놓은 말을 번복하지 않는다는 새로운 문제에서 경쟁의 기준을 바꿨다는 의미에 가깝습니다. R2T2는 실시간 음성인식 모델입니다. 사람의 말을 짧은 단위로 계속 들으면서 지금 들은 내용을 확정해도 되는지 판단합니다. 확실하면 'Commit', 아직 불확실하면 'Wait' 합니다. 한번 확정한 문장은 원칙적으로 다시 수정하지 않습니다. T3PO는 이렇게 들어온 문장을 보며 지금 번역할 것인지 조금 더 기다릴 것인지를 판단하는 중국어·영어 동시번역 모델입니다. R2T2는 알리바바의 Qwen3-ASR-1.7B를 기반으로 개발됐으며 T3PO 역시 Qwen2.5-14B를 기반으로 동시통역 능력을 특화한 모델입니다. 둘을 연결하면 흥미로운 변화가 일어납니다. 1. 동시통역을 듣는 상대가 사람이 아닐 수 있다. 지금까지 동시통역의 목적은 사람이 다른 언어를 이해하게 만드는 것이었습니다. 바다이야기 어플 중국인이 중국어로 말하면 한국인에게 한국어로 전달하고, 미국인이 영어로 말하면 중국인에게 중국어로 전달했습니다. 통역의 마지막에는 언제나 사람이 있었습니다. 그런데 에이전트 시대에는 다릅니다. "내일 베이징에서 상하이로 가는 오후 비행기를 예약해 주세요." 중국 현지 여행사 앱을 이용하면 더 큰 할인 혜택을 받을 수 있다고 가정해봅시다. 한국어로 이 말을 들은 AI는 중국어로 번역하는 데서 끝나지 않습니다. 중국 여행사 앱에 접속해 항공편을 검색하고, 사용자의 일정과 가격·시간 조건을 비교해 가장 적합한 항공편을 고른 뒤 결제 승인을 요청할 수 있습니다. 통역의 결과가 문장이 아니라 실제 행동으로 이어지는 것입니다. 음성→인식→번역→이해→행동이 하나의 흐름으로 연결됩니다. 통역이 사람의 이해를 돕는 서비스에서 AI가 현실 세계에서 행동하기 위한 입력 인프라로 바뀌기 시작하는 것입니다. ▲  영어 음성인식 성능을 WER(단어 오류율) 기준으로 다른 ASR 모델들과 비교한 표입니다. 수치가 낮을수록 정확도가 높은 것으로, R2T2의 160ms 설정과 Qwen3-ASR·X-ASR·WhisperRT·Nemotron·Voxtral·AssemblyAI 등의 결과를 비교하고 있습니다. ⓒ 넷이즈 유다오 2. 정확도보다 중요한 것은 '언제 믿어도 되는가'다 R2T2가 해결하려는 것은 단순한 음성인식 정확도가 아니라 입력의 안정성입니다. 예를 들어 사용자가 "오후 3시에… 아니, 5시에 예약해줘"라고 말한다고 해봅시다. 기존의 유사 스트리밍 음성인식은 먼저 '오후 3시'를 내보낸 뒤, 뒤의 말을 듣고 앞부분을 '오후 5시'로 고칠 수 있습니다. 사람이 자막을 읽는다면 바뀐 문장을 다시 보면 그만이지만, 그 텍스트를 실시간으로 받아 판단하는 에이전트는 이미 입력된 '3시'를 취소하고 '5시'로 다시 해석해야 합니다. R2T2는 접근법이 다릅니다. 확실한 부분은 바로 확정하고(Commit), 아직 의미가 불안정한 부분은 조금 더 듣습니다(Wait). 바다이야기pc버전다운 따라서 '내일'과 '오후'처럼 확실한 정보는 먼저 전달하면서도 '3시에…'처럼 뒤에서 수정될 가능성이 있는 부분은 잠시 기다렸다가 안정된 '5시'를 확정하는 식입니다. 물론 확신할 때까지 기다리면 속도는 늦어질 수 있습니다. R2T2의 핵심은 오래 기다리는 것이 아니라, 확정할 수 있는 말은 즉시 내보내고 불확실한 부분만 잠시 기다려 정확도와 지연시간 사이의 균형을 찾는 데 있습니다. 그런데 잘 듣는 것만으로 동시통역이 완성되는 것은 아닙니다. 언제 번역을 시작할 것인가라는 두 번째 문제가 남습니다. 이것이 T3PO의 역할입니다. 예를 들어 한국어로 "이번 계약을 내년까지 연장하지…"라고 말하는 순간 섣불리 번역하면 뜻을 잘못 전달할 수 있습니다. 뒤에 "않겠습니다"가 붙으면 문장의 의미가 완전히 달라지기 때문입니다. T3PO는 들어온 문맥만으로 번역하기 충분한지 판단해 부족하면 더 읽고(READ), 충분하면 번역을 내보냅니다(WRITE). 즉 R2T2가 '언제까지 들어야 하는가'를 판단한다면 T3PO는 '언제부터 말해도 되는가'를 판단하는 셈입니다. 이 둘을 연결하면 동시통역의 구조도 달라집니다. 과거처럼 말을 끝까지 들은 뒤 '음성인식→번역'을 순서대로 처리하는 것이 아니라, 듣고→확정하고→읽고→번역하는 과정이 동시에 흐릅니다. R2T2가 경청하는 귀라면 T3PO는 상대의 말이 끝나기 전에 문맥을 판단해 말을 시작하는 동시통역사에 가깝습니다. 따라서 질문은 '얼마나 정확하게 들었는가'에서 한 단계 더 나아갑니다. '얼마나 빨리 믿을 수 있는 입력을 만들고, 얼마나 적절한 순간에 다른 언어로 전달할 수 있는가'가 중요해집니다. 바로 이 지.에서 R2T2와 T3PO는 각각의 음성인식·번역 모델이 아니라 하나의 에이전트용 실시간 통역 파이프라인으로 연결됩니다. AI가 대답하는 것을 넘어 예약하고, 주문하고, 기업 시스템을 움직이는 시대라면 이 작은 차이는 .。 중요해질 것입니다. 한국어를 두고 흔히 "말은 끝까지 들어봐야 안다"고 합니다 모바일 바다이야기 배당 . 한국어는 서술어와 부정 표현 등이 문장 뒤에 놓이면서 마지막까지 들어야 의미가 명확해지는 경우가 많기 때문입니다. 그런 。에서 무조건 빨리 번역하기보다 문맥이 충분할 때까지 기다렸다 출력하는 T3PO의 READ/WRITE 방식은 한국어 동시통역으로 확장했을 때 특히 흥미로운 구조입니다. 현재 T3PO는 중국어-영어 중심이지만 한국어처럼 문장 후반부가 전체 의미를 뒤집을 수 있는 언어에서 오히려 이 '기다릴 줄 아는 통역'의 가치가 더 선명하게 드러날 수 있습니다. 3. AI 경쟁은 '두뇌'에서 '귀'로 확장된다 지난 몇 년 동안 AI 경쟁의 중심에는 거대언어모델이 있었습니다. GPT, Claude, DeepSeek, Kimi, Qwen 가운데 누가 더 똑똑한지가 관심의 대상이었습니다. 그러나 실제로 일하는 Voice Agent의 구조를 뜯어보면 조금 다릅니다. Ear → Brain → Action. 사람의 말을 듣는 귀가 있고, 의미를 판단하는 두뇌가 있으며, 실제 업무를 수행하는 손발이 있습니다. 아무리 뛰어난 LLM도 앞단에서 '15억 달러'를 '50억 달러'로 알아들으면 제대로 판단하기 어렵습니다. R2T2가 귀를 담당하고 T3PO가 언어의 장벽을 넘은 뒤, GPT나 Claude, Qwen 같은 LLM이 판단하고 기업의 API와 소프트웨어가 행동하는 구조를 생각해볼 수 있습니다. 결국 에이전트 경쟁은 가장 똑똑한 모델 하나를 갖는 경쟁에서 경청하는 귀와 현명한 두뇌, 자유로운 손발을 얼마나 안정적으로 연결하느냐는 시스템 경쟁으로 확장될 가능성이 큽니다. ▲  R2T2의 전체 작동 구조를 보여주는 도식입니다. 음성 입력을 사전학습 오디오 인코더 → 자기회귀 LLM 디코더 → 안정적인 접두부(stable prefix) 기반 스트리밍 출력으로 처리해, 확정된 단어는 수정하지 않고 순차적으로 출력하는 방식을 설명합니다. ⓒ 넷이즈 유다오 4. 오픈소스는 Voice Agent의 비용 구조도 바꾼다 R2T2와 T3PO가 흥미로운 또 하나의 이유는 오픈소스로 공개됐다는 .입니다. 정글북 특히 중국어와 영어 사이에서는 이미 상당한 기반이 마련돼 있습니다. 기업 입장에서는 모든 음성을 처음부터 끝까지 거대한 범용 AI에 맡기는 것만이 선택지가 아닙니다. R2T2 → T3PO → LLM Agent → 기업 API처럼 역할을 나눌 수 있습니다. 듣기는 음성인식 전문 모델이 맡고, 번역은 번역 전문 모델이 처리하고, 복잡한 판단이 필요할 때 LLM을 호출하는 것입니다. 사용자가 몇 명이라면 큰 차이가 없을 수 있습니다. 그러나 수천 개의 상담 에이전트가 하루 종일 전화를 받고 호텔 에이전트가 세계 각국 고객의 예약을 처리하고 물류 에이전트가 공급업체와 계속 대화한다면 비용 구조는 중요해집니다. AI 산업의 경쟁 기준도 모델 성능에서 지연시간·운영비·데이터 통제·자체 구축 가능성을 포함한 인프라 경쟁으로 넓어질 수 있습니다. 5. 이제 에이전트가 언어의 국경을 넘다 그리고 여기에서 한발 더 나가면 더 흥미로운 장면이 보입니다. 현재 T3PO는 중국어와 영어를 중심으로 합니다. 여기에 한국어가 붙고 일본어, 스페인어, 아랍어가 연결되면 어떻게 될까요. 서울의 기업 에이전트가 상하이 공급업체의 에이전트와 이야기합니다. 상하이의 에이전트는 다시 미국 물류기업의 에이전트와 협의합니다. 한국 사람은 한국어로 지시하고 중국 사람은 중국어로 확인하지만, 그 사이에서 일하는 에이전트들은 서로 같은 언어를 사용할 필요가 없습니다. 사람이 한국어로 말하면 AI가 듣고, 확정하고, 번역하고, 상대 에이전트가 이해해 필요한 업무를 수행합니다. 중요한 의사 결정이 필요한 순간에만 다시 사람을 호출할 수도 있습니다. 이 단계에 이르면 동시통역은 더 이상 컨퍼런스에서 쓰이는 기능이 아닙니다. 서로 다른 언어권의 에이전트를 연결하는 글로벌 인프라에 가까워집니다. 인터넷은 세계의 컴퓨터를 연결했고 스마트폰은 세계의 사람을 연결했습니다. 실시간 언어 AI가 다음으로 연결할 대상은 어쩌면 세계 곳곳에서 일하기 시작한 에이전트들일지 모릅니다. 특히 이 두 모델의 공개 직후 오픈소스 커뮤니티의 확장도 빠르게 진행되고 있습니다. R2T2의 C++ 구현과 Apple Silicon·Core ML 적용, GGUF 양자화 버전, llama.cpp·Ollama 연동, 오프라인 자막과 음성입력 도구 등이 잇따라 등장하고 있습니다 릴게임 뜻 . 하나의 모델이 공개되자 개발자들이 각자의 기기와 서비스에서 사용할 수 있도록 '길'을 만들기 시작한 것입니다. 이는 R2T2가 단순한 연구 모델을 넘어 Voice Agent의 음성 입력 인프라로 확장될 가능성을 보여줍니다. 지금까지 글로벌 비즈니스에서 국경을 넘는 주체는 사람이었습니다. 사람은 통역사를 데리고 해외로 갔고 번역된 계약서를 읽으며 다른 언어를 사용하는 상대와 협상했습니다. 여행도 그 나라 언어를 모르면 인터넷을 쓸 수도 현지 사람들과 대화를 나눌 수도 없었습니다. 그런데 머지않아 세계 곳곳에서 수억 개의 에이전트가 사람을 대신해 전화를 받고, 회의하고, 검색하고, 협상하고, 예약하고, 업무를 처리하고 결재하기 시작한다면 이야기는 달라집니다. 지금은 인간을 위해 만들어진 인터넷과 업무 환경 속에서 에이전트가 일해야 하기에 사람의 말을 듣고 번역해 전달하는 기술이 필요합니다. 그런데 머지 않아 에이전트가 세계 곳곳에서 서로 직접 협업하는 시대가 온다면 이야기는 또 달라집니다. 그들은 굳이 한국어를 중국어로, 다시 영어로 번역해 대화할 필요가 없을지도 모릅니다. 언어가 아니라 의미와 의도, 행동을 직접 주고받을 수 있기 때문입니다. 어쩌면 에이전트가 활약하는 세계에서는 처음부터 '외국어'라는 개념 자체가 필요 없어질지도 모릅니다. ○ R2T2 공식 GitHub 실시간 음성인식 모델의 코드·기술 구조·실행 방법 https://github.com/netease-youdao/Confucius4-R2T2 ○ R2T2 Hugging Face R2T2 모델 다운로드·모델 정보 및 실행 환경 https://huggingface.co/netease-youdao/Confucius4-R2T2 ○ T3PO 공식 GitHub 중국어↔영어 실시간 동시번역 모델의 코드·기술 구조·사용법 https://github.com/netease-youdao/Confucius4-T3PO ○ T3PO Hugging Face T3PO 모델 다운로드·모델 정보 및 중국어↔영어 스트리밍 번역 테스트 https://huggingface.co/netease-youdao/Confucius4-T3PO 올랐습니다. 특정