Gemini 3.5 Transcribe: 85개 언어, 오차율 2.6% — 구글이 새로 그린 음성 인식의 기준

회의를 마치면 회의록이 이미 완성돼 있다. 강의를 끝내면 자막이 저절로 붙는다. 그게 현실이 된 시대가 왔다.

Google이 2026년 8월 26일 Gemini 3.5 Transcribe를 정식 공개했다. 단순한 음성 인식 모델이 아니다. 기존 업계 최고 수준의 오류율을 다시 써 내려간, 새로운 기준이다.

숫자로 보는 정확도: WER 2.6%

음성 인식의 품질을 재는 핵심 지표는 **단어 오류율(WER, Word Error Rate)**이다. 100단어를 듣고 몇 개를 틀리느냐를 나타낸다.

Gemini 3.5 Transcribe의 비스트리밍 WER은 2.6%. 스트리밍 모드에서는 **4.0%**다. Artificial Analysis의 벤치마크 기준으로 이 수치는 현재 공개된 상업용 음성 인식 모델 중 최상위권이다.

숫자가 작을수록 더 정확하다. WER 2.6%란, 100단어 중 약 2~3개만 틀린다는 의미다. 사람이 타이핑하는 오타율과 비슷하거나 낮은 수준이다.

두 개의 모드, 각기 다른 쓰임

비스트리밍 모드: 사전 녹음 파일 처리

강의 영상, 팟캐스트, 인터뷰 녹음처럼 이미 완성된 오디오 파일을 다룰 때 쓴다. 파일을 올리면 발화 단위로 언어를 자동 감지하고 전사한다.

• 85개 이상 언어 지원
• 화자 분리(Speaker Diarization): "A가 말했다", "B가 말했다"를 자동으로 구분
• 단어 단위 타임스탬프: 각 단어가 몇 초 지점에서 발화됐는지 기록
• 맞춤 어휘 설정: 최대 1,000개까지 특정 용어(사람 이름, 제품명, 업계 전문어)를 우선 인식하도록 지정 가능

스트리밍 모드: 실시간 대화

Live API 위에서 동작하는 실시간 스트리밍이다. WebSocket으로 연결하면 말하는 순간 텍스트가 생성된다.

• 중간 결과(interim)와 최종 결과(finalized)를 함께 반환
• Smart 전사 모드: 필러("어...", "음..."), 반복어를 자동으로 정제
• 다양한 음성 활동 감지(VAD) 전략 지원

발화 단위 언어 감지: 다국어 대화의 구세주

이 기능이 특히 눈에 띈다. 녹음 파일 전체가 아니라 발화 단위로 언어를 감지한다.

예를 들어, 한 사람은 한국어로, 다른 사람은 영어로 말하는 인터뷰 파일을 올리면, 각 발화마다 어떤 언어인지 자동으로 감지해 해당 언어로 전사한다. 다국어 환경의 학술 컨퍼런스, 국제 팀 회의, 이민자 커뮤니티의 녹음 자료를 처리할 때 강력한 도구가 된다.

교육 현장에서의 활용 팁

에듀테크 관점에서 가장 실용적인 활용 시나리오 세 가지를 꼽아봤다.

1. 강의 자막 자동 생성 강사가 영상을 녹화한 뒤 오디오 파일을 Gemini 3.5 Transcribe에 전달하면 자막용 자막 데이터(타임스탬프 포함)가 자동으로 만들어진다. 기존에는 수동 편집이 필요했던 작업이다.

2. 학생 발표 평가 보조 학생 발표를 녹음해 전사하면 텍스트를 기반으로 피드백을 제공하거나 루브릭 채점에 활용할 수 있다. 화자 분리 기능을 켜면 그룹 발표에서 각 학생의 발언량도 측정 가능하다.

3. 다국어 학생 지원 영어가 모국어가 아닌 학생이 모국어로 답변한 내용을 전사해, 교사가 번역 도구와 함께 내용을 파악하는 데 활용할 수 있다.

맞춤 어휘 기능: 고유명사의 함정을 피하는 법

AI 음성 인식이 늘 틀리는 곳이 있다. 사람 이름, 브랜드명, 기술 용어, 지역 고유어다.

Gemini 3.5 Transcribe는 최대 1,000개의 맞춤 어휘(Custom Vocabulary) 를 지정할 수 있다. "Anthropic", "바이브코딩", "NEIS", "세특"처럼 일반 언어 모델이 낯설어하는 단어를 리스트에 넣으면 해당 단어를 우선 인식한다.

요금 구조와 시작 방법

Gemini API를 통해 접근 가능하다. Google AI Studio에서 곧바로 테스트할 수 있으며, 상용화 시에는 Google Cloud AI 요금 체계를 따른다. 현재 GA(정식 출시) 상태다.

시작은 간단하다:

1. Google AI Studio → Gemini API 키 발급
2. gemini-3.5-transcribe 모델 엔드포인트로 오디오 파일 전달
3. 실시간 스트리밍이 필요하면 gemini-3.5-transcribe-live와 WebSocket 연결

정리

Gemini 3.5 Transcribe는 음성 인식을 "그냥 쓸 만한" 수준에서 "믿고 쓸 수 있는" 수준으로 끌어올렸다. 특히 다국어 환경, 전문 용어가 많은 분야, 실시간 전사가 필요한 서비스에서는 게임 체인저가 될 수 있다.

음성을 텍스트로 바꾸는 기술이 이제 교육 콘텐츠 제작과 학습 지원의 기반 인프라가 되고 있다. 강의실 밖에서도 학습이 이어지는 시대에, 음성을 놓치지 않는 기술은 그 자체로 교육 접근성의 문제다.

Sources:

• Intelligent transcription with Gemini 3.5 Transcribe - Google Blog
• Gemini 3.5 Transcribe: Google's New Speech-to-Text Model - Spokenly
• Google Gemini 3.5 Transcribe API Analysis - Winzheng
• Google AI Releases Gemini 3.5 Transcribe - MarkTechPost
• Release notes - Gemini API