음성·실시간 상호작용

개요

음성 인식·합성·번역의 오류 전파를 분석한다.

먼저 텍스트 분석·번역·도메인의 핵심 개념을 확인하세요.

핵심 개요

음성 흐름은 입력 오디오에서 인식 텍스트를 만들고, 의도를 처리한 뒤 응답을 합성하는 단계로 나눌 수 있습니다. 실시간 처리에서는 부분 인식과 확정 인식, 사용자의 말 끊기와 정정이 발생합니다.

주문 번호·금액 같은 중요한 값은 확정된 입력과 실행 직전에 대조합니다. 합성된 응답이 자연스럽다는 이유로 실제 도구 실행이 성공했다고 판단하지 않습니다.

번역이 추가되면 원음→인식 원문→번역문→합성 음성을 각각 비교합니다. 원음의 “15달러”가 인식에서 “50달러”로 바뀌면 번역이 충실해도 최종 금액은 틀립니다. 인식이 맞고 번역에서 부정이나 단위가 바뀐 경우는 번역 오류입니다. 마지막 합성 단계는 발음·숫자 읽기를 별도로 검증합니다.

필요한 용어

• 부분 인식: 발화가 끝나기 전에 수정될 수 있는 임시 텍스트
• Barge-in: 음성 응답 중 사용자가 끼어들어 흐름을 바꾸는 동작

작동 과정

1. 음성 인식과 확정·정정 이벤트를 구분합니다.
2. 중요 인수를 사용자 의도·권한과 확인합니다.
3. 실행 결과에 따라 응답하고 중단·재개를 처리합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

부분 인식은 주문 1234, 확정 인식은 1244이고 사용자는 다시 1254라고 정정했습니다.

판단·결과

실행 전 최종 확인된 주문 ID를 사용하고 이전 인수의 대기 작업을 무효화합니다.

이렇게 판단한 이유

스트리밍 입력은 계속 바뀔 수 있어 일찍 만든 도구 요청을 그대로 실행하면 다른 대상을 변경할 수 있습니다.

흔한 실패와 복구

인식 텍스트만 로그에 남겨 음성·정정 이벤트의 순서를 잃지 않습니다. 개인정보 보관 범위는 목적에 맞게 제한합니다.

확인 문제

참고 자료

1. Microsoft: Speech service overview  — 음성 인식·합성·번역의 기능 경계.
2. Anthropic: Building effective agents  — 고정 workflow와 자율 agent의 설계 패턴.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

사용자가 음성으로 배송지 변경을 요청하다 중간에 취소했습니다. 상태와 실행·응답 정책을 설계하세요. 추가 기록: 원음은 “15달러, 취소”, 확정 인식은 “50달러, 취소”, 번역은 “50 dollars, cancel”, 합성은 “fifteen dollars, cancelled”입니다. 단계별 오류와 실제 실행 확인이 필요한 이유도 분석하세요.