임베딩과 유사도

개요

숫자 벡터가 의미 비교에 쓰이는 방식과 한계를 설명한다.

먼저 토큰·문맥·Transformer의 핵심 개념을 확인하세요.

핵심 개요

임베딩은 자료의 특징을 숫자 벡터로 표현합니다. 같은 임베딩 공간에서 거리나 코사인 유사도를 계산해 후보를 찾을 수 있지만, 가까운 두 문장이 같은 사실을 주장하거나 같은 권한을 가진다는 뜻은 아닙니다.

질의와 문서 벡터는 같은 공간이거나 서로 호환되도록 학습된 공간에 있어야 하며 차원도 맞아야 합니다. 모델이 질의와 문서에 서로 다른 프롬프트나 인코딩 처리를 지정할 수 있으므로, 전처리가 다르다는 이유만으로 오류라고 판단하지 않습니다. 모델을 교체할 때는 제공된 query/document 인코딩 계약에 맞춰 인덱스와 질의 변환을 함께 검증해야 합니다.

필요한 용어

• 벡터: 여러 숫자를 순서 있게 모은 표현
• 코사인 유사도: 두 벡터 방향의 유사성을 측정한 값

작동 과정

1. 호환되는 임베딩 공간·차원과 모델이 지정한 질의·문서별 인코딩 방식을 정합니다.
2. 관련 문서의 정답 목록을 만들어 후보 검색을 시험합니다.
3. 의미 유사도 뒤에 적용일·대상·권한 조건을 검사합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

질문은 제품 B의 반품 기간입니다. 제품 A의 반품 문서가 0.92, 제품 B 문서가 0.87의 유사도로 검색됐습니다.

판단·결과

제품 B 문서를 대상 조건으로 우선 확인합니다. 가장 높은 점수를 사실의 정답 확률로 읽지 않습니다.

이렇게 판단한 이유

유사도는 선택한 표현 공간에서의 가까움입니다. 제품 ID처럼 반드시 맞아야 하는 조건은 별도의 필터·검증이 필요합니다.

흔한 실패와 복구

유사도 0.9를 정답 확률 90%로 표현하지 않습니다. 점수 분포와 업무 평가셋에서의 실제 성능을 따로 측정합니다.

확인 문제

참고 자료

1. Google: Embeddings  — 벡터 표현과 학습된 유사도.
2. Microsoft: Retrieval augmented generation  — 검색과 모델 입력 결합의 단계.
3. Sentence Transformers: Semantic Search  — 같은 임베딩 공간과 질의·문서별 비대칭 인코딩.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

기존 인덱스는 384차원이고 새 질문 모델은 768차원입니다. 대응 방법과 검색이 재개된 뒤 확인할 품질 기준을 적으세요.