한국어 임베딩 모델 비교 — 브라우저에서 직접 돌려 보고 고르기
실험장은 임베딩 모델 넷과 기준선 BM25에 같은 한국어 문장을 넣어 결과가 어떻게 갈리는지 보는 곳입니다. 모델은 브라우저 안에서 돕니다. 넣은 문장과 계산 결과는 어디로도 전송되지 않습니다. 파이썬 환경을 만들거나 서버를 띄울 일 없이 탭 하나에서 끝납니다.
이런 때 씁니다
- RAG나 검색에 쓸 임베딩 모델을 고를 때 — 리더보드 점수 대신 내 문장으로 직접 재고 싶을 때
- 존댓말과 반말, 띄어쓰기가 흔들린 문장, 오타를 같은 뜻으로 묶는지 확인할 때
- 768차원을 128까지 잘라(Matryoshka) 용량을 줄이면 검색 결과가 언제 무너지는지 볼 때
자주 묻는 것
- 넣은 문장이 서버로 전송되나요?
- 아닙니다. 문장과 계산 결과는 이 탭 안에만 있습니다. 밖으로 나가는 요청은 모델 가중치와 실행기(wasm)를 내려받는 것뿐입니다. 접속하는 곳은 huggingface.co와 cdn.jsdelivr.net 두 곳이고 화면 아래에 그대로 적어 두었습니다.
- 오프라인에서도 쓸 수 있나요?
- 이 앱만 예외입니다. 모델을 실행 시점에 외부에서 내려받기 때문에 처음에는 접속이 필요합니다. 한 번 받아 둔 모델은 브라우저 캐시에 남아 다음부터는 오프라인에서도 열립니다.
- 어떤 모델을 비교할 수 있나요?
- EmbeddingGemma 300M·multilingual-e5-small·BGE-M3·Qwen3-Embedding 0.6B 네 가지에 내려받을 것이 없는 기준선 BM25를 더해 다섯입니다. 모델마다 정밀도를 골라 내려받는 용량과 정확도를 견줍니다. 한국어 IR 리더보드 점수도 같이 보여 줍니다.
함께 쓰는 도구
임베딩할 문장을 다듬거나 JSON·YAML을 정리할 때는 개발자 도구의 변환·정규식 도구를 함께 씁니다. 이 실험장을 어떻게 만들었는지는 소스 코드에 있습니다. 문서 뭉치를 다루기 전에 파일을 정리해야 한다면 PDF 합치기가 있습니다.