검색 랭킹은 질의에 맞는 문서를 위에서부터 줄 세우는 일이다. 키워드가 정확히 겹치는 문서는 BM25가 잘 찾고, 표현은 달라도 뜻이 비슷한 문서는 벡터 검색이 잘 찾는다. 둘은 실패하는 지점이 달라서, 실무에서는 함께 돌리고 결과를 합치는 하이브리드 검색을 많이 쓴다.
핵심
- BM25는 TF-IDF의 약점을 고친 확률 모델이다. 같은 단어가 반복될수록 점수 증가가 둔해지는 포화와, 긴 문서가 유리해지지 않게 하는 길이 정규화를 더했다.
k1이 포화 정도를,b가 길이 보정 강도를 정하며, 도메인에 따라 조정한다. Elasticsearch의 기본 유사도다. BM25: 검색 엔진의 핵심 랭킹 알고리즘 - 두 검색 결과를 점수로 섞기는 어렵다. BM25 점수는 상한이 없고 코사인 유사도는 0~1이라 정규화가 필요하다. RRF는 점수 대신 각 결과의 순위만 써서
1/(k + 순위)를 더하므로 정규화가 필요 없고, 그래서 하이브리드 검색의 첫 선택지로 맞는다. RRF: 하이브리드 검색의 핵심 랭크 퓨전 알고리즘 - RRF는 OpenSearch와 Elasticsearch에서 바로 쓸 수 있고, 더 세밀하게 맞추려면 시스템별 가중치나 학습 기반 결합으로 넘어간다.
k값과 가중치는 A/B 테스트로 고른다. RRF: 하이브리드 검색의 핵심 랭크 퓨전 알고리즘 - 벡터 검색 도구는 성능과 운영 편의 사이에서 고른다. Faiss는 GPU 가속을 갖춘 순수 라이브러리라 초저지연에 맞고, OpenSearch는 키워드와 벡터를 한 쿼리로 묶고 운영 기능을 갖춘 분산 엔진이다. OpenSearch는 내부 엔진으로 Faiss를 쓸 수 있어 둘은 경쟁보다 보완 관계다. Faiss와 OpenSearch 벡터 검색 비교