[Perf] 대규모 Few-shot 후보 1차 필터링 도입

[whc9999]

어떤 기능인가요?

추가하려는 기능에 대해서 간단하게 설명해주세요.

우선순위: P3
진행 조건: 후보가 약 500~1,000건 이상으로 증가한 경우

목적
전체 후보에 대한 cosine similarity 계산과 메모리 사용량을 줄인다.

상세 내용

이슈 내용 구현 관련하여 상세 내용을 작성해주세요.

검토할 1차 필터

• 직무 대분류·중분류
• 문항 유형
• 태그
• 데이터 source
• 승인 데이터 버전

작업 내용

• 필터 적용 전후 recall 비교
• 관련 후보가 필터 단계에서 누락되지 않는지 평가
• 필터링 후 embedding similarity 적용
• candidate-limit 적용 순서 검증
• 필터별 성능과 품질 측정

완료 조건

• 검색 품질 저하 없이 후보 계산량이 감소한다.
• 필터 적용 전후 품질·지연 비교 결과가 있다.
• 후보가 적은 경우에는 기존 전체 검색 동작을 유지한다.

체크 리스트

• TODO 1
• TODO 2

로컬 테스트 완료

로컬에서 테스트한 결과가 잘 나오는지 확인해주세요.
테스트 결과를 스크린샷으로 올려주세요.

기타

(스크린샷 등) 기타 사항을 작성해주세요.