[Fix] Few-shot 메모리 캐시 최대 크기 제한

[whc9999]

어떤 기능인가요?

추가하려는 기능에 대해서 간단하게 설명해주세요.

우선순위: P2
선행 조건: 실제 트래픽 및 캐시 크기 관측

목적
고유 query와 데이터셋이 지속해서 증가할 때 메모리 캐시가 과도하게 커지는 것을 방지한다.

상세 내용

이슈 내용 구현 관련하여 상세 내용을 작성해주세요.

대상

• selection cache
• query embedding cache
• document embedding cache

작업 내용

• 캐시별 최대 크기 설정 추가
• TTL과 최대 크기를 함께 적용
• 오래된 항목 또는 최근 사용되지 않은 항목 제거
• 동시 요청 중인 in-flight 상태는 안전하게 유지
• 캐시 hit/miss/eviction 관측값 추가 검토

완료 조건

• 설정한 최대 크기를 장시간 초과하지 않는다.
• 만료 및 크기 기반 제거가 전체 캐시에 적용된다.
• 캐시 제거 중 동일 키 중복 API 호출이 발생하지 않는다.

체크 리스트

• TODO 1
• TODO 2

로컬 테스트 완료

로컬에서 테스트한 결과가 잘 나오는지 확인해주세요.
테스트 결과를 스크린샷으로 올려주세요.

기타

(스크린샷 등) 기타 사항을 작성해주세요.