[Eval] STATIC/DYNAMIC Few-shot 품질 비교 평가

[whc9999]

어떤 기능인가요?

추가하려는 기능에 대해서 간단하게 설명해주세요.

우선순위: P0
선행 조건: #291 , #292 완료

목적
동일한 평가 케이스에서 기존 정적 Few-shot과 동적 Few-shot의 품질, 비용, 지연을 비교한다.

상세 내용

이슈 내용 구현 관련하여 상세 내용을 작성해주세요.

평가 조건

• 동일 모델 사용
• 동일 temperature 사용
• 동일 평가 케이스 사용
• 동일 평가 기준 및 Judge 사용
• STATIC/DYNAMIC 외 조건은 동일하게 유지

비교 항목

• 전체 품질 점수
• status 정확도
• 원문에 없는 내용 생성 여부
• missing keyword 정확도
• 케이스별 개선·악화 건수
• 평균 및 P95 응답 시간
• Cohere 호출 수
• OpenAI 토큰 사용량
• fallback 비율

완료 조건

• 케이스별 STATIC/DYNAMIC 비교표가 생성된다.
• 개선, 동일, 악화 케이스가 분류된다.
• 동적 선택 적용 여부를 결정할 수 있는 결과 보고서가 작성된다.

체크 리스트

• TODO 1
• TODO 2

로컬 테스트 완료

로컬에서 테스트한 결과가 잘 나오는지 확인해주세요.
테스트 결과를 스크린샷으로 올려주세요.

기타

(스크린샷 등) 기타 사항을 작성해주세요.