Skip to content

[Feat] 평가 결과에 Few-shot 선택 메타데이터 기록 #292

Description

@whc9999

어떤 기능인가요?

추가하려는 기능에 대해서 간단하게 설명해주세요.

우선순위: P0
선행 조건: 없음

목적
STATIC/DYNAMIC 평가 결과에서 어떤 Few-shot이 실제 사용됐는지 추적할 수 있도록 한다.

상세 내용

이슈 내용 구현 관련하여 상세 내용을 작성해주세요.

작업 내용

  • 평가 실행별 selectionMode 기록
  • 선택된 Few-shot ID와 source 기록
  • 선택된 후보별 similarity score 기록
  • topScore, bottomScore, avgScore 기록
  • 적용된 datasetVersion, minSimilarity, topK 기록
  • 기존 운영 API와 DB 스키마에는 영향을 주지 않도록 평가 결과 또는 별도 sidecar 파일에 기록

완료 조건

  • 평가 결과만 보고 STATIC/EMBEDDING/LOCAL_FALLBACK을 구분할 수 있다.
  • 각 평가 케이스에 사용된 Few-shot ID와 점수를 확인할 수 있다.
  • 기존 평가 CSV 사용자와 호환된다.

체크 리스트

  • TODO 1
  • TODO 2

로컬 테스트 완료

로컬에서 테스트한 결과가 잘 나오는지 확인해주세요.
테스트 결과를 스크린샷으로 올려주세요.

기타

(스크린샷 등) 기타 사항을 작성해주세요.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

✨ featNew feature or request

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions