목록2026/01/08 (1)

프리미의 공간

[TIL] LLM 출력의 confidence를 정의하는 방법

LLM의 출력을 얼마나 신뢰할 수 있는지, confidence를 측정하는 여러 방법이 발표되었지만, 오늘은 P(True) Calibration 방법론에 대해 소개한다.Input: [게시글 본문] Classifier: 위 글은 '정치' 카테고리로 분류되었습니다.Question: 당신의 분류가 정확합니까? (Yes/No로만 답하세요)'Yes' 토큰의 로짓과 'No' 토큰의 로짓을 각각 추출한 뒤, Softmax를 적용해 정규화된 confidence score를 계산한다. 특히 모델에게 답변의 이유(Chain-of-Thought)를 먼저 말하게 한 뒤 이 질문을 던질 때 정확도가 상승한다고 한다. ReferenceLanguage Models (Mostly) Know What They Know, Kadavat..
카테고리 없음 2026. 1. 8. 00:21
이전 Prev 1 Next 다음