Daily Develope

LLM JudgeLLM Judge는 모델을 평가하기 위해 성능이 좋은 대규모 언어 모델(LLM)을 사용하는 방법을 말한다.Judge를 위해 어떤 수단을 사용하는 지에 따라서 아래 3가지 방법이 존재한다.1. Prompted JudgeJudge를 위해 프롬프트를 기술(description)하는 방법ㅇ 장점비용 : 단일 모델의 추론만 사용하기에, 빠르고 저렵하다.이식성 : 동일 프롬프트를 다른 모델에도 쉽게 적용해 볼 수 있다.ㅇ 단점학습되지 않은 Task/Domain에 대한 판단 정확도가 떨어진다.동일 프롬프트를 사용하더라도 모델에 따라 성능이 크게 차이날 수 있다.2. Fine-tuned JudgeJudge를 목적으로 특정 모델을 학습해 사용하는 방법ㅇ 장점벤치마크와 같은 단순한 평가에 대한 평가 정확도..

일부내용 요약 및 정리 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena Abstract open-ended 질문에서 모델을 평가하기 위해 강력한 LLM을 평가 도구로 사용해본 연구이다. LLM 평가와 사람의 선호도 사이의 일치도를 검증하고, 관련된 벤치마크로 (multi-turn의 질문 셋으로 구성된 ) MT-bench와 (온라인을 통해 LLM간 경쟁을 붙이는) Chatbot Arena 플랫폼에 대해 소개한다. GPT-4와 같은 강력한 LLM을 판단도구로 사용하는 경우 사람과의 일치율이 80% 이상이었으며, 사람들의 선호도 측정 및 설명 가능한 방법 중 하나로 대략적으로 사용 가능할 것으로 보인다. 1. Introduction 대표적으로 사용되는 LLM ..

LLM Judge : LLM 모델을 평가하기 위해 기존 LLM을 사용하는 기술로, 해당 기술을 사용하기 위한 조건과 유효성에 대한 기사를 요약 LLM Judge 평가 시험과정 Query-Passage 데이터셋 준비 모델별 QPA 데이터셋 생성 : 평가하려는 모델에 대해 QP 데이터셋을 던져 Answer 출력 및 기록 모델별 QPA 데이터셋을 LLM Judge 에 던져서 평가 : LLM Judge는 LLM 모델로, 입력받은 QPA에 대해 정확한 답변이 생성되었는지 판별해 1~3 등급으로 채점 (비교 편의를 위해 0~100점 보다는 1~3 등급으로 구분) 평가 항목 (& 가중치) : 정확도(60%), 내용포괄(20%), 가독성(20%) 실험1 의의 : 사람의 평가와 LLM 평가 간의 등급 차이를 비교 실험 ..