일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- AI
- git
- DB
- docker
- pandas
- Container
- list
- Laravel
- curl
- pytorch
- Database
- Converting
- evaluation
- Flask
- Linux
- Windows
- file
- LLM
- judge
- Python
- numpy
- Paper
- TORCH
- CUDA
- format
- PostgreSQL
- KAKAO
- GitLab
- enV
- Mac
- Today
- Total
목록2024/01 (3)
Daily Develope
설치python -m pip install --upgrade pippython -m pip install pandaspython -m pip install openpyxlpython -m pip install xlsxwriter# xlsxwriter은 파일을 쓸 때 인코딩 혹은 문자깨짐으로인한 오류를 처리하기 위해 설치기능엑셀파일 불러오기import pandas as pddataset = pd.read_excel("{파일경로}/{파일명}.xlsx", header=0)엑셀파일 저장하기단일 Sheet 저장import pandas as pd# 1) data frame 생성my_header = ["단어", "단어 길이"]my_data = [["바나나", "3"], ["사과", "2"], ["대머리독수리", "6..
1. 실행창에서 regedit 입력 2. regedit 편집기에서 다음 경로로 이동컴퓨터\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Keyboard Layout 3. Keyboard Layout 폴더 내 Scancode Map 이진파일 생성/편집00 00 00 00 00 00 00 00 02 00 00 00 72 00 3A 00 00 00 00 00 00 00 00 00
LLM Judge : LLM 모델을 평가하기 위해 기존 LLM을 사용하는 기술로, 해당 기술을 사용하기 위한 조건과 유효성에 대한 기사를 요약 LLM Judge 평가 시험과정 Query-Passage 데이터셋 준비 모델별 QPA 데이터셋 생성 : 평가하려는 모델에 대해 QP 데이터셋을 던져 Answer 출력 및 기록 모델별 QPA 데이터셋을 LLM Judge 에 던져서 평가 : LLM Judge는 LLM 모델로, 입력받은 QPA에 대해 정확한 답변이 생성되었는지 판별해 1~3 등급으로 채점 (비교 편의를 위해 0~100점 보다는 1~3 등급으로 구분) 평가 항목 (& 가중치) : 정확도(60%), 내용포괄(20%), 가독성(20%) 실험1 의의 : 사람의 평가와 LLM 평가 간의 등급 차이를 비교 실험 ..