일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- git
- DB
- evaluation
- AI
- Mac
- GitLab
- pandas
- list
- CUDA
- KAKAO
- Windows
- pytorch
- LLM
- judge
- format
- TORCH
- Paper
- Python
- enV
- Container
- Linux
- docker
- file
- Flask
- Package
- numpy
- PostgreSQL
- Database
- Converting
- Laravel
- Today
- Total
목록전체 글 (108)
Daily Develope
1. 실행창에서 regedit 입력 2. regedit 편집기에서 다음 경로로 이동컴퓨터\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Keyboard Layout 3. Keyboard Layout 폴더 내 Scancode Map 이진파일 생성/편집00 00 00 00 00 00 00 00 02 00 00 00 72 00 3A 00 00 00 00 00 00 00 00 00

LLM Judge : LLM 모델을 평가하기 위해 기존 LLM을 사용하는 기술로, 해당 기술을 사용하기 위한 조건과 유효성에 대한 기사를 요약 LLM Judge 평가 시험과정 Query-Passage 데이터셋 준비 모델별 QPA 데이터셋 생성 : 평가하려는 모델에 대해 QP 데이터셋을 던져 Answer 출력 및 기록 모델별 QPA 데이터셋을 LLM Judge 에 던져서 평가 : LLM Judge는 LLM 모델로, 입력받은 QPA에 대해 정확한 답변이 생성되었는지 판별해 1~3 등급으로 채점 (비교 편의를 위해 0~100점 보다는 1~3 등급으로 구분) 평가 항목 (& 가중치) : 정확도(60%), 내용포괄(20%), 가독성(20%) 실험1 의의 : 사람의 평가와 LLM 평가 간의 등급 차이를 비교 실험 ..

"Gemini: A Family of Highly Capable Multimodal Models" 기술 레포트 내용에서 MMLU 관련내용 및 평가방법(5.1절)까지 내용 중 필요한 부분만 발췌&정리 1. Introduction Gemini 1.0은 모델 크기에 따라 Ultra, Pro, Nano로 나눌 수 있다. Gemini Ultra의 경우는 MMLU 영역에서 인간 전문가를 뛰어 넘은 최초의 모델이다. 사용 가능성 교육 : 지저분하게 작성된 문제 및 풀이과정을 이해하고, 깔끔한 수식으로 표현해 줄 수 있으며, 잘 못된 풀이부분을 되짚어줄 수 있다. 프로그래밍 : AlphaCode2에 활용해, 프로그래밍 플랫폼인 Codeforce에서 입문자 상위 15%, 상급자 상위 50%의 성능을 보여주었다. 2. M..
바깥은 여름 사소하고 시시한 하루가 쌓여 계절이 되고, 계절이 쌓여 인생이 된다는 걸 배웠다. 미드나잇 라이브러리 인생은 이해하는게 아니야. 그냥 사는거야. 완전한 행복 단풍잎 같은 손 나인 무언가를 감추려고 한 순간부터 이미 멀어진거구나. 떨어져 있는 시간 동안 서로 다른 기억이 쌓여서 다시 만났을 때 도저히 넘나들 수 없을 높은 장벽이 생긴다면. 그것을 부술 생각도 하지 못하고, 어른이 됐다는 이유로 서로의 다름으로 인정하고는 그렇게 벽 너머에 있게 된다면 언제나 모든 사람이 괴로움을 이길 필요는 없으니까. 때로는 괴롭게 하는것으로부터 멀리 가는 것도 방법인 것 같았다. 미래로부터의 탈출 불행이란 행복의 상실이야 ... 네가 지금 불행한건 방금 전까지 행복했기 때문이지. 데이터 과학자의 일 배는 항구..
의의 다운로드 속도나 비공개 패키지 등 환경 조건에 따라서 패키지 저장소를 별도 구축해야하는 경우가 있다. 일반적으로 패키지 저장소는 서버 형태로 배포되기에, 본 게시글에서는 Linux 및 Container를 활용한 Nexus 구축 방법에 대해 정리하고있다. 구축환경 OS : Ubuntu Client : Nexus Container (with Docker) Proxy : NginX (편의상 샘플코드의 sudo 생략) 절차 1) Neuxs 설치 (Package Repository) Docker Image 다운로드 docker pull sonatype/nexus3:latest Container 생성 docker run -d -p 8081:8081 --name nexus -v /some/dir/nexus-da..