| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
- Windows
- curl
- git
- Paper
- format
- numpy
- Container
- file
- TORCH
- Python
- enV
- pandas
- judge
- Flask
- PostgreSQL
- KAKAO
- GitLab
- evaluation
- Laravel
- DB
- LLM
- docker
- AI
- Mac
- list
- Converting
- Database
- Linux
- pytorch
- CUDA
- Today
- Total
목록2024/10 (2)
Daily Develope
ㅇ Distillation (모델 증류 방법)Teacher & Student Modelㅇ Self Detection / CalibrationSelf Detection : 모델이 출력한 결과를 모델 스스로 검증하고, 필요하다면 질/답을 수정 또는 재시험하는 구조 (예, Think Twice)Calibration : 출력된 모델의 답변과 feature를 기반으로 평가 Module을 사용해 정확도를 측정하는 (일반적인) 구조ㅇ Self ReasoningPrompting 기술, 추론 기술 등 (예, few-shot, CoT)(참고) Inference VS ReasoningInference : 단순히 학습된 모델에 그대로 데이터를 입력해 결과를 처리하는 과정Reasoning : 사람이 문제를 해결할 때와 유사하게..
[Article] OpenAI o1 간략 정리
소개 OpenAI o1 모델은 24년 9월 12일 공개된 CoT 기반의 학습/추론 모델로, 수학(AIME), 코딩(Codeforces), 물리/생물/화학 벤치마크(GPQA) 등의 복잡한 추론이 필요한 작업에서 우수한 성능을 보여주고 있습니다. 현재(24.10)는 o1-preview 모델과 o1-mini 모델을 우선 공개하고있으며, 성능 개선과 CoT 기반 정보 제공의 질을 높이기 위한 추가 연구 이후 o1 모델도 공개될 예정입니다. 성능 & 평가 OpenAI에서는 o1 모델의 다양한 시험 결과(human exam)와 벤치마크 성능을 공개했습니다. 복잡하고 어려운(Heavy) task에서 GPT-4o보다 우수한 성능을 나타냈습니다. 당장에 제공하고 있는 모델이 멀티 모달이 아니라 직접적인 평가는 어..