일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- KAKAO
- Python
- DB
- file
- list
- Database
- evaluation
- enV
- numpy
- TORCH
- Container
- AI
- pandas
- git
- Windows
- pytorch
- PostgreSQL
- Laravel
- Flask
- curl
- judge
- GitLab
- LLM
- Mac
- Converting
- CUDA
- format
- docker
- Paper
- Linux
- Today
- Total
목록AI (13)
Daily Develope
ㅇ Distillation (모델 증류 방법)Teacher & Student Modelㅇ Self Detection / CalibrationSelf Detection : 모델이 출력한 결과를 모델 스스로 검증하고, 필요하다면 질/답을 수정 또는 재시험하는 구조 (예, Think Twice)Calibration : 출력된 모델의 답변과 feature를 기반으로 평가 Module을 사용해 정확도를 측정하는 (일반적인) 구조ㅇ Self ReasoningPrompting 기술, 추론 기술 등 (예, few-shot, CoT)(참고) Inference VS ReasoningInference : 단순히 학습된 모델에 그대로 데이터를 입력해 결과를 처리하는 과정Reasoning : 사람이 문제를 해결할 때와 유사하게..
소개 OpenAI o1 모델은 24년 9월 12일 공개된 CoT 기반의 학습/추론 모델로, 수학(AIME), 코딩(Codeforces), 물리/생물/화학 벤치마크(GPQA) 등의 복잡한 추론이 필요한 작업에서 우수한 성능을 보여주고 있습니다. 현재(24.10)는 o1-preview 모델과 o1-mini 모델을 우선 공개하고있으며, 성능 개선과 CoT 기반 정보 제공의 질을 높이기 위한 추가 연구 이후 o1 모델도 공개될 예정입니다. 성능 & 평가 OpenAI에서는 o1 모델의 다양한 시험 결과(human exam)와 벤치마크 성능을 공개했습니다. 복잡하고 어려운(Heavy) task에서 GPT-4o보다 우수한 성능을 나타냈습니다. 당장에 제공하고 있는 모델이 멀티 모달이 아니라 직접적인 평가는 어..
주요정보 링크llama-gitllama-recipesllama-hugging-sample_codehugging-chatllama-3-cookbookprompt-formatllama-3-70B-GGUFRun Code (on terminal)8Btorchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir 8B-instruct/Meta-Llama-3-8B-Instruct/ \--tokenizer_path 8B-instruct/Meta-Llama-3-8B-Instruct/tokenizer.model\--max_seq_len 2048 --max_batch_size 670Btorchrun --nproc_per_node ..
m반쩨 GPU device 사용 improt os # 1번째 device만 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "1" # 2, 3번째 device 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "2,3" # 혹은 terminal에서 export 환경변수로 선언해 사용 # export CUDA_VISIBLE_DEVICES=1 GPU 사용 가능여부 확인 torch.cuda.is_available()현재 사용중인 device 번호 확인 device slot 순서와 상관없이 기본적으로 0번부터 할당 (즉 장치가 1개라면 0으로 출력) torch.cuda.current_device()현재 사용중인 device 개수 확인 torch.cuda.device_co..