Daily Develope

소개  OpenAI o1 모델은 24년 9월 12일 공개된 CoT 기반의 학습/추론 모델로, 수학(AIME), 코딩(Codeforces), 물리/생물/화학 벤치마크(GPQA) 등의 복잡한 추론이 필요한 작업에서 우수한 성능을 보여주고 있습니다.  현재(24.10)는 o1-preview 모델과 o1-mini 모델을 우선 공개하고있으며, 성능 개선과 CoT 기반 정보 제공의 질을 높이기 위한 추가 연구 이후 o1 모델도 공개될 예정입니다. 성능 & 평가  OpenAI에서는 o1 모델의 다양한 시험 결과(human exam)와 벤치마크 성능을 공개했습니다. 복잡하고 어려운(Heavy) task에서 GPT-4o보다 우수한 성능을 나타냈습니다.  당장에 제공하고 있는 모델이 멀티 모달이 아니라 직접적인 평가는 어..

주요정보 링크llama-gitllama-recipesllama-hugging-sample_codehugging-chatllama-3-cookbookprompt-formatllama-3-70B-GGUFRun Code (on terminal)8Btorchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir 8B-instruct/Meta-Llama-3-8B-Instruct/ \--tokenizer_path 8B-instruct/Meta-Llama-3-8B-Instruct/tokenizer.model\--max_seq_len 2048 --max_batch_size 670Btorchrun --nproc_per_node ..

m반쩨 GPU device 사용 improt os # 1번째 device만 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "1" # 2, 3번째 device 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "2,3" # 혹은 terminal에서 export 환경변수로 선언해 사용 # export CUDA_VISIBLE_DEVICES=1 GPU 사용 가능여부 확인 torch.cuda.is_available()현재 사용중인 device 번호 확인 device slot 순서와 상관없이 기본적으로 0번부터 할당 (즉 장치가 1개라면 0으로 출력) torch.cuda.current_device()현재 사용중인 device 개수 확인 torch.cuda.device_co..

일부내용 요약 및 정리 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena Abstract open-ended 질문에서 모델을 평가하기 위해 강력한 LLM을 평가 도구로 사용해본 연구이다. LLM 평가와 사람의 선호도 사이의 일치도를 검증하고, 관련된 벤치마크로 (multi-turn의 질문 셋으로 구성된 ) MT-bench와 (온라인을 통해 LLM간 경쟁을 붙이는) Chatbot Arena 플랫폼에 대해 소개한다. GPT-4와 같은 강력한 LLM을 판단도구로 사용하는 경우 사람과의 일치율이 80% 이상이었으며, 사람들의 선호도 측정 및 설명 가능한 방법 중 하나로 대략적으로 사용 가능할 것으로 보인다. 1. Introduction 대표적으로 사용되는 LLM ..