Daily Develope

"Gemini: A Family of Highly Capable Multimodal Models" 기술 레포트 내용에서 MMLU 관련내용 및 평가방법(5.1절)까지 내용 중 필요한 부분만 발췌&정리 1. Introduction Gemini 1.0은 모델 크기에 따라 Ultra, Pro, Nano로 나눌 수 있다. Gemini Ultra의 경우는 MMLU 영역에서 인간 전문가를 뛰어 넘은 최초의 모델이다. 사용 가능성 교육 : 지저분하게 작성된 문제 및 풀이과정을 이해하고, 깔끔한 수식으로 표현해 줄 수 있으며, 잘 못된 풀이부분을 되짚어줄 수 있다. 프로그래밍 : AlphaCode2에 활용해, 프로그래밍 플랫폼인 Codeforce에서 입문자 상위 15%, 상급자 상위 50%의 성능을 보여주었다. 2. M..

모르면 Adam(Adaptive Moment Estimation) 기반 Optimizer 사용하자! 용어 Adam (Adaptive Moment Estimation) 경사 하강법을 기반으로 하되, gradient 모멘텀과 학습량 증가에 따른 학습률 감소 문제를 개선한 최적화 알고리즘 AdamW Adam 옵티마이저에 가중치 감쇠(weight decay)를 적용해 오버피팅(overfitting)을 완화한 최적화 알고리즘 torch.optim.AdamW(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False) params: 최적화할 파라미터들의 iterable lr: 학습률(learning rate), 기본값은 0.001 b..

Huggingface Model/Tokenizer 설치 pip install transformers사용 예시 Tokenizer 선언 (불러오기) from transformers import AutoTokenizer model = "klue/bert-base" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)Encoding (Tokenize-토큰화) & Decoding (디코딩) ### [pre-condition] Tokenizer 선언 이후 ### Encoding my_data = "text of target data" tokenized_input = tokenizer(my_data, padding='max_length', trunc..

처음에는 윈도우에 설치해 사용하려고 했으나 nccl 오류가 계속 발생해서 원인을 찾아보니, Pytorch의 Distributed 패키지가 윈도우에서는 prototype이라 제대로 지원이 안되고 있어 발생한 것으로 추정된다. (링크) 그래픽 드라이버도 밀어보고 파이썬 버전도 맞춰보고 무슨 짓을 해도 같은 오류라서 결국 WSL 환경에서 실행했고, 결과적으로 잘 동작하는 것을 확인했으며 아래는 그 내용을 정리한 것이다. 준비사항 WSL2 CUDA Toolkit 11.8 Anaconda / Miniconda Python 3.8 ~ 3.10 Pytorch 절차 WSL2 설치 및 접속 (생략) CUDA 설치 본인의 그래픽카드에서 지원하는 버전과 운영체제 환경에 맞춰서 CUDA 설치 진행 설치 코드 - CUDA 설치..