Daily Develope

최근 효율적인 트랜스포머 모델 학습 방법으로 사용되고 있는 MoE (Mixtures of Experts)의 기반이 되는 논문 중 하나로, 개념적인 부분만 해석 및 정리해보았습니다.수식의 마크다운이 호환되지 않아 velog 링크로 대체합니다.velog 링크

모델 로딩 (huggingface)import torchfrom transformers import AutoModel, AutoTokenizermodel_name = "jinaai/jina-embeddings-v3"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModel.from_pretrained(model_name)Tokenizer 테스트# Token 출력 (Dict. id값)embedding = tokenizer("한 남자가 밧줄을 타고 올라가고 있다.")print(len(embedding[0])) # 14# [0, 3103, 64757, 713, 6, 246028, 60354, 413, 156860, 87179, 10843..

LLM JudgeLLM Judge는 모델을 평가하기 위해 성능이 좋은 대규모 언어 모델(LLM)을 사용하는 방법을 말한다.Judge를 위해 어떤 수단을 사용하는 지에 따라서 아래 3가지 방법이 존재한다.1. Prompted JudgeJudge를 위해 프롬프트를 기술(description)하는 방법ㅇ 장점비용 : 단일 모델의 추론만 사용하기에, 빠르고 저렵하다.이식성 : 동일 프롬프트를 다른 모델에도 쉽게 적용해 볼 수 있다.ㅇ 단점학습되지 않은 Task/Domain에 대한 판단 정확도가 떨어진다.동일 프롬프트를 사용하더라도 모델에 따라 성능이 크게 차이날 수 있다.2. Fine-tuned JudgeJudge를 목적으로 특정 모델을 학습해 사용하는 방법ㅇ 장점벤치마크와 같은 단순한 평가에 대한 평가 정확도..

ㅇ Closed-Model vs OSS ModelClosed-Model : 저작권이 있는 (상용의) 모델OSS Model : Open Source Software 모델로, 저작권이 없는 제 3자 가공이 가능한 모델 ㅇ Matrix Factorization (MF)천 시스템에서 사용되는 CF (collaborative filtering) 알고리즘 중 하나의 클래스로, 사용자와 아이템의 상호작용을 두 개의 낮은 차원의 직교행렬 곱으로 분해하여 나타낸다.사용자와 아이템간의 관련성이 높을수록 두 포인트간의 내적값이 크다. ㅇ CLM vs MLMCausal Language Model : 토큰 시퀀스에서 다음 토큰 예측을 위해 현재 이전의 토큰들에만 접근 가능한 방식으로 학습하여, 문장의 흐름이 자연스럽다. (GP..