Daily Develope

모델 로딩 (huggingface)import torchfrom transformers import AutoModel, AutoTokenizermodel_name = "jinaai/jina-embeddings-v3"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModel.from_pretrained(model_name)Tokenizer 테스트# Token 출력 (Dict. id값)embedding = tokenizer("한 남자가 밧줄을 타고 올라가고 있다.")print(len(embedding[0])) # 14# [0, 3103, 64757, 713, 6, 246028, 60354, 413, 156860, 87179, 10843..

LLM JudgeLLM Judge는 모델을 평가하기 위해 성능이 좋은 대규모 언어 모델(LLM)을 사용하는 방법을 말한다.Judge를 위해 어떤 수단을 사용하는 지에 따라서 아래 3가지 방법이 존재한다.1. Prompted JudgeJudge를 위해 프롬프트를 기술(description)하는 방법ㅇ 장점비용 : 단일 모델의 추론만 사용하기에, 빠르고 저렵하다.이식성 : 동일 프롬프트를 다른 모델에도 쉽게 적용해 볼 수 있다.ㅇ 단점학습되지 않은 Task/Domain에 대한 판단 정확도가 떨어진다.동일 프롬프트를 사용하더라도 모델에 따라 성능이 크게 차이날 수 있다.2. Fine-tuned JudgeJudge를 목적으로 특정 모델을 학습해 사용하는 방법ㅇ 장점벤치마크와 같은 단순한 평가에 대한 평가 정확도..

ㅇ Closed-Model vs OSS ModelClosed-Model : 저작권이 있는 (상용의) 모델OSS Model : Open Source Software 모델로, 저작권이 없는 제 3자 가공이 가능한 모델 ㅇ Matrix Factorization (MF)천 시스템에서 사용되는 CF (collaborative filtering) 알고리즘 중 하나의 클래스로, 사용자와 아이템의 상호작용을 두 개의 낮은 차원의 직교행렬 곱으로 분해하여 나타낸다.사용자와 아이템간의 관련성이 높을수록 두 포인트간의 내적값이 크다. ㅇ CLM vs MLMCausal Language Model : 토큰 시퀀스에서 다음 토큰 예측을 위해 현재 이전의 토큰들에만 접근 가능한 방식으로 학습하여, 문장의 흐름이 자연스럽다. (GP..

소개  OpenAI o1 모델은 24년 9월 12일 공개된 CoT 기반의 학습/추론 모델로, 수학(AIME), 코딩(Codeforces), 물리/생물/화학 벤치마크(GPQA) 등의 복잡한 추론이 필요한 작업에서 우수한 성능을 보여주고 있습니다.  현재(24.10)는 o1-preview 모델과 o1-mini 모델을 우선 공개하고있으며, 성능 개선과 CoT 기반 정보 제공의 질을 높이기 위한 추가 연구 이후 o1 모델도 공개될 예정입니다. 성능 & 평가  OpenAI에서는 o1 모델의 다양한 시험 결과(human exam)와 벤치마크 성능을 공개했습니다. 복잡하고 어려운(Heavy) task에서 GPT-4o보다 우수한 성능을 나타냈습니다.  당장에 제공하고 있는 모델이 멀티 모달이 아니라 직접적인 평가는 어..