Daily Develope

[Paper] Adaptive Mixtures of Local Experts (1991) 본문

AI

[Paper] Adaptive Mixtures of Local Experts (1991)

noggame 2025. 1. 6. 11:17

최근 효율적인 트랜스포머 모델 학습 방법으로 사용되고 있는 MoE (Mixtures of Experts)의 기반이 되는 논문 중 하나로, 개념적인 부분만 해석 및 정리해보았습니다.

수식의 마크다운이 호환되지 않아 velog 링크로 대체합니다.

velog 링크

'AI' 카테고리의 다른 글

[AI] jinaai Embedding 모델 샘플코드  (1) 2024.12.03
[AI] LLM Judge 적용 방법 정리  (0) 2024.10.31
[AI] 키워드/용어 정리 for research  (0) 2024.10.10
[Article] OpenAI o1 간략 정리  (1) 2024.10.02
[LLM] llama 3 주요 정보 정리  (0) 2024.04.24
Comments