Daily Develope

모르면 Adam(Adaptive Moment Estimation) 기반 Optimizer 사용하자! 용어 Adam (Adaptive Moment Estimation) 경사 하강법을 기반으로 하되, gradient 모멘텀과 학습량 증가에 따른 학습률 감소 문제를 개선한 최적화 알고리즘 AdamW Adam 옵티마이저에 가중치 감쇠(weight decay)를 적용해 오버피팅(overfitting)을 완화한 최적화 알고리즘 torch.optim.AdamW(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False) params: 최적화할 파라미터들의 iterable lr: 학습률(learning rate), 기본값은 0.001 b..