가리키는 글의 최근 바뀜
IT 위키
← RMSProp
해당 문서에 연결된 문서의 변경사항을 확인하려면 문서 이름을 입력하십시오. (분류에 들어있는 문서를 보려면 분류:분류명으로 입력하십시오). 내 주시문서 목록에 있는 문서의 변경사항은 굵게 나타납니다.
약어 목록:
- 새글
- 새 문서 (새 문서 목록도 보세요)
- 잔글
- 사소한 편집
- 봇
- 봇이 수행한 편집
- (±123)
- 바이트 수로 표현한 문서 크기의 차이
2025년 10월 30일 (목)
|
|
새글 07:35 | 딥 러닝 옵티마이저 3개 바뀜 역사 +4,241 [인공무능 (3×)] | |||
|
|
07:35 (최신 | 이전) 0 인공무능 토론 기여 태그: 시각 편집 | ||||
|
|
07:19 (최신 | 이전) −1 인공무능 토론 기여 태그: 시각 편집 | ||||
| 새글 |
|
07:11 (최신 | 이전) +4,242 인공무능 토론 기여 (새 문서: '''딥 러닝 옵티마이저(Deep Learning Optimizer)'''는 딥러닝 모델의 학습 과정에서 손실 함수(loss function)를 최소화하기 위해 신경망의 가중치 및 편향 등의 파라미터를 반복적으로 갱신하는 알고리즘이다. 이러한 최적화 알고리즘은 고차원, 비선형, 대규모 파라미터 공간을 가진 신경망에서 효율적이고 안정적으로 학습이 이루어지도록 하는 핵심 구성 요소이다. ==개념...) 태그: 시각 편집 | |||
| 새글 07:28 | AdaGrad 옵티마이저 차이역사 +3,221 인공무능 토론 기여 (새 문서: '''AdaGrad'''(Adaptive Gradient Algorithm)은 각 파라미터마다 학습률(learning rate)을 다르게 적용하여, 파라미터별로 변화량을 자동 조정하는 적응형(Adaptive) 옵티마이저 알고리즘이다. 2011년 John Duchi, Elad Hazan, Yoram Singer가 제안했으며, 희소(sparse) 데이터나 자연어 처리와 같은 영역에서 특히 효과적이다. ==개념== 기존 경사 하강법(Gradient Descent)은 모든 파라미터에 동일한 학...) | ||||
2025년 10월 6일 (월)
| 새글 12:09 | Adam 옵티마이저 차이역사 +5,399 인공무능 토론 기여 (새 문서: Adam 옵티마이저는 "Adaptive Moment Estimation"의 약자로, 확률적 경사 하강법(SGD)에 기반하면서 각 파라미터마다 적응적으로 학습률을 조절하는 딥러닝 최적화 알고리즘이다. ==개요== Adam은 2014년 Diederik P. Kingma와 Jimmy Ba가 제안한 알고리즘으로, 모멘텀(Momentum) 기법과 RMSProp 알고리즘의 장점을 결합한 형태다. 기울기의 1차 모멘트(평균)와 2차 모멘트(분산)를 추정하여 파...) | ||||
| 새글 12:05 | AdamW 옵티마이저 차이역사 +3,711 인공무능 토론 기여 (새 문서: AdamW 옵티마이저는 Adam 최적화 알고리즘의 변형으로, 가중치 감쇠(weight decay)를 그래디언트 업데이트로부터 분리(decouple)하여 일반화 성능을 향상시키는 방법이다. ==개요== 딥러닝에서 자주 사용되는 Adam(Adaptive Moment Estimation) 옵티마이저는 1차 및 2차 모멘트를 활용하여 각 파라미터별로 적응적인 학습률을 적용한다. 일반적으로 정규화를 위해 L2 정규화 항을 손실 함...) | ||||
