SGD, Momentum, RMSprop y Adam

Mismo punto de partida, misma superficie de pérdida, cuatro estrategias de descenso. La idea es ver cómo cada optimizador transforma el gradiente en movimiento.
1.80
1.60
0.060
0.90
γ
0.90
ρ
0.90
β₁
0.999
β₂
Haz clic dentro del gráfico para mover el punto inicial. También puedes cambiar la superficie y repetir.
SGD Momentum RMSprop Adam
Datos y curva ajustada
Puntos: pérdida observada por paso. Línea: suavizado de la trayectoria para visualizar tendencia.