Soğuk Başlangıç, Ilık Başlangıç

Deney hakkında

SGD, Momentum, Nesterov ve Adam aynı kayıp yüzeyinde yarışıyor. Blokta başlayan optimizer yerel minimumda takılır; “kör” ince bir ilk sarma vadiyi aşar.

Üç lifli oyuncak ağ; makaledeki f(g), s(g) ve J = (1 − R) + λ·latans + μ·hacim kullanılır. Bu küçük ağda sırt tam g = 0,95'e denk geldiği için soğuk başlangıç g₀ = 0,955'ten yapılır.

Nasıl kullanılır

1. 01Yüzeyde bir noktaya tıklayarak başlangıcı seçin.
2. 02λ (latans) ve μ (miyelin maliyeti) ağırlıklarını değiştirin; μ = 0 aşırı miyelinizasyona kayar.
3. 03Optimizerleri tek tek açıp kapatın.

İlgili yazı