For MSE er gradienten proporsjonal med residualene. For sigmoid kombinert med BCE forenkles outputgradienten til prediksjon minus label. Begge oppdaterer parameterne mot negativ gradient.

Læringsraten bestemmer steglengden. For små steg bruker lang tid; for store steg kan tapet oscillere eller vokse. En lav gradientnorm er ett konvergenssignal, men generalisering må fortsatt måles på holdt-ut data.