Introduksjon til maskinlæringHjem

CMD + K

Tilbake til Introduksjon til maskinlæring

TDT4172 • Nevralt nettverk

Følg signalet frem og feilen tilbake

Mål: gjennomfør et forward pass, bruk kjerneregelen til å finne gradientene og forklar hvorfor ett treningssteg endrer tapet.

1 av 8 · Les inngangen
aktiv flytbackpropagation
To inputnoder, to skjulte noder og én sigmoid-output. Aktive noder og kanter viser beregningen i dette steget. Heltrukne kanter viser forward-flyt fra input mot output.InputSkjult lagOutput0,50-0,30-0,200,400,70-0,50x₁0,60x₂-0,40h₁0,520h₂0,000ŷ0,602
1 / 8Inputen er x₁=0.60 og x₂=-0.40. Begge brukes av begge skjulte noder.
Forward-regning
Skjult node 1z₁ = 0,520 → h₁ = 0,520
Skjult node 2z₂ = -0,380 → h₂ = 0,000

Lær mer

Forward pass bruker gjeldende parametere for å produsere en prediksjon. Tapet sammenligner denne prediksjonen med target.

Backpropagation er effektiv bruk av kjerneregelen: gradienten ved output gjenbrukes når vi beveger oss gjennom hver kant mot input. Det er en beregningsmetode, ikke en egen optimaliseringsalgoritme.

Gradient descent gjør selve oppdateringen. Ett steg på ett eksempel viser mekanikken; i reell trening bruker vi mange eksempler, batcher og gjentatte epoker, og evaluerer på holdt-ut data.

Relaterte kapitler

7Nevrale nettverk