Referanseside · Kapittel 2

Begreper & referanser

Alle nøkkelbegrepene, formlene og referansene fra Lineær regresjon og tapsfunksjoner, samlet på én side. Bruk denne som oppslag når du leser, øver flashcards eller tar quiz.

Øv med flashcards23 kort fra dette kapittelet

Begreper

Sentrale begreper fra kapittelet med korte definisjoner.

01Lineær modell

En modell som beregner prediksjonen som en vektet sum av inputvariablene og et biasledd.

Logg inn for forklaring

02Modellparameter

En verdi, som en vekt eller et biasledd, som lærealgoritmen tilpasser fra treningsdata.

Logg inn for forklaring

03Biasledd

Et konstantledd som lar den lineære prediksjonen forskyves uten at inputverdiene endres.

Logg inn for forklaring

04Residual

Forskjellen $y - \overset{y}{^}$ mellom observert målverdi og modellens prediksjon.

Logg inn for forklaring

05Tapsfunksjon

En funksjon som gir et tall på hvor dårlige modellens prediksjoner er for et datasett eller eksempel.

Logg inn for forklaring

06Maksimum likelihood

Prinsippet om å velge parameterne som gjør de observerte dataene mest sannsynlige under en antatt sannsynlighetsmodell. Med uavhengig gaussisk støy gir det samme vekter som å minimere MSE, og med Laplace-støy samme vekter som å minimere MAE.

Logg inn for forklaring

07Gaussisk støy

Antakelsen om at avviket $ε = y - (w^{⊤} x + b)$ er normalfordelt med snitt 0 og fast varians $σ^{2}$ , uavhengig for hvert punkt. Det er denne antakelsen som gjør MSE til det naturlige tapet.

Logg inn for forklaring

08Interaksjonsledd

En feature laget som produktet av to andre, $x_{1} x_{2}$ . Den lar effekten av $x_{1}$ avhenge av $x_{2}$ , noe en ren lineær modell ikke kan uttrykke. Modellen forblir lineær i vektene.

Logg inn for forklaring

09Polynomiske features

Nye features som er potenser og produkter av de opprinnelige, for eksempel $x^{2}$ , $x^{3}$ og $x_{1} x_{2}$ . De lar en lineær modell tilpasse krumme sammenhenger, fordi modellen fortsatt er lineær i vektene.

Logg inn for forklaring

Formler

Hver formel: hva den heter, hvordan den ser ut, og hva symbolene betyr.

\overset{y}{^} = w^{⊤} x + b

lineaer-regresjon

Lineær regresjonsmodell

Logg inn for forklaring

Modellen predikerer en vektet sum av featureverdiene pluss et konstantledd.

xfeaturevektor

wvektor av lærte vekter

bbiasledd

ŷprediksjon

MSE = \frac{1}{n} i = 1 \sum n (y_{i} - \overset{y}{^}_{i})^{2}

mse

Mean squared error

Logg inn for forklaring

MSE straffer store residualer ekstra fordi hvert avvik kvadreres.

nantall observasjoner

y_iobservert målverdi

ŷ_imodellens prediksjon

MAE = \frac{1}{n} i = 1 \sum n ∣ y_{i} - \overset{y}{^}_{i} ∣

mae

Mean absolute error

Logg inn for forklaring

MAE gir lineær straff for residualer og er derfor mindre følsom for ekstreme feil enn MSE.

y_i-ŷ_iresidual for observasjon i

nantall observasjoner

R^{2} = 1 - \frac{\sum _{i} ( y _{i} - y ^ _{i} ) ^{2}}{\sum _{i} ( y _{i} - y ˉ ) ^{2}}

r-kvadrat

Forklart varians

Logg inn for forklaring

$R^{2}$ sammenligner modellen med en baseline som alltid predikerer gjennomsnittet.

R²score relativt til gjennomsnittsbaselinen

ȳgjennomsnittlig målverdi

lo g L (w, b) = - \frac{n}{2} lo g (2 π σ^{2}) - \frac{1}{2 σ ^{2}} i = 1 \sum n (y_{i} - \overset{y}{^}_{i})^{2}

gaussisk-log-likelihood

Gaussisk log-likelihood

Logg inn for forklaring

Med uavhengig normalfordelt støy er log-likelihooden en konstant minus summen av kvadrerte residualer delt på $2 σ^{2}$ . Å maksimere den er det samme som å minimere MSE.

nantall observasjoner

σ²støyvariansen (påvirker ikke hvilke vekter som er best)

y_i − ŷ_iresidual for observasjon i

lo g L (w, b) = - n lo g (2 s) - \frac{1}{s} i = 1 \sum n ∣ y_{i} - \overset{y}{^}_{i} ∣

laplace-log-likelihood

Laplace-log-likelihood

Logg inn for forklaring

Med Laplace-fordelt støy med skala $s$ er log-likelihooden en konstant minus summen av absoluttfeil delt på $s$ . Maksimum likelihood blir da det samme som å minimere MAE.

sskalaparameter i Laplace-fordelingen

|y_i − ŷ_i|absolutt residual for observasjon i

\overset{y}{^} = w_{0} + w_{1} x_{1} + w_{2} x_{2} + w_{3} x_{1} x_{2}

interaksjonsmodell

Modell med samspillsledd

Logg inn for forklaring

Produktleddet gjør at effekten av én enhet $x_{1}$ blir $w_{1} + w_{3} x_{2}$ og dermed avhenger av $x_{2}$ . Modellen er fortsatt lineær i vektene.

w_3vekten til samspillsleddet

x_1·x_2produktfeaturen

w^{*} = (X^{⊤} X)^{- 1} X^{⊤} y

normallikning

Normallikningen

Logg inn for forklaring

Lukket løsning for vektene som minimerer MSE, når $X$ har en enerkolonne for konstantleddet og $X^{⊤} X$ er inverterbar.

Xdatamatrise med enerkolonne

yvektor med målverdier

w*vektene med minst MSE

Kodesnutter

Kodesnutter fra kapittelet, vist literal.

Kode

Residualer, MSE og MAE

Python

1import numpy as np2 3X = np.array([[1.0], [2.0], [3.0], [4.0], [5.0]])4y = np.array([2.8, 5.1, 7.2, 8.9, 11.1])5w = np.array([2.0])6b = 1.07malefeil = 0.0  # @param 0..10 0.58 9def tap(y):10    r = y - (X @ w + b)11    return np.mean(r ** 2), np.mean(np.abs(r))12 13y_feil = y.copy()14y_feil[-1] += malefeil                    # den siste målingen blir feil15mse0, mae0 = tap(y)16mse, mae = tap(y_feil)17print(f"uten feil: MSE = {mse0:.3f}, MAE = {mae0:.3f}")18print(f"med feil:  MSE = {mse:.3f}, MAE = {mae:.3f}, RMSE = {np.sqrt(mse):.3f}")19print(f"MSE ble {mse / mse0:.1f} ganger større, MAE {mae / mae0:.1f} ganger")

Prøv: Dra malefeil opp og se på siste linje hvor mange ganger større «MSE» blir enn «MAE» når én måling blir feil.

Kode

Prediksjon og residualer med flere features

Python

1import numpy as np2 3# Features: areal (10 m²), antall soverom, avstand til sentrum (km)4X = np.array([[6.0, 2.0, 3.0],5              [8.5, 3.0, 7.5],6              [4.0, 1.0, 1.0]])7y = np.array([4.1, 4.6, 3.3])            # salgspris i millioner kroner8w = np.array([0.35, 0.20, -0.12])9b = 1.0  # @param 0..3 0.0510 11y_hat = X @ w + b12print(f"prediksjoner:   {np.round(y_hat, 3)}")13print(f"residualer y-ŷ: {np.round(y - y_hat, 3)}")14 15x_ny = X[0].copy()16x_ny[0] += 1                              # én enhet (10 m²) mer areal, alt annet likt17print(f"endring i ŷ for 10 m² mer: {(x_ny @ w + b) - y_hat[0]:.3f}")

Prøv: Dra b til «residualer y-ŷ» blir nesten null, og se at «endring i ŷ for 10 m² mer» står stille.

Kode

R² mot snittbaselinen

Python

1import numpy as np2 3y = np.array([12.0, 15.0, 11.0, 18.0, 14.0])          # sanne verdier4forskyvning = 0.0  # @param 0..10 0.55modell = np.array([12.5, 14.0, 11.5, 17.0, 15.0]) + forskyvning   # god modell, ev. forskjøvet6baseline = np.full_like(y, y.mean())                   # predikerer alltid snittet7daarlig = np.array([17.0, 11.0, 16.0, 12.0, 13.0])     # verre enn snittet8 9def r2(y, y_hat):10    return 1 - np.sum((y - y_hat) ** 2) / np.sum((y - y.mean()) ** 2)11 12for navn, p in [("modell", modell), ("baseline", baseline), ("dårlig", daarlig)]:13    print(f"{navn:9s} R² = {r2(y, p):7.3f}")

Prøv: Dra forskyvning opp og se R² på linja «modell» falle under «baseline» og under null, selv om prediksjonene følger formen.

Kode

MSE, gaussisk likelihood og MAE på samme data

Python

1import numpy as np2 3rng = np.random.default_rng(3)4x = np.linspace(0, 4, 20)5y = 1.5 * x + rng.normal(0, 0.5, size=20)6avvik = 8.0  # @param 0..10 0.57sigma = 0.5  # @param 0.2..3 0.18y[-1] += avvik                              # ett grovt avvik (målefeil)9 10ws = np.linspace(0.5, 3.0, 2501)            # kandidater for stigningen w11res = y[None, :] - ws[:, None] * x[None, :] # residualer for hver kandidat12mse = np.mean(res ** 2, axis=1)13loglik = np.sum(-0.5 * np.log(2 * np.pi * sigma ** 2) - res ** 2 / (2 * sigma ** 2), axis=1)14mae = np.mean(np.abs(res), axis=1)15 16print(f"w som minimerer MSE:           {ws[mse.argmin()]:.3f}")17print(f"w som maksimerer gauss-loglik: {ws[loglik.argmax()]:.3f}")18print(f"w som minimerer MAE (Laplace): {ws[mae.argmin()]:.3f}   (sann stigning 1,5)")

Prøv: Dra sigma og se «w som minimerer MSE» og «w som maksimerer gauss-loglik» alltid være like; dra avvik til 0 og se «MAE» møte dem nær 1,5.

Kode

Lineær modell med og uten samspillsledd

Python

1import numpy as np2from sklearn.linear_model import LinearRegression3 4rng = np.random.default_rng(5)5n = 2006vann = rng.uniform(0, 10, n)                # liter per uke7gjodsel = rng.uniform(0, 10, n)             # gram per uke8samspill = 0.08  # @param 0..0.15 0.019vekst = 2 + 0.3 * vann + 0.02 * gjodsel + samspill * vann * gjodsel + rng.normal(0, 0.5, n)10 11X_lin = np.column_stack([vann, gjodsel])12X_int = np.column_stack([vann, gjodsel, vann * gjodsel])   # ny kolonne x1·x213for navn, X in [("uten x1·x2", X_lin), ("med x1·x2", X_int)]:14    m = LinearRegression().fit(X, vekst)15    print(f"{navn:10s} vekter = {np.round(m.coef_, 3)}, R² = {m.score(X, vekst):.3f}")16 17# m er nå modellen med x1·x2: effekten av +1 g gjødsel er w2 + w12 · vann18for v in [0, 8]:19    print(f"effekt av +1 g gjødsel når vann = {v}: {m.coef_[1] + m.coef_[2] * v:.2f}")

Prøv: Dra samspill mot 0 og se siste vekt på «med x1·x2» forsvinne og de to R²-verdiene bli like.

Kode

Polynomfeatures gir kurver med en lineær modell

Python

1import numpy as np2import matplotlib.pyplot as plt3from sklearn.linear_model import LinearRegression4from sklearn.preprocessing import PolynomialFeatures5 6x = np.array([[0.0], [1.0], [2.0], [3.0], [4.0]])7y = np.array([1.0, 0.2, 1.1, 4.2, 8.8])      # krummer oppover8grad = 2  # @param 1..49 10poly = PolynomialFeatures(degree=grad, include_bias=False)11m = LinearRegression().fit(poly.fit_transform(x), y)12mse = np.mean((y - m.predict(poly.transform(x))) ** 2)13print(f"grad {grad}: {poly.n_output_features_} features av x, MSE {mse:.3f}")14navn = PolynomialFeatures(degree=grad, include_bias=False).fit([[1.0, 2.0]]).get_feature_names_out(["a", "b"])15print(f"med to features a og b: {len(navn)} kolonner, samspillsledd {[n for n in navn if ' ' in n]}")16 17xs = np.linspace(-0.2, 4.2, 200).reshape(-1, 1)18plt.figure()19plt.scatter(x, y, label="data")20plt.plot(xs, m.predict(poly.transform(xs)), label=f"lineær modell på grad {grad}-features", color="C1")21plt.xlabel("x")22plt.ylabel("y")23plt.legend()24plt.tight_layout()25plt.show()

Prøv: Dra grad og se «MSE» synke mot null når kurven følger punktene (grad 4 treffer alle fem), mens antall «features av x» vokser.

Læringsmål

Hva du skal kunne etter å ha lest kapittelet.

01Regn ut prediksjon, residual, MSE, MAE og R² for en lineær regresjonsmodell fra en liten tabell
02Forklar hvorfor minimering av MSE er maksimum likelihood under uavhengig gaussisk støy, og hvilket tap Laplace-støy gir
03Velg mellom MSE og MAE ut fra hvor følsom metrikken skal være for uteliggere
04Forklar hvorfor en lineær modell ikke kan uttrykke vekselvirkninger, og regn ut effekten av en feature når et samspillsledd er lagt til
05Avgjør om en modell med polynom- eller produktfeatures er lineær i vektene, og løs normallikningen for et lite datasett
06Tolk R², også negative verdier, som en sammenligning med en baseline som alltid predikerer snittet

Tilbake til kapittelet

CMD + K

CMD + K

Begreper & referanser

Begreper

Formler

Lineær regresjonsmodell

Mean squared error

Mean absolute error

Forklart varians

Gaussisk log-likelihood

Laplace-log-likelihood

Modell med samspillsledd

Normallikningen

Kodesnutter

Residualer, MSE og MAE

Prediksjon og residualer med flere features

R² mot snittbaselinen

MSE, gaussisk likelihood og MAE på samme data

Lineær modell med og uten samspillsledd

Polynomfeatures gir kurver med en lineær modell

Læringsmål