Begreper & referanser
Alle nøkkelbegrepene, formlene og referansene fra Logistisk regresjon og klassifikasjon, samlet på én side. Bruk denne som oppslag når du leser, øver flashcards eller tar quiz.
Begreper
Sentrale begreper fra kapittelet med korte definisjoner.
En prediksjonsoppgave der hver observasjon skal plasseres i én av to klasser.
Logaritmen til oddsene. I logistisk regresjon er logiten en lineær funksjon av input.
En S-formet funksjon som gjør en reell score om til en verdi strengt mellom 0 og 1.
Samsvar mellom predikert sannsynlighet og observert frekvens, for eksempel at hendelsen skjer omtrent 70 prosent av gangene når modellen sier 0,7.
Grensen som gjør en predikert sannsynlighet om til en bestemt klasse.
Mengden inputpunkter der modellen står akkurat mellom klassene ved den valgte terskelen.
Et klassifikasjonstap som gir stor straff til sikre, feilaktige sannsynlighetsprediksjoner.
Forholdet mellom sannsynligheten for at en hendelse skjer og at den ikke skjer.
Formler
Hver formel: hva den heter, hvordan den ser ut, og hva symbolene betyr.
Lineær klassifikasjonsscore
Logistisk regresjon starter med den samme lineære scoren som en lineær modell.
Sigmoidfunksjonen
Sigmoid komprimerer enhver reell score til et tall mellom 0 og 1.
Log-odds
Logistisk regresjon modellerer logaritmen til oddsene som en lineær funksjon av input.
Binary cross-entropy
BCE gir stort tap når modellen er svært sikker på feil klasse.
Beslutningsregel
Sannsynligheten gjøres om til en klasse ved terskelen .
Odds
Odds sammenligner sannsynligheten for positivt utfall med sannsynligheten for negativt utfall.
Kodesnutter
Kodesnutter fra kapittelet, vist literal.
Fra lineær score til klasse
import numpy as np rng = np.random.default_rng(4172)X = rng.normal(size=(6, 2))w = np.array([1.2, -0.8])b = -0.15 score = X @ w + bprob = 1 / (1 + np.exp(-score))prediction = (prob >= 0.60).astype(int) for z, p, y_hat in zip(score, prob, prediction): print(f"z={z:6.3f} p={p:5.3f} klasse={y_hat}")Eksemplet skiller tydelig mellom lineær score, sannsynlighet og klasse. Endre terskelen uten å trene modellen på nytt, og observer hvilke prediksjoner som skifter klasse.
Binary cross-entropy fra bunnen
import numpy as np rng = np.random.default_rng(4172)y = rng.integers(0, 2, size=8)p = np.clip(rng.uniform(0.05, 0.95, size=8), 1e-12, 1 - 1e-12) tap_per_observasjon = -(y * np.log(p) + (1 - y) * np.log(1 - p))bce = tap_per_observasjon.mean() print("labels: ", y)print("sannsynlighet", np.round(p, 3))print("tap: ", np.round(tap_per_observasjon, 3))print(f"BCE = {bce:.4f}")Koden viser hvorfor en sikker feil får stort tap. Klipping beskytter logaritmen mot nøyaktig 0 og 1 uten å endre hovedideen.
Læringsmål
Hva du skal kunne etter å ha lest kapittelet.
- 01Regne fra featurevektor via lineær score og sigmoid til sannsynlighet og klasse
- 02Forklare sammenhengen mellom sannsynlighet, odds, log-odds og vektene i logistisk regresjon
- 03Beregne og tolke binary cross-entropy for sikre og usikre prediksjoner
- 04Analysere hvordan beslutningsterskelen påvirker klassevalg og beslutningsgrense
- 05Skille mellom rangering, klassifikasjon og sannsynlighetskalibrering