Begreper & referanser

En modell som bare teller hvilke ord som forekommer, uten å se på rekkefølgen. «Kari ringer Ola» og «Ola ringer Kari» blir like (bag of words).

En språkmodell der sannsynligheten for et ord bare avhenger av de $n-1$ ordene foran. En bigrammodell ($n=2$) ser ett ord bakover, en trigrammodell to (n-gram model).

Antagelsen at neste ord bare avhenger av et kort, fast vindu av ordene foran, ikke av hele historien. Den gjør kjederegelen mulig å estimere fra tellinger (Markov assumption).

Samlingen tekst en språkmodell telles eller trenes på. For en n-gram-modell er tellingene i korpuset alt modellen vet om språket (corpus).

Teknikker som flytter litt sannsynlighet fra sette til usette n-gram, slik at en grei, men ny setning ikke får sannsynlighet 0 (smoothing).

Glatting der hver n-gram-telling økes med 1 og nevneren med vokabularstørrelsen: $(c+1)/(c_{\text{kontekst}}+V)$. Kalles også Laplace-glatting (add-one smoothing, Laplace smoothing).

Glatting som blander unigram-, bigram- og trigramsannsynligheter med vekter ${\lambda }_i$ som summerer til 1. Et usett bigram får da sannsynlighet fra unigramleddet (linear interpolation smoothing).

Den inverse sannsynligheten modellen gir en testtekst, normalisert per token: $P(w_{1:N}{)}^{-1/N}$. Lavere perpleksitet betyr en bedre modell (perplexity).

Å gi hvert ord i en setning en ordklasse, som substantiv, verb eller preposisjon. Samme ord kan ha ulik klasse i ulike setninger, så merkingen må bruke konteksten (part-of-speech tagging).

En grammatikk der hver regel har én ikke-terminal på venstre side, som $\text{VP}\to \text{V}\text{NP}$. Regelen kan brukes uansett hva som står rundt symbolet (context-free grammar).

En kontekstfri grammatikk der hver regel har en sannsynlighet, og reglene med samme venstreside summerer til 1. Forkortes PCFG (probabilistic context-free grammar).

Et tre som viser hvordan en setning er bygd opp av grammatikkens regler: roten er S, de indre nodene er ikke-terminaler, og bladene er ordene (parse tree).

En form der hver regel er $A\to BC$ med to ikke-terminaler eller $A\to w$ med ett ord. Alle kontekstfrie grammatikker som ikke lager den tomme strengen, kan skrives om til denne formen (Chomsky normal form, CNF).

En parser med dynamisk programmering for grammatikker i Chomsky-normalform. Den fyller en tabell med ikke-terminalene som kan dekke hvert delstykke av setningen, fra korte til lange delstykker (CYK algorithm).

En tett vektor med noen hundre tall som representerer et ord, lært slik at ord som brukes i like sammenhenger, havner nær hverandre (word embedding).

En mekanisme der hver posisjon lager en vektet sum av de andre posisjonene, med vekter som sier hvor relevante de er. I selvoppmerksomhet ser en sekvens på seg selv (attention, self-attention).

En nevral nettarkitektur av lag med selvoppmerksomhet og fremovernett, uten rekurrens, slik at alle posisjoner i sekvensen behandles parallelt (transformer).

Å trene en stor modell på enorme mengder umerket tekst, for eksempel til å forutsi neste ord, og deretter tilpasse den til en bestemt oppgave med lite merkede data (pretraining, fine-tuning).