GPT-4

GPT-4 udkom 14. marts 2023 og var OpenAI's toneangivende model i den periode. Den flyttede forventningen til, hvad en sprogmodel kunne løse af sammenhængende opgaver med flere trin. Reasoning, kodegenerering og analyse af længere tekster var de områder, hvor forskellen til den forrige generation var tydeligst.

Modellen var multimodal og kunne behandle både tekst og billeder som input. Det var nyt i en kommerciel model på det tidspunkt, og det åbnede for opgaver som beskrivelse af diagrammer og fortolkning af skærmbilleder. Sprogdækningen var bred, og dansk fungerede uden at det krævede særlige greb i din prompt.

Context window på 8.192 tokens var rummeligt efter datidens standard, men satte alligevel en grænse for, hvor meget materiale du kunne lægge ind i én forespørgsel. Prisen på 0,03 USD per 1.000 input-tokens og 0,06 USD per 1.000 output-tokens gjorde modellen mærkbart dyrere end de mindre alternativer. Mange brugte den derfor kun til de opgaver, hvor kvaliteten reelt gjorde en forskel.

Udviklingen siden 2023 har gået i flere retninger på én gang. Context window er vokset kraftigt i senere modeller, så du kan arbejde med hele kodebaser og lange dokumentsamlinger i én kontekst. Det ændrer, hvordan du bygger RAG-systemer, fordi du ikke behøver at skære materialet så fint ud.

Priserne per token er faldet betydeligt, og responstiden er blevet kortere. Samtidig er der kommet modeller, der eksplicit bruger ekstra beregning på reasoning før de svarer, hvilket har hævet niveauet på matematik og flertrinsopgaver. Værktøjsbrug, funktionskald og struktureret output er også blevet langt mere pålideligt end i den oprindelige GPT-4.

Træningsdata frem til september 2021 er den mest håndfaste begrænsning i dag. Alt hvad der er sket siden, kender modellen ikke, medmindre du selv leverer det i konteksten.

For nye projekter er svaret reelt nej. Der findes ingen opgavetype, hvor GPT-4 i sin oprindelige form er det bedste valg hos OpenAI, hverken på kvalitet, pris eller hastighed.

Den har stadig relevans i to sammenhænge. Den ene er eksisterende systemer, der er finjusteret på modellens præcise adfærd, og hvor en migrering kræver, at du tester prompts og output igennem igen. Den anden er forskning og dokumentation, hvor GPT-4 fungerer som referencepunkt for, hvor feltet stod i 2023.

Modellen er ikke open source, så du kan ikke køre den lokalt eller studere vægtene. Den har derfor ikke den efterliv, som ældre åbne modeller får på begrænset hardware.