GPT-4o Mini

GPT-4o Mini udkom 18. juli 2024 som OpenAI's billige arbejdshest til opgaver i stort omfang. Den afløste GPT-3.5 Turbo som standardvalg, når prisen per token betød mere end absolut kvalitet. Positioneringen var klar fra start: en lille model til høj volumen, ikke til de sværeste opgaver.

Teknisk har modellen et context window på 128.000 tokens og kan behandle både tekst og billeder. Den håndterer dansk sammen med en lang række andre sprog. Træningsdata går frem til oktober 2023, hvilket sætter en grænse for, hvad den kender uden opslag i eksterne kilder.

Prisen var det centrale argument. Med 0,00015 USD per 1.000 input-tokens og 0,0006 USD per 1.000 output-tokens blev klassifikation, dataekstraktion og simpel dialog økonomisk overkommeligt i stor skala. Parameterantallet er ikke offentliggjort, så størrelsen kan kun vurderes indirekte gennem hastighed og pris.

Segmentet for små, billige modeller har udviklet sig hurtigt siden sommeren 2024. Nyere små modeller fra OpenAI og andre udbydere leverer bedre reasoning og mere pålidelig instruktionsfølgning til en tilsvarende eller lavere pris. Det gør prisargumentet alene svagere end det var.

Samtidig er der kommet modeller med eksplicit reasoning-trin, hvor modellen bruger ekstra tokens på at arbejde sig gennem et problem før svaret. Den slags hjælper netop på de opgavetyper, hvor GPT-4o Mini var svagest, altså flertrinsopgaver og mere krævende kodegenerering.

Træningsdata frem til oktober 2023 er også en praktisk begrænsning i dag. Det kan afhjælpes med RAG eller værktøjskald, men nyere modeller starter med et bedre udgangspunkt. Endelig er værktøjsbrug og struktureret output blevet mere robust i senere generationer, hvilket betyder mindre efterbehandling i din egen kode.

Kun i begrænset omfang. Hvis du har et system i produktion, der kører stabilt på GPT-4o Mini, er der ingen akut grund til at rive det op. Prompts er tunet til netop denne model, og en migrering kræver ny evaluering af output.

Til nye projekter er svaret reelt nej. OpenAI's nyere små modeller dækker samme brugsmønster med bedre kvalitet, og modellen er markeret som legacy. Det betyder, at den på et tidspunkt kan blive udfaset fra API'et.

Den mest fornuftige tilgang er at behandle GPT-4o Mini som en baseline. Kør dine eksisterende testsæt mod en nyere model, sammenlign kvalitet og omkostning på dine egne data, og planlæg migreringen derefter.