GPT-4 Turbo

GPT-4 Turbo udkom 6. november 2023 som en optimeret udgave af GPT-4. Den beholdt kvaliteten fra den oprindelige model, men gjorde den billigere at bruge og bedre til lange input. Prisen på 0,01 USD per 1K input-tokens og 0,03 USD per 1K output-tokens flyttede en del opgaver fra prototype til drift.

Det vigtigste skift var kontekstvinduet på 128.000 tokens. Det gjorde det praktisk at sende hele kontrakter, kodebaser eller mødereferater ind i én prompt uden først at skære dem i stykker. Mange RAG-opsætninger blev enklere, fordi du kunne acceptere større og mindre præcist afgrænsede tekstuddrag.

Modellen var også et skridt mod at bruge sprogmodeller som byggeklods i software frem for som chatgrænseflade. Struktureret output og function calling gjorde det muligt at få svar tilbage i et format, som resten af systemet kunne læse direkte. Træningsdata frem til april 2023 var på udgivelsestidspunktet nyere end det, der ellers var tilgængeligt fra OpenAI.

Udviklingen efter 2023 gik hurtigt på tre fronter. Prisen per token faldt markant hos alle store udbydere, inference blev hurtigere, og multimodalitet blev standard frem for tilvalg. En tekstmodel uden billedforståelse i basisudgaven passer dårligt til den måde, mange systemer bygges på i dag.

Samtidig kom en ny kategori af modeller, der bruger mere beregning under selve svaret til at arbejde sig gennem et problem i flere trin. De klarer matematik, planlægning og længere kodeopgaver bedre end en model fra 2023 gør. Også på almindelig instruktionsfølgning og struktureret output er de senere generationer mere pålidelige.

Træningsdata frem til april 2023 er desuden blevet et reelt problem. Modellen kender ikke biblioteker, API-ændringer eller begivenheder fra de efterfølgende år. Det kan afhjælpes med RAG, men det lægger arbejde og latenstid oveni.

For nye projekter er svaret reelt nej. GPT-4 Turbo er en lukket model, der kun findes via API, så den kan ikke køres lokalt eller bruges til den slags forskning, hvor ældre open source-vægte stadig har værdi. Alt hvad den kan, kan nyere modeller fra samme udbyder også, typisk billigere og hurtigere.

Den ene undtagelse er eksisterende systemer, der er testet og valideret mod netop denne model. Her kan det give mening at blive, indtil du har tid til at køre dine evalueringer igennem igen på en nyere model. Læg en plan for migrering frem for at udskyde den, da legacy-modeller på et tidspunkt bliver taget ud af drift.

Historisk er GPT-4 Turbo værd at kende, fordi den markerer overgangen til store kontekstvinduer som noget almindeligt. Meget af den arkitektur, du finder i produktionssystemer i dag, blev formet af de muligheder, den åbnede.