GPT-3.5 Turbo

GPT-3.5 Turbo blev udgivet 30. november 2022 og var modellen bag den første offentlige version af ChatGPT. Den gjorde samtalebaseret brug af sprogmodeller til noget mange mennesker prøvede selv, i stedet for noget der blev læst om. For de fleste udviklere var den også den første model der var billig nok til at bygge rigtige produkter oven på.

Teknisk er den en instruktionsjusteret model med omkring 175 milliarder parametre og et context window på 16.385 tokens. Træningsdata går frem til september 2021. Den håndterer tekstgenerering, oversættelse, opsummering, enklere kodeopgaver og function calling, og den fungerer på dansk såvel som på en lang række andre sprog.

Prisen var en stor del af betydningen. Med 0,0005 USD per 1K input-tokens og 0,0015 USD per 1K output-tokens kunne du køre chatbots, FAQ-systemer og batch-opsummering i et volumen der tidligere var urealistisk. Meget af det mønster for API-brug som senere modeller arvede, blev etableret her.

Senere modelgenerationer er blevet markant bedre til flertrinsopgaver. De holder bedre styr på lange instruktioner, laver færre logiske spring og er mere pålidelige når en opgave kræver flere afhængige delresultater. GPT-3.5 Turbo klarer stadig enkle opgaver fint, men bliver skrøbelig når kompleksiteten stiger.

Context window er også vokset kraftigt i de generationer der kom efter. Det ændrer hvad du overhovedet kan gøre, for eksempel RAG over større dokumentsamlinger eller analyse af hele kodebaser i ét kald. Samtidig er multimodalitet blevet standard i de nyere modeller, mens GPT-3.5 Turbo kun håndterer tekst.

Dertil kommer at prisen på nyere og stærkere modeller er faldet. Det økonomiske argument, som var modellens vigtigste, holder ikke længere på samme måde. Endelig er træningsdata fra september 2021 nu langt tilbage, hvilket giver forældet viden om alt der er sket siden.

Til nye projekter er svaret reelt nej. OpenAI's nyere modeller i den billige ende dækker de samme opgavetyper bedre, med større context window og nyere træningsdata, og migrationen kræver sjældent andet end at skifte modelnavn i API-kaldet.

Den tilbageværende brug er praktisk snarere end teknisk. Kører du et system der har været i produktion længe, og hvor prompts er tunet præcist til modellens adfærd, kan der være grund til at udskyde skiftet indtil du kan teste ordentligt. Er du afhængig af en fine-tuned variant, gælder det samme.

Historisk har modellen fortsat interesse. Den er referencepunktet for hvad instruktionsjusterede sprogmodeller kunne i slutningen af 2022, og den bruges i den rolle i en del ældre benchmarks og faglitteratur. Det er et argument for at kende den, ikke for at bygge på den.