Claude 3 Haiku

Claude 3 Haiku udkom 4. marts 2024 som den mindste af de tre modeller i Anthropics Claude 3-familie. Den var placeret nederst i familien på kapacitet og øverst på hastighed. Formålet var opgaver hvor svartiden betyder mere end dybden i ræsonnementet.

Det mest bemærkelsesværdige ved modellen var kombinationen af lav pris og et context window på 200.000 tokens. Store kontekstvinduer var på det tidspunkt typisk forbeholdt de dyre modeller i en produktfamilie. Haiku gjorde det muligt at sende lange dokumenter gennem en billig model, hvilket ændrede hvad der kunne betale sig at automatisere.

Træningsdata går frem til august 2023. Modellen håndterer dansk sammen med en række andre sprog, og den blev i praksis brugt som arbejdshest til klassificering, opsummering og strukturerede udtræk i store mængder. Parameterantallet er ikke offentliggjort.

Anthropic har siden udgivet flere generationer af Claude, og de mindre modeller i de nyere familier har rykket sig mest. Udviklingen er gået i retning af at små modeller løser opgaver som tidligere krævede de største modeller i en familie. Instruktionsfølge, kodegenerering og pålidelighed i strukturerede output er de områder hvor forskellen mærkes tydeligst.

Samtidig er prisniveauet for hurtige modeller generelt faldet på tværs af udbydere. Det argument der bar Haiku, altså acceptabel kvalitet til meget lav pris, holder derfor ikke længere på samme måde. Nyere modeller i samme priskategori er både bedre og lige så hurtige.

Hertil kommer at Haikus træningsdata er blevet gamle. Modellen kender ikke noget efter august 2023, og det mærkes i opgaver der rører ved teknologi, værktøjer eller begivenheder. Det kan afhjælpes med RAG, men det er ekstra arbejde som nyere modeller kræver mindre af.

Reelt nej. Claude 3 Haiku er en lukket model bag et API, så der er ingen forskningsmæssig eller hardwaremæssig grund til at vælge den, sådan som der kan være for ældre open source-modeller. Du kan ikke køre den lokalt, og du kan ikke undersøge dens vægte.

Den eneste praktiske grund til at blive på den er eksisterende systemer. Har du prompts og pipelines der er finpudset mod Haikus adfærd, og kører de stabilt, er der ingen akut nødvendighed i at rykke. Anthropic har historisk udfaset ældre modelversioner, så en migreringsplan er alligevel værd at have klar.

Til nye projekter bør du vælge en aktuel model fra Anthropics nuværende udvalg. Opslaget her er relevant som historik og som baggrund hvis du vedligeholder ældre kode, ikke som en anbefaling.