Codestral

Codestral udkom 29. maj 2024 som Mistrals første model bygget udelukkende til kode. Med 22 milliarder parametre og et context window på 32.000 tokens var den tænkt som en arbejdsmodel til udviklerværktøjer, ikke som en generel assistent. Træningsdata dækkede over 80 programmeringssprog, fra Python og TypeScript til SQL, Bash og ældre sprog i produktionssystemer.

Det vigtigste ved modellen var kombinationen af specialisering og størrelse. En model på 22B kunne køre med lav latenstid, hvilket gjorde den brugbar til code completion direkte i en editor, hvor svartiden betyder mere end den sidste procent kvalitet. Fill-in-the-middle gjorde den anvendelig til at udfylde kode midt i en eksisterende fil, ikke kun til at fortsætte fra slutningen.

Udgivelsen havde også en politisk side. Codestral kom fra en europæisk udbyder på et tidspunkt, hvor stort set alle stærke kodemodeller kom fra amerikanske laboratorier. For europæiske virksomheder med krav til leverandørvalg var det et reelt argument.

Kodemodeller har flyttet sig hurtigt siden midten af 2024. Senere modeller er trænet på nyere kode, hvilket betyder bedre kendskab til de biblioteker og API-versioner udviklere faktisk bruger nu. En kodemodel ældes hurtigere end en generel sprogmodel, fordi økosystemet omkring den ændrer sig løbende.

Context window er det andet område. 32.000 tokens rækker til en fil eller to, men ikke til at holde et større repository i hovedet på én gang. Nyere modeller arbejder med væsentligt større kontekst, og det ændrer hvilke opgaver der overhovedet er mulige, for eksempel refactoring på tværs af mange filer.

Dertil kommer, at grænsen mellem kodemodel og generel model er blevet udvisket. De stærkeste modeller til kode i dag er ofte generelle modeller med god reasoning, som også kan planlægge en ændring, læse dokumentation og forklare et designvalg. Codestrals snævre fokus var en fordel i 2024 og er nu snarere en begrænsning.

I begrænset omfang, ja. Størrelsen gør den relevant, hvis du skal køre code completion lokalt eller på beskeden hardware, og hvor latenstid vejer tungere end dybde. Til den slags autocomplete i en IDE er forskellen til en større model mindre mærkbar end ved komplekse opgaver.

Til alt andet er svaret reelt nej. Skal du bygge nyt i dag, giver det ikke mening at vælge Codestral frem for Mistrals aktuelle modeller eller andre nyere alternativer. Prisen er ikke længere et argument, når nyere modeller leverer mere for tilsvarende beløb.

Historisk er den værd at kende som eksemplet på den specialiserede kodemodel i mellemstørrelse. Det var en udbredt arkitekturbeslutning i 2024, og den er siden blevet mindre almindelig.