Mistral Medium

Mistral Medium udkom 11. december 2023 og var mellemtrinnet i Mistrals første kommercielle API-udbud. Den lå mellem de små, billige modeller og topmodellen, og var tænkt som standardvalget til produktion. Parameterantallet blev aldrig offentliggjort.

Modellen håndterer et context window på 32.000 tokens og er trænet på data frem til 2023. Den dækker tekstgenerering, kodegenerering, reasoning, matematisk problemløsning, analyse og opsummering, og den understøtter function calling. Sprogdækningen omfatter blandt andet engelsk, fransk, tysk, spansk, italiensk, portugisisk, dansk, nederlandsk og russisk.

Da den kom, var den interessant af to grunde. Den gav en brugbar mellemklasse til en pris under de dyreste modeller, og den kom fra en europæisk udbyder, hvilket havde betydning for organisationer med krav om databehandling inden for EU. Prisen var 0,0027 USD per 1.000 input-tokens og 0,0081 USD per 1.000 output-tokens.

Udviklingen siden slutningen af 2023 har flyttet sig på flere fronter samtidig. Context windows er vokset betydeligt, så modeller i dag kan arbejde med længere dokumentsamlinger og kodebaser uden opdeling. Det ændrer, hvordan du bygger RAG-opsætninger og agent-flows.

Samtidig er kvaliteten i den samme prisklasse steget. Nyere mellemklassemodeller løser reasoning-opgaver og kodeopgaver, som Mistral Medium ville fejle på, og de gør det ofte billigere per token. Konkurrencen har presset priserne nedad i hele markedet.

Funktionaliteten er også udvidet. Multimodal input, mere pålidelig struktureret output og bedre understøttelse af værktøjskald er blevet almindeligt. Mistral har selv udgivet flere generationer siden, og Medium er ikke længere udbyderens anbefalede valg. Træningsdata frem til 2023 betyder desuden, at modellens viden om nyere begivenheder er forældet.

Svaret er reelt nej for nye projekter. Modellen er lukket og tilgås via API, så du kan ikke køre den lokalt eller bruge den til forskning i vægte og arkitektur. Den fordel, som gamle open source-modeller har på begrænset hardware, gælder ikke her.

Der er heller ikke et prisargument. Nyere modeller i samme eller lavere prisklasse leverer bedre resultater på de samme opgavetyper, og de har større context window.

Den relevante situation er eksisterende systemer. Har du prompts og evalueringer, der er finpudset mod Mistral Medium, kan det give mening at blive, indtil du har tid til at teste en migrering ordentligt. Planlæg den migrering frem for at udskyde den, da legacy-modeller før eller siden bliver taget ud af drift.