Mistral Small

Mistral Small udkom 26. februar 2024 som den billigste og hurtigste model i Mistrals daværende kommercielle sortiment. Den blev placeret under Medium og Large og var tænkt til opgaver hvor svartid og pris vejede tungere end dyb ræsonneringsevne.

Modellen håndterer klassiske sprogopgaver: tekstgenerering, klassifikation, opsummering, sentiment analyse og kodegenerering. Den blev ofte brugt som generator-led i RAG-opsætninger, hvor det meste af arbejdet ligger i de fremsøgte dokumenter og modellen primært skal formulere et svar. Med et context window på 32.000 tokens var der plads til flere hentede tekstuddrag ad gangen.

Betydningen lå især i to ting. Den viste at en europæisk udbyder kunne levere brugbar kvalitet til lav pris på en række sprog, herunder dansk. Og den gjorde det praktisk at køre store mængder forespørgsler gennem en sprogmodel uden at omkostningerne blev det afgørende problem. Træningsdata går frem til 2023, og parameterstørrelsen er ikke offentliggjort.

Udviklingen siden begyndelsen af 2024 har flyttet sig hurtigt netop i det segment Mistral Small dækkede. Nyere små modeller løser opgaver som tidligere krævede større modeller, og prisen per token i den lette klasse er faldet bredt hos flere udbydere.

Dertil kommer længere context windows som standard, bedre instruktionsfølgning og mere pålidelig struktureret output i JSON og lignende formater. Værktøjskald og funktionsintegration er blevet en forventet basisfunktion i stedet for et tillæg. På ræsonnering og flertrinsopgaver er forskellen mellem generationerne tydelig, og det var i forvejen ikke modellens stærke side.

Mistral har selv udgivet nyere Small-versioner under samme navn. Når du læser dokumentation eller ældre blogindlæg, er det derfor værd at tjekke hvilken version der omtales, da navnet er genbrugt på tværs af generationer.

Reelt nej, ikke til nye projekter. Der findes ikke længere en opgave hvor denne version er det oplagte valg, og nyere modeller i samme prisklasse leverer mere for det samme eller mindre.

Den eneste praktiske grund til at røre ved den er drift af eksisterende systemer. Har du prompts og evalueringer bygget op omkring modellens opførsel, kan det give mening at holde den kørende indtil en migrering er testet. Skift af model kan ændre tone, formatering og fejlmønstre, og det kræver at du gennemgår dine egne testcases.

Er du på vej i gang med noget nyt, så start på en aktuel model fra Mistrals nuværende katalog eller en tilsvarende let model fra en anden udbyder. Så slipper du for at bygge oven på noget der allerede er udfaset.