Mistral AI

Mistral AI er grundlagt i 2023 og har hovedkvarter i Paris. Udbyderen henvender sig især til organisationer, der vil have en europæisk leverandør af sprogmodeller uden at skulle sende data gennem amerikanske platforme. Det gælder både offentlige myndigheder og virksomheder med krav om dokumenteret data governance inden for EU.

Tilgangen adskiller sig fra de store amerikanske udbydere på to punkter. Dels er en del af modellerne udgivet som open source, hvilket giver dig mulighed for at hente vægtene og køre dem selv. Dels ligger fokus på effektivitet frem for maksimal størrelse, så modellerne er designet til at levere brugbar performance med lavere ressourceforbrug.

Det gør Mistral relevant, hvis du bygger noget, hvor omkostning per token eller latency betyder mere end at have den absolut stærkeste model. Kombinationen af hostet API og self-hosted deployment betyder også, at du kan starte i skyen og flytte on-premise senere uden at skifte modelfamilie.

Du opretter en konto, genererer en API-nøgle og kalder et REST-endpoint. API'et følger det format, de fleste udviklere kender fra andre chat completion-API'er, så migration fra en anden udbyder kræver typisk kun ændringer i endpoint, nøgle og modelnavn.

Der findes officielle SDK'er til Python og JavaScript. Streaming, function calling og JSON mode dækker de mønstre, du bruger til henholdsvis chatgrænseflader, værktøjsintegration og struktureret output. Fine-tuning er understøttet, hvis du har data nok til at gøre det meningsfuldt.

Friktionen ligger primært i dokumentationen og økosystemet omkring platformen. Dokumentationen dækker det grundlæggende, men er tyndere end hos de større udbydere, når du kommer ud i randtilfælde. Du finder også færre færdige integrationer, community-eksempler og tredjepartsværktøjer, så du oftere må skrive limkoden selv.

Self-hosting af de åbne modeller er en reel mulighed, men kræver at nogen hos dig kan drive GPU-infrastruktur. Det er en anden slags arbejde end at kalde et API, og det skal med i regnestykket.

Modelporteføljen er mindre end hos de største konkurrenter. Har du brug for multimodale funktioner i bredt omfang eller meget specialiserede modeller, kan du komme til kort. Tjek konkret, om de modeller du har brug for findes, før du binder en arkitektur op på platformen.

Lock-in er lavere end gennemsnittet, netop fordi de åbne modeller kan køres uden for platformen. Bygger du derimod på fine-tunede modeller eller proprietære varianter som Mistral Large, er du bundet til udbyderen på samme måde som andre steder. Hold dit abstraktionslag over modelkaldene, så et skifte forbliver overskueligt.

Europæisk hjemsted og datahåndtering er et af hovedargumenterne, men verificér altid de aktuelle vilkår for dataopbevaring og træning i den konkrete aftale. Vilkår ændrer sig, og et fransk hovedkvarter er ikke i sig selv dokumentation.

Virksomheden er ung. Det betyder hurtig udvikling, men også at modeller og endpoints kan ændre sig oftere end du er vant til. Har du brug for et stort økosystem, lange deprecation-vinduer eller den bredeste modelpalet, passer en større udbyder bedre.