Mistral 7B

Mistral 7B udkom 27. september 2023 som Mistral AI's første offentlige model. Med 7,3 milliarder parametre og et context window på 8.192 tokens var den lille nok til at køre lokalt, men stærk nok til at blive taget alvorligt i produktion. Den blev udgivet som open source uden licensomkostninger.

Betydningen lå i, hvad den viste om størrelsesforholdet mellem parametre og kvalitet. Frem til da var antagelsen ofte, at flere parametre gav bedre svar. Mistral 7B gjorde det tydeligt, at træningsdata og arkitektur vejede tungt, og at en kompakt model kunne dække mange praktiske opgaver.

Modellen håndterer tekstgenerering, kodegenerering, opsummering, klassificering og enklere reasoning. Sprogdækningen omfatter engelsk, fransk, tysk, spansk og italiensk. Detaljerne om træningsdata er ikke offentliggjort.

For mange udviklere blev den indgangen til at arbejde med sprogmodeller uden at sende data til en ekstern API. Det gjorde den til et fast valg i lokale opsætninger og i eksperimenter med fine-tuning.

Udviklingen efter 2023 gik hurtigt i flere retninger på én gang. Nyere modeller i samme størrelsesorden er trænet på større og bedre kurateret datamateriale, og de leverer mere pålidelige svar på reasoning-tunge opgaver. Forskellen mærkes tydeligst på længere opgaver med flere trin.

Context windows er vokset markant siden. Det åbner for arbejdsgange, hvor du lægger hele dokumentsamlinger eller kodebaser ind i prompten, og det ligger uden for, hvad Mistral 7B kan rumme.

Multimodalitet er kommet til som standardforventning hos mange udbydere. Mistral 7B arbejder kun med tekst. Samtidig er instruction following og værktøjsbrug blevet finpudset i senere generationer, hvilket betyder færre fejlformaterede svar og bedre integration i agent-lignende opsætninger.

Mistral AI har selv udgivet flere generationer siden, både åbne og lukkede. Modellen indgår ikke længere i udbyderens aktuelle anbefalinger.

Ja, men en begrænset og specifik en. Vægtene er frit tilgængelige, og modellen kører på almindeligt forbrugerhardware med moderat hukommelse. Det gør den brugbar i undervisning, i forskning på inference-optimering og som baseline, når du vil måle, hvad nyere små modeller egentlig har forbedret.

Til ny produktionsudvikling er svaret nej. Der findes nyere åbne modeller i samme størrelsesklasse, som er bedre på stort set alle parametre, og som ofte kan bruges med samme værktøjskæde. Skifter du, kræver det sjældent stor omskrivning.

Et argument for at blive holder dog: eksisterende systemer med fine-tunede varianter og afstemte prompts. Fungerer opsætningen, er der ingen teknisk grund til at haste med udskiftning. Men når du alligevel skal røre ved systemet, er en nyere model det oplagte valg.