Mixtral 8x7B

Mixtral 8x7B blev udgivet af Mistral AI den 11. december 2023 og var en af de første åbne modeller, der brugte en sparse mixture of experts-arkitektur i praksis. Modellen har 46,7 milliarder parametre i alt, men aktiverer kun 12,9 milliarder pr. token. Det gav en beregningsprofil tættere på en mindre model, mens kvaliteten lå på niveau med væsentligt tungere tætte modeller.

Den betød noget, fordi den flyttede grænsen for hvad du kunne køre selv. Indtil da var stærk generel sprogforståelse, kodegenerering og flersproget arbejde noget du købte adgang til gennem et API. Mixtral gjorde det til noget du kunne hoste på egen hardware, med vægte du frit kunne hente.

Et context window på 32.768 tokens var også rummeligt efter datidens standard for åbne modeller. Kombinationen af åbne vægte, flersproget dækning på tværs af blandt andet engelsk, fransk, tysk, spansk og italiensk samt en effektiv arkitektur gjorde den til et almindeligt udgangspunkt for fine-tuning og forskning i det åbne økosystem.

Udviklingen siden slutningen af 2023 er gået hurtigt på flere fronter samtidigt. Nyere åbne modeller leverer bedre reasoning og kodegenerering ved samme eller mindre størrelse, fordi træningsdata og træningsopskrifter er blevet markant bedre. Det betyder at den effektivitetsfordel, MoE-arkitekturen gav Mixtral, ikke længere er et særkende.

Context windows er vokset kraftigt i hele feltet, og lange dokumenter håndteres i dag af modeller der både rummer mere og holder bedre sammenhæng over afstand. Samtidig er multimodalitet blevet almindelig, og Mixtral arbejder kun med tekst.

Instruction following, struktureret output og værktøjskald er også modnet betydeligt. Hvis du bygger noget der skal kalde funktioner eller returnere pålidelig JSON, mærker du forskellen tydeligt. Mistral AI har selv udgivet flere generationer siden, og Mixtral 8x7B er ikke længere udbyderens aktuelle valg.

Ja, men en snæver en. Modellen er stadig relevant som studieobjekt, fordi den er en veldokumenteret og åbent tilgængelig implementering af sparse mixture of experts. Forskning i routing, ekspert-udnyttelse og kvantisering bruger den fortsat som referencepunkt.

Til ny produktion er svaret reelt nej. Deployment kræver betydelig hukommelse, fordi alle eksperter skal være tilgængelige selv om kun nogle af dem aktiveres pr. token. Den byrde giver bedre mening at bære for en nyere model.

Har du allerede en fine-tunet Mixtral i drift, der løser opgaven, er der ingen grund til hastværk. Starter du forfra, bør du kigge på en senere generation.