Mixtral 8x7B

Mistral AI

Mixtral er en Sparse Mixture of Experts model, der kombinerer 8 ekspert-modeller til overlegen ydeevne. Konkurrerer med GPT-3.5 og Claude 2 mens den forbliver open-source.

46.7B total (12.9B aktive)

Parametre

33K

Kontekst

Input/1K

Output/1K

Capabilities

Opgaver

TekstgenereringKodegenereringReasoningMultilingual opgaverMatematisk problemløsning

Sprog Support

EngelskFranskTyskSpanskItalienskOg flere

Styrker

✓State-of-the-art open-source ydeevne
✓Stort kontekstvindue (32K)
✓Effektiv MoE arkitektur
✓Konkurrerer med GPT-3.5
✓Gratis og open-source

Begrænsninger

!Kræver betydelig compute
!Kompleks deployment
!Ikke multimodal

Use Cases

→Enterprise AI løsninger

→Avanceret kodegenerering

→Multilingual applikationer

→Lange dokumenter

→Forskningsprojekter

Benchmarks

70.6%

MMLU

86.7%

HellaSwag

40.2%

HumanEval

74.4%

GSM8K

Tekniske Detaljer

Release Dato: 11.12.2023
Provider: Mistral AI
Parametre: 46.7B total (12.9B aktive)
Kontekstvindue: 32,768 tokens
Træningsdata: Ikke offentliggjort i detaljer

← Tilbage til alle modeller