DBRX
DatabricksDBRX er Databricks' open source Mixture-of-Experts (MoE) model der sætter ny standard for open LLMs. Med 132B total parametre men kun 36B aktive per inference, konkurrerer den med GPT-3.5 og Mixtral.
132B total, 36B aktive parametre
Parametre
32K
Kontekst
$0
Input/1K
$0
Output/1K
Capabilities
Opgaver
TekstgenereringKodegenereringReasoningMatematisk problemløsningDataanalyseSQL genereringTeknisk skrivningLange dokumenter
Sprog Support
EngelskSpanskFranskTyskItalienskPortugisiskDansk (begrenset)Og flere
Styrker
- ✓Fully open source (weights og kode)
- ✓Mixture-of-Experts arkitektur
- ✓Effektiv inference (36B aktive)
- ✓Stærk kodning og SQL
- ✓Kommercielt anvendelig
- ✓32K kontekstvindue
- ✓Databricks ecosystem integration
- ✓Best open model ved release
Begrænsninger
- !Kræver betydelige compute ressourcer
- !MoE kompleksitet i deployment
- !Ikke lige så god som GPT-4
- !Mindre community support end Llama
Use Cases
→Enterprise data applikationer
→SQL og dataanalyse
→Kodegenerering
→On-premise deployment
→Custom finetuning
→Databricks workflows
→Privacy-sensitive applikationer
→Research
Benchmarks
73.7%
MMLU
89%
HellaSwag
70.8%
HumanEval
72.8%
GSM8K
Tekniske Detaljer
- Release Dato
- 27.3.2024
- Provider
- Databricks
- Parametre
- 132B total, 36B aktive parametre
- Kontekstvindue
- 32,000 tokens
- Træningsdata
- 12T tokens af høj kvalitet data