GPT-J-6B
EleutherAIGPT-J er EleutherAI's open-source alternativ til GPT-3, med 6 milliarder parametre. En af de første store open-source language models.
6B
Parametre
2K
Kontekst
$0
Input/1K
$0
Output/1K
Capabilities
Opgaver
TekstgenereringKodegenereringOpsummeringCompletion
Sprog Support
Primært engelsk
Styrker
- ✓Historisk vigtig open-source model
- ✓Apache 2.0 licens
- ✓Kan køres på consumer GPU
- ✓Aktiv community
Begrænsninger
- !Ældre arkitektur
- !Mindre end moderne modeller
- !Primært engelsk
- !Overtaget af nyere modeller
Use Cases
→Læring og eksperimentering
→Legacy projekter
→Resource-constrained deployment
→Baseline sammenligninger
Benchmarks
66.1%
HellaSwag
11.6%
HumanEval
Tekniske Detaljer
- Release Dato
- 4.6.2021
- Provider
- EleutherAI
- Parametre
- 6B
- Kontekstvindue
- 2,048 tokens
- Træningsdata
- The Pile dataset (800GB)