GPT-Neo

EleutherAI

GPT-Neo er EleutherAI's familie af open-source transformer models, designet som reproducerbare GPT-3 alternativer. Tilgængelig i flere størrelser.

125M, 1.3B, 2.7B

Parametre

2K

Kontekst

$0

Input/1K

$0

Output/1K

Capabilities

Opgaver

TekstgenereringCompletionSimple prompts

Sprog Support

Engelsk

Styrker

  • Flere størrelser tilgængelige
  • MIT licens
  • Kan køres på CPU
  • God til læring

Begrænsninger

  • !Ældre teknologi
  • !Mindre capabilities
  • !Primært engelsk
  • !Overtaget af GPT-J og NeoX

Use Cases

Uddannelsesformål
Lightweight deployment
Eksperimentering
Legacy support

Tekniske Detaljer

Release Dato
21.3.2021
Provider
EleutherAI
Parametre
125M, 1.3B, 2.7B
Kontekstvindue
2,048 tokens
Træningsdata
The Pile dataset