NVIDIA

NVIDIA henvender sig til organisationer, der selv vil drive deres AI-infrastruktur. Det gælder virksomheder med on-premise servere, forskningsinstitutioner med egne GPU-klynger og teams, der har krav om at data ikke forlader eget datacenter. Hvis du blot skal kalde et API og betale per token, er NVIDIA sjældent det oplagte valg.

Tilgangen adskiller sig fra de øvrige udbydere ved at starte i hardwaren. Hvor OpenAI og Anthropic sælger adgang til modeller, de selv hoster, sælger NVIDIA værktøjerne til at køre modeller på GPU'er, du enten ejer eller lejer. Modellerne er en del af pakken, ikke hele produktet.

Det betyder også, at NVIDIA støtter åbne modeller fra andre. Du kan køre Llama- og Mistral-varianter gennem samme framework som NVIDIAs egne Nemotron-modeller. Bindingen ligger i platformen og hardwaren, ikke i en enkelt modelfamilie.

Der er to indgange. Den letteste er de hostede endpoints, hvor du får en API-nøgle og kan sende requests mod færdige modeller uden at røre infrastruktur. Det ligner arbejdsgangen hos andre udbydere og egner sig til at teste, om en model overhovedet løser din opgave.

Den tunge indgang er selvhosting. Her arbejder du med containere, driverversioner, CUDA-kompatibilitet og inference-servere, der skal konfigureres korrekt. Optimering med TensorRT-LLM kan give markant bedre throughput, men kræver at du kender begreber som batching, KV-cache og kvantisering.

Friktionen ligger typisk tre steder. Første opsætning tager længere tid end forventet, fordi versioner af drivere, containere og biblioteker skal passe sammen. Dokumentationen er omfattende, men spredt over flere produktlinjer, så det kan være uklart hvilket værktøj der løser din konkrete opgave. Og tuning af performance er et projekt i sig selv, ikke noget der er færdigt efter første deployment.

Til gengæld får du kontrol. Du bestemmer modelversion, hardware, latency-profil og hvornår noget opgraderes. Det er svært at opnå hos en udbyder, der kun tilbyder et API.

Den tydeligste afhængighed er hardware. Stakken er bygget til NVIDIA-GPU'er, og skifter du til anden acceleration, skal store dele af optimeringsarbejdet gøres om. Modellerne kan flyttes, men performance-arbejdet følger ikke med.

Datahåndtering er omvendt en styrke. Kører du selv, forlader dine prompts og dine træningsdata ikke dit eget miljø. For EU-organisationer med krav fra GDPR eller sektorspecifik regulering er det ofte et stærkere argument end en databehandleraftale med en amerikansk cloududbyder. Bruger du derimod de hostede endpoints, gælder de samme overvejelser om placering og leverandør som hos alle andre.

Totalomkostningen er svær at vurdere på forhånd. Ud over hardware og licenser skal du regne med intern tid til drift, opdateringer og fejlsøgning. Har du ikke folk med erfaring i GPU-drift, bliver det arbejde dyrere end de fleste budgetter forudsætter.

En anden udbyder passer bedre, hvis du bygger et produkt med varierende trafik og ingen særlige krav til datalokalitet. Så er et rent API billigere at komme i gang med og lettere at skalere ned igen. NVIDIA giver mest mening, når volumen er stabil og høj, når data skal blive internt, eller når du træner og tilpasser modeller frem for kun at bruge dem.