Together AI

Together AI er en inference-platform for open source-sprogmodeller. Du får adgang til modeller som Llama, Mistral, Mixtral, Qwen og DeepSeek gennem ét API, i stedet for at hoste dem selv på egne GPU'er. Virksomheden blev grundlagt i 2022 og har hovedkvarter i San Francisco.

Målgruppen er teams, der allerede har besluttet sig for open source-vejen. Det kan være af hensyn til omkostninger ved høj volumen, ønsket om at kunne skifte model uden at skrive integrationen om, eller behovet for at fine-tune på egne data. Modsat udbydere med egne lukkede modeller er der ingen proprietær frontier-model, du forventes at lande på.

Tilgangen er teknisk snarere end produktorienteret. Du får inference, fine-tuning og de tilhørende API'er, ikke en færdig chatflade eller et lag af kontorværktøjer. Det gør platformen relevant som infrastruktur under din egen applikation.

Du kommer typisk i gang på under en time. Opret konto, generer en API-nøgle, og peg din eksisterende OpenAI-klient mod Together AI's endpoint. Kompatibiliteten dækker de almindelige chat completion-kald, så et proof of concept kræver ofte kun et ændret base-URL og modelnavn.

API'et lægger op til, at modelvalg er en parameter og ikke en arkitekturbeslutning. Du kan køre samme prompt mod flere modeller og sammenligne resultat, latency og forbrug. Det gør det praktisk at bruge en stor model til komplekse opgaver og en mindre til rutinekald i samme applikation.

Friktionen ligger typisk tre steder. Kompatibiliteten er ikke total, så detaljer omkring function calling, structured output og streaming kan opføre sig anderledes end hos den udbyder, du kommer fra. Prompts skal ofte skrives om, fordi open source-modeller reagerer anderledes på instruktioner. Og fine-tuning kræver, at du selv står for datakvalitet, formatering og evaluering, hvilket er mere arbejde end selve træningsjobbet.

Dertil kommer, at open source-modeller udskiftes hurtigt. En model du bygger på i dag kan blive afløst af en nyere version, og du bør planlægge efter at skulle re-teste dine prompts med jævne mellemrum.

Lock-in er lavere end hos de fleste alternativer, men den forsvinder ikke. Selve modellerne er open source og kan i princippet køres andre steder, og OpenAI-kompatibiliteten gør API-laget nemt at skifte ud. Til gengæld er fine-tunede modeller, prompt-tuning og driftsopsætning bundet til platformen på måder, der koster tid at flytte.

Hovedkvarteret ligger i USA, og det har betydning for databehandling. Hvis du arbejder med personoplysninger, skal du selv afklare overførselsgrundlag, databehandleraftale og hvor inference faktisk afvikles. Læs vilkårene for, hvordan input og fine-tuning-data behandles, frem for at antage noget.

En anden udbyder passer bedre, hvis du har brug for stærkt formaliserede enterprise-funktioner som avanceret adgangsstyring, revisionsspor og compliance-dokumentation på koncernniveau. Det samme gælder, hvis din opgave kræver det absolut stærkeste ræsonnement, eller hvis EU-hosting er et hårdt krav. Har du derimod høj volumen, en veldefineret opgave og gavn af at kunne fine-tune, er det en af de mere ligefremme veje til open source i produktion.