Gemini 1.5 Flash

Gemini 1.5 Flash udkom 14. maj 2024 som den hurtige og billige variant i Googles Gemini 1.5-familie. Den var placeret som arbejdshesten under Pro-modellen: samme grundlæggende arkitekturfamilie, men trimmet til lav latency og høj gennemstrømning. Målgruppen var opgaver, hvor prisen per kald betød mere end den sidste procent præcision.

Det mest bemærkelsesværdige ved modellen var kombinationen af et kontekstvindue på 1.000.000 tokens og en pris på 7,5e-05 USD per 1K input-tokens og 0,0003 USD per 1K output-tokens under 128K kontekst. Lange kontekstvinduer fandtes allerede, men de var typisk forbeholdt de dyre modeller. Flash gjorde det praktisk at sende meget store dokumentmængder gennem en model i stor skala.

Modellen tager både tekst, billeder, video og lyd som input, hvilket på udgivelsestidspunktet ikke var standard i den billige ende af markedet. Træningsdata går frem til november 2023. Antallet af parametre er ikke offentliggjort.

Udviklingen siden 2024 har især flyttet sig på reasoning. Nyere modeller bruger længere interne ræsonnementskæder og klarer flertrinsopgaver, som 1.5 Flash typisk løser overfladisk eller forkert. Det var den svageste side ved modellen fra starten, og afstanden er blevet større.

Samtidig er de praktiske ting omkring modellerne modnet. Function calling, struktureret output, værktøjsbrug og pålidelig instruktionsfølgning fungerer mere stabilt i senere generationer. Lange kontekstvinduer bliver også udnyttet bedre, hvor tidlige modeller ofte overså information midt i en stor kontekst.

Prisniveauet i den hurtige modelklasse er desuden faldet generelt. Den omkostningsfordel, der var Flashs hovedargument, er ikke længere unik. Google har flyttet sit aktuelle tilbud til nyere Gemini-generationer, og 1.5 Flash har legacy-status hos udbyderen.

For nye projekter er svaret reelt nej. Vægtene er lukkede, så du kan ikke køre modellen lokalt, finjustere den frit eller bruge den som forskningsobjekt på egen hardware. Alt, hvad den kan, kan en nyere Gemini-model i den hurtige klasse også, som regel bedre.

Den eneste tilbageværende relevans er eksisterende systemer, der allerede kalder modellen og fungerer stabilt. Her kan det give mening at udskyde migrering, indtil du har tid til at teste prompts og output på en nyere model. Læg en plan for det, da legacy-status normalt fører til udfasning.

Historisk er modellen værd at kende, fordi den markerede det punkt, hvor meget store kontekstvinduer og multimodalt input blev tilgængeligt i den billigste modelklasse.