Gemini Nano

Gemini Nano blev offentliggjort 6. december 2023 som den mindste model i Googles første Gemini-familie. Med 1,8 til 3,25 milliarder parametre var den bygget til at køre lokalt på telefoner og andre edge-enheder frem for i et datacenter. Træningsdata gik frem til november 2023.

Den praktiske betydning lå i placeringen af beregningen. Tekst behandles på enheden, så inference ikke kræver netværk, og prompten ikke sendes til en server. Det gjorde det muligt at bygge funktioner som opsummering og smart reply ind i Android uden løbende omkostninger per kald.

Kapaciteten var tilpasset formålet. Et context window på 4.096 tokens rækker til korte tekster, beskeder og enkeltstående opgaver, ikke til lange dokumenter eller omfattende samtalehistorik. Modellen håndterer simpel reasoning, klassifikation og omskrivning, mens tungere opgaver blev henvist til de større Gemini-varianter i skyen.

Udviklingen i små modeller er gået hurtigt siden slutningen af 2023. Nyere on-device-modeller i samme størrelsesorden løser flere opgaver korrekt, følger instruktioner mere pålideligt og hallucinerer mindre på korte opgaver. Bedre træningsdata og bedre efterbehandling har flyttet mere kapacitet ind i det samme parameterbudget.

Context window er det andet område hvor afstanden er tydelig. Senere generationer af kompakte modeller arbejder med markant længere input, hvilket ændrer hvilke opgaver der overhovedet kan lægges lokalt. Samtidig er multimodalitet blevet almindelig i on-device-modeller, hvor Gemini Nano i sin oprindelige form er tekstbaseret.

Google har selv videreført linjen med nyere on-device-modeller og med Gemma-familien. Nano bliver derfor ikke det aktuelle valg til nye projekter, men et tidligt eksempel på strategien.

For nye udviklingsprojekter er svaret reelt nej. Modellen er ikke frit tilgængelig på samme måde som open source-alternativer, den er bundet til udvalgte enheder, og nyere modeller i samme klasse er bedre på stort set alle parametre.

Der findes én undtagelse i praksis. Har du en enhed hvor Nano allerede driver indbyggede funktioner som opsummering eller transskription, fungerer de fortsat, og der er ingen grund til at undgå dem. Det er brug af eksisterende funktionalitet, ikke et valg af model.

Historisk er den værd at kende. Gemini Nano markerede at en stor udbyder begyndte at behandle lokal inference som en fast del af produktporteføljen, og den præmis holder stadig, selvom modellen ikke gør.