Falcon 180B

Falcon 180B blev udgivet af Technology Innovation Institute i Abu Dhabi den 6. september 2023. Med 180 milliarder parametre var den på udgivelsestidspunktet en af de største åbent tilgængelige sprogmodeller. Træningen byggede på 3,5 billioner tokens, primært fra datasættet RefinedWeb.

Betydningen lå især i licensen og adgangen. Modellen var gratis at hente og bruge, og vægtene kunne inspiceres, finjusteres og køres lokalt. Det gav forskningsmiljøer og virksomheder mulighed for at arbejde med en model i den størrelsesorden uden at gå gennem en API hos en kommerciel udbyder.

Teknisk er Falcon 180B en decoder-only transformer til tekstgenerering, opsummering, kodegenerering og reasoning-opgaver. Den er trænet primært på engelsk, og kvaliteten falder mærkbart på andre sprog. Kontekstvinduet er 2.048 tokens, hvilket var almindeligt for basismodeller i den generation.

Udviklingen siden 2023 er gået i to retninger, og Falcon 180B står svagt i begge. Kontekstvinduerne er vokset kraftigt, så modeller i dag kan arbejde med lange dokumenter, kodebaser og samtaler i ét greb. Et vindue på 2.048 tokens begrænser i praksis modellen til korte opgaver og gør RAG-opsætninger besværlige.

Samtidig er forholdet mellem størrelse og kvalitet ændret. Bedre træningsdata, længere træning og forbedrede instruktionsjusteringer har gjort det muligt at opnå stærkere resultater med langt færre parametre. Nyere åbne modeller i mellemstørrelsen leverer typisk bedre svar end Falcon 180B og kan køres på hardware, der er til at skaffe.

Dertil kommer flersproglighed og værktøjsbrug. Senere modeller håndterer mange sprog rimeligt og er trænet til funktionskald, struktureret output og længere reasoning-forløb. Falcon 180B blev udgivet før disse mønstre blev standard, og basisversionen er ikke bygget til dem.

Til produktionsbrug er svaret reelt nej. Kravet til compute er stort, deployment er besværligt, og du får bedre resultater billigere med nyere åbne modeller. Der er ingen praktisk opgave, hvor Falcon 180B er det oplagte valg i dag.

I forskning har den stadig en begrænset værdi. Vægtene er frit tilgængelige under Apache 2.0, træningsdatasættet RefinedWeb er dokumenteret, og modellen indgår i en række ældre studier. Det gør den brugbar som referencepunkt, hvis du arbejder med skaleringsadfærd, datakvalitet eller reproduktion af resultater fra den periode.

Ellers er Falcon 180B bedst forstået som et historisk mærkepæl. Den viste, at en model i den skala kunne udgives åbent med en permissiv licens, og den flyttede forventningerne til, hvad open source kunne rumme.