// HEISE ONLINE — MODA & SOCIETÀ
Kolibri-1 denkt deutsch. Hilft das auch beim Antworten?
Aleph Alphas Kolibri-1 ist ein neues KI-Modell, das speziell für deutsche Texte optimiert wurde und auch auf Deutsch argumentiert. iX hat es ausprobiert.
Lange mussten wir auf ein Modell warten, das speziell auch mit deutschen Texten gut umgehen kann. Zwischenzeitlich kam mit der Ankündigung des Soofi-Modells Hoffnung auf. Diese zerstreute sich aber sehr schnell wieder, weil das Modell bis heute nicht frei zugänglich ist und das Konsortium wohl auch beim Training sehr kreativ Benchmark-Daten mitverwendet hat. Umso gespannter kann man auf das nun veröffentlichte Kolibri-1-Modell von Aleph Alpha sein.
iX-plore ist die Online-Serie des iX-Magazins für alle, die neue Tools und Technologien entdecken möchten. In kurzen Beiträgen stellen wir vor, was sie können, wofür sie sich eignen und warum sich ein genauerer Blick lohnen könnte.
Zuerst fällt die Größe des Modells ins Auge: Sie ist mit 78 Milliarden Parametern relativ unkonventionell. Bei vielen Modellen haben sich zwischenzeitlich Standardgrößen etabliert. In dieses Schema passt das Modell nicht. Die Anzahl der Experten ist mit 384 für diese Anzahl an Parametern verhältnismäßig groß, was bei sechs gerouteten und einem festen Experten zu nur 3,46 Milliarden aktiven Parametern in der Inferenz führt. Die Gewichte der regulären Veröffentlichung liegen überwiegend quantisiert in FP8 vor; einzelne Modellbestandteile bleiben in bfloat16. Daneben bietet Aleph Alpha eine BF16-Version an.
Die Architektur kann man durchaus als traditionell bezeichnen: Kolibri-1 verwendet zwar eine hybride Attention-Architektur mit vier Sliding-Window-Attention-Layern (SWA), die sich mit einem Layer mit voller Attention abwechseln. Für letztere nutzt das Modell aber Grouped Query Attention, die Anbieter wie DeepSeek oder Qwen schon seit einigen Generationen aussortiert haben. Möglicherweise führt das auch zu dem etwas kleineren Kontext von „nur“ 256K Token, den man bei der Inferenz auf rund eine Million Token extrapolieren kann.
Kolibri-1 beherrscht außerdem Reasoning; es kann also seine Antworten in einer Art „Denkprozess“ begründen. Dessen Länge lässt sich in drei Stufen steuern. So kann man verhindern, dass das Modell bei einfachen Fragen unnötig lange nachdenkt. Bis dahin bietet das Modell keine großen Überraschungen.
Diese folgen allerdings bei den Trainingsdaten, die anders aufbereitet sind als die der Wettbewerber. Das fängt schon „ganz vorn“ im Modell an, nämlich im Tokenizer.
Der Tokenizer verantwortet die Aufteilung der Texte in Wörter beziehungsweise deren Bestandteile, die Token. Viele mehrsprachige Modelle, insbesondere die der chinesischen Anbieter, müssen hier Kompromisse eingehen, damit sich möglichst viele Wörter (oder Wortbestandteile) der unterschiedlichen Sprachen effizient darstellen lassen. Da Aleph Alpha sich auf Deutsch und Englisch konzentriert, gibt es dieses Problem hier so nicht. Daher kann Kolibri englische und insbesondere deutsche Wörter mit weniger Token darstellen. Das ist nicht nur interessant, wenn man nach Token bezahlen muss, sondern auch in der internen Verarbeitung. Spart man 10 Prozent der Token ein, kann das die Verarbeitung nahezu genauso stark beschleunigen.
Kolibri-1 eignet sich auch besonders für rechtliche und politische Inhalte. Spaßeshalber kann man ausprobieren, wie viele Token es für das gesamte Glossar des Bundestags benötigt. Kolibri-1 benötigt dafür 1137 Token, das zum Vergleich hinzugezogene sehr innovative DeepSeek-V4.1-Flash braucht 1910 Token – was für ein Unterschied! Hier kann man also viele Token sparen und mit kürzeren Kontexten arbeiten. Außerdem kann die Verarbeitung damit schneller werden, weil viele Wörter nicht mehr aus ihren Bestandteilen zusammengesetzt werden müssen. Dies erhöht gleichzeitig die Präzision der Vorhersagen.
Ausgestattet mit diesem Tokenizer hat Aleph Alpha das Modell mit 20 Billionen Token im Pre-Training trainiert und dabei Inhalte bis zum 18. Juni 2026 genutzt. Das ist also sehr aktuell, denn das Basis-Training da