// HEISE ONLINE — MONDO
heise+ | Inkling: starkes Open-Weight-Modell aus den USA jagt Konkurrenz
Inkling ist das erste Open-Weight-Modell aus den USA, das zu den chinesischen Modellen aufschließt, auch wenn die in Benchmarks noch vorn bleiben.
Während die US-Regierung laut darüber nachdenkt, chinesische Modelle mit offenen Gewichten zu verbieten, hat die US-Firma Thinking Machines Lab mit Inkling ihr erstes eigenes großes Sprachmodell vorgestellt. Das Start-up, gegründet von Mira Murati, der ehemaligen Technikchefin von OpenAI, hat sich für ein sehr großes MoE-Modell (Mixture of Experts) mit 975 Milliarden Parametern (davon 41 Milliarden aktiv) entschieden und die Gewichte veröffentlicht. Damit ist Inkling das derzeit größte Modell mit offenen Gewichten, das nicht aus China kommt.
Thinking Machines Lab stellt die Gewichte sowohl im bfloat16-Format als auch in der deutlich kompakteren NVFP4-Quantisierung zur Verfügung. Selbst damit benötigt das Modell allein für die 975 Milliarden Parameter etwa 600 GByte RAM (für bfloat16 gar 2 TByte) und ist damit für viele Nutzer für einen lokalen Betrieb außer Reichweite. Es verfügt über 66 Layer, darin finden sich 256 Experten. Von denen sind pro Vorhersage immer sechs aktiv. Hinzu kommen zwei „geteilte“ Experten, die immer mitmachen. Das ergibt 41 Milliarden Parameter, die in jeder Berechnung verwendet werden.
Prof. Dr. Christian Winkler beschäftigt sich speziell mit der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich bei seiner Forschung auf die Optimierung der User Experience.
Ganz stimmt das allerdings nicht, denn Thinking Machines Lab hat ein kleineres Modell für Multi-Token Prediction integriert. Liegt es mit seiner Spekulation richtig, kann das große Modell in einem Schritt die vorhergesagten Token verifizieren und ein weiteres generieren. Das erhöht die Ausgabegeschwindigkeit beträchtlich und verringert die mittlere Anzahl an Parametern, die für die Vorhersagen notwendig sind.
Am 12. August verdunkelt sich die Sonne über Europa. Wo Sie das Phänomen sehen können, wie es entsteht und was es für die Forschung bedeutet.
Vier Produkte für Apple-Nutzer (und nicht nur die) im Test: Anti-Rutsch-Strippe, Alustativ, Tonaufnehmer Wave:3 MK.2 und Mobi-Fold-Maus.
Die Telekommunikationsnetze sind fragil. MeshCore bietet mithilfe der LoRa-Funktechnik einen netzunabhängigen Textnachrichtenkanal – so legen Sie los.
Zwischen 145 Euro und 1500 Euro: Wir testen drei kompakte Reprostative und zeigen, wie ein Umbau das beste Preis-Leistungs-Verhältnis bringt.
Ihr iPad kann dank des leistungsstarken Prozessors einen klassischen Computer ersetzen. Wir geben 12 Tipps, wie und mit welchem Zubehör Ihnen das gelingt.