Inkling-Small

Inkling-Small ist am 30. Juli 2026 erschienen, zwei Wochen nach dem großen Inkling, und stammt wie dieses von Thinking Machines Lab, dem Start-up der früheren OpenAI-Technikchefin Mira Murati. Mit 276 Milliarden Parametern, von denen je Token 12 Milliarden aktiv sind, hat es weniger als ein Drittel der Größe des Flaggschiffs und kommt im unabhängigen Artificial-Analysis-Index trotzdem auf 40 von dessen 41 Punkten. Bei mehreren Aufgabentypen liegt das kleine Modell sogar vorn, etwa mit 80,2 % gegenüber 77,6 % bei SWE-bench Verified, bei der Werkzeug-Nutzung (Elo 1269 gegenüber 1238) und bei der Anweisungstreue (82,2 % gegenüber 79,8 % bei IFBench). Thinking Machines führt das auf eine überarbeitete Trainingsmischung für das kleinere Modell zurück.

Praktisch nutzbar wird das Modell durch die quantisierten Fassungen, die Unsloth als GGUF-Dateien bereitstellt (Repository unsloth/Inkling-Small-GGUF auf Hugging Face). Unquantisiert braucht Inkling-Small rund 543 GB Speicher und damit ein Rechenzentrum. Die 3-Bit-Fassung passt in 98 GB und läuft auf einem Mac Studio oder einer Workstation mit 128 GB Arbeitsspeicher, bei etwa 73 % der ursprünglichen Genauigkeit. Wer mehr Genauigkeit braucht, nimmt die 4-Bit-Fassung mit rund 163 GB. Das Kontextfenster von einer Million Token bleibt dabei erhalten. Betrieben wird das Ganze über llama.cpp, SGLang oder vLLM.

In der Eingabe versteht Inkling-Small neben Text auch Bilder und Audio, es antwortet ausschließlich in Text. Die Lizenz ist Apache 2.0 und erlaubt die kommerzielle Nutzung ohne Auflagen. Schwächer als beim großen Inkling fällt das Faktenwissen aus, bei SimpleQA Verified erreicht es 20,6 % gegenüber 43,9 %. Ein europäischer Hoster ist nicht bestätigt, die Hersteller-API läuft über die Tinker-Plattform in den USA. Der DSGVO-konforme Einsatz entsteht hier also über den Betrieb auf eigener Hardware. Anders als beim großen Inkling ist das bei diesem Modell realistisch.