IBM Granite: die lokale KI mit ISO-42001-Zertifikat

Seit dem 2. August greifen die Transparenzpflichten des EU AI Act (dazu haben wir die Fristen einzeln aufgeschlüsselt, siehe EU AI Act: was zum 2. August 2026 gilt). Damit verschiebt sich eine Frage, die viele Betriebe bisher ausgeblendet haben: Nicht nur, wo ein Modell rechnet, sondern wie es entstanden ist, wird prüfbar. Wer im Audit erklären muss, welches System welche Trainingsdaten gesehen hat, steht bei den meisten Open-Weight-Modellen vor einer leeren Seite.

Genau an diesem Punkt sticht IBMs Granite-Familie heraus. Granite ist nach IBMs eigener Ankuendigung seit November 2025 die erste offene Modellfamilie mit einer ISO-42001-Zertifizierung. Für einen Mittelstaendler, der lokale KI datenschutzkonform einsetzen will, ist das kein Marketing-Etikett, sondern ein Stueck Beweislast, das jemand anderes schon geliefert hat.

Was ISO 42001 zertifiziert, und was nicht

ISO 42001 ist der erste internationale Standard für KI-Managementsysteme. Er beschreibt nicht, ob eine einzelne Antwort korrekt ist, sondern ob der Anbieter einen dokumentierten Prozess für Verantwortlichkeit, Nachvollziehbarkeit, Datenschutz und Zuverlässigkeit betreibt. Vereinfacht: zertifiziert wird die Werkstatt, nicht das einzelne Werkstueck.

Das klingt nach einer Feinheit, ist aber praktisch entscheidend. Der EU AI Act verlangt von Betreibern kein perfektes Modell, sondern nachweisbare Sorgfalt bei Auswahl und Betrieb. Ein Modell, dessen Herkunft und Governance dokumentiert und extern geprüft sind, verkuerzt genau diese Nachweiskette. Sie müssen weniger selbst belegen, weil ein anerkannter Rahmen einen Teil davon bereits abdeckt.

Wichtig bleibt die ehrliche Abgrenzung: Das Zertifikat gilt IBMs Management der Modelle, nicht Ihrem Einsatz davon. Ihre eigene Anwendung, Ihre Datenverarbeitung und Ihre Kontrollen müssen Sie weiterhin selbst verantworten. Was Sie gewinnen, ist ein sauberer Ausgangspunkt, kein fertiges Compliance-Paket.

Granite in Zahlen: klein genug für den Mittelstand

Granite ist bewusst keine Frontier-Show. Die aktuelle Generation Granite 4.1 kam laut IBM am 29. April 2026 heraus, in drei Größen mit 3B, 8B und 30B Parametern, alle unter der freizuegigen Apache-2.0-Lizenz. Kommerzielle Nutzung und lokale Anpassung sind also ohne Rücksprache erlaubt.

Zwei technische Entscheidungen machen die Modelle für kleinere Betriebe interessant:

• Hybride Architektur. Granite 4.0 hatte im Oktober 2025 eine Mischung aus Mamba-2-Schichten und wenigen Attention-Bloecken eingeführt, im Verhaeltnis von etwa neun zu eins. Laut IBM senkt das den Arbeitsspeicherbedarf bei langem Kontext und vielen parallelen Sitzungen um mehr als 70 Prozent gegenueber klassischen Transformer-Modellen. Das übersetzt sich direkt in guenstigere Hardware.
• Kompakte Größen. Das 8B-Modell aus Granite 4.1 erreicht nach IBMs Angaben das Niveau des aelteren 32B-Mixture-of-Experts-Modells, bei deutlich einfacherer Bauform. Solche Vergleiche sollten Sie an Ihren eigenen Aufgaben nachprüfen, die Richtung ist aber klar: mehr Leistung pro Gigabyte.

In der Praxis heißt das, dass ein 8B-Granite in 4-Bit-Quantisierung auf einer Workstation mit rund 8 bis 12 GB Grafikspeicher läuft, das 30B-Modell auf einer besser ausgestatteten Maschine oder einem Mac Studio mit großzügigem Unified Memory. Kein Rechenzentrum, kein Cluster mit acht Beschleunigern, wie ihn die ganz großen offenen Modelle inzwischen verlangen.

Warum das für die EU-AI-Act-Pflichten zählt

Der eigentliche Wert liegt in der Kombination aus lokaler Verarbeitung und dokumentierter Governance. Betreiben Sie Granite auf eigener Hardware, verlaesst keine Anfrage Ihr Netz. Das ist unsere Grundposition zur Datensouveraenitaet: Souverän ist, wo verarbeitet wird, nicht wessen Logo auf dem Modell steht. Wie so eine Umgebung aussieht, beschreiben wir unter lokale KI.

Der Unterschied zu einem beliebigen Open-Weight-Modell ist die Prüffähigkeit. Viele der staerksten offenen Modelle kommen aus Laboren, die zu Trainingsdaten und Prozessen wenig offenlegen (wir haben das getrennt betrachtet, siehe Chinesische Open-Weight-Modelle lokal betreiben). Für die reine Datenverarbeitung ist das nach unserem Verstaendnis zweitrangig, sobald Sie air-gapped betreiben. Sobald es aber um regulierte Ausgaben oder um einen Auditbericht geht, ist ein Modell mit externem Governance-Nachweis leichter zu verteidigen als eines ohne.

Für Betriebe, die ein kunden- oder personennahes System betreiben, spart das reale Arbeit. Statt eines Achselzuckens zur Frage, woher die Gewichte stammen, hat Ihre datenschutzverantwortliche Person einen dokumentierten Anker. Das ersetzt keine Folgenabschaetzung, aber es füllt eine Zeile, die sonst leer bliebe.

Für deutsche Mittelstaendler, die eine KI-Anschaffung über BAFA- oder KfW-Programme foerdern lassen, ist das ein zusätzliches Argument. Ein zertifizierter, quelloffener und lokal betriebener Ansatz laesst sich in einem Foerderantrag sauberer begruenden als ein intransparenter Cloud-Dienst mit unklarer Datenlage. Wer ohnehin plant, Mitarbeitende im Umgang mit dem Modell zu schulen, kann das förderfähig mitdenken (dazu unser Angebot zu Schulungen).

Kein Freifahrtschein: was Sie selbst leisten müssen

Ein Zertifikat auf dem Modell erspart Ihnen nicht die eigene Hausaufgabe. Bevor Granite in einen Geschaeftsprozess wandert, gehören drei Dinge geklaert:

• Lizenz lesen, nicht das Etikett. Apache 2.0 ist unkritisch und erlaubt kommerziellen Einsatz. Prüfen Sie trotzdem, ob die von Ihnen genutzte Variante wirklich unter dieser Lizenz steht und nicht unter einer Zusatzbedingung.
• Eigene Tests statt Anbieterzahlen. Ein kleiner, auf Ihre echten Fälle zugeschnittener Testsatz sagt mehr als jede Rangliste. Gerade auf Deutsch und in Ihrer Fachdomaene kann ein Modell anders abschneiden als im englischen Benchmark.
• Menschliche Kontrollstufe, wo es zählt. Für regulierte Inhalte braucht es ohnehin eine Freigabe durch einen Menschen. Das ist eine Frage des Prozesses, nicht des Modells, und der AI Act sieht sie so vor.

Wer diese Punkte klaert, dokumentiert damit nebenbei genau die Sorgfalt, die im Ernstfall verlangt wird.

Wie ein Einstieg aussieht

Granite ist kein Selbstläufer, aber ein ungewöhnlich sauberer Startpunkt für Betriebe, die Datenschutz und Förderfähigkeit ernst nehmen. Der pragmatische Weg ist ein abgestecktes Pilotprojekt: ein klar umrissener Anwendungsfall, das kleinste Granite-Modell, das die Aufgabe zuverlässig loest, und ein Test an Ihren echten Daten, bevor Sie sich festlegen. Wenn Sie wissen wollen, ob Granite zu Ihren Aufgaben und Ihrer Hardware passt, sprechen Sie mit uns.