// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
Mistral veröffentlicht Modell mit neuer Technik für Sicherheitsklassifikationen
Mistrals Shieldstral klassifiziert die Sicherheit von KI-Inhalten mithilfe einer neuen Herangehensweise. Sie soll sich flexibel an veränderte Kontexte anpassen.
Mistral AI hat mit Shieldstral ein Sicherheitsmodell vorgestellt, das die Moderation von KI-generierten Inhalten vereinfachen soll. Statt auf feste Kategorien setzt das Modell auf einen flexiblen Frage-Antwort-Ansatz: Betreiber formulieren ihre Moderationsrichtlinien als natürlichsprachliche Ja/Nein-Fragen wie zum Beispiel: „Ruft dieser Inhalt zu echter Gewalt auf?“. Shieldstral liefert anschließend einen Safety-Score zurück, auf dessen Grundlage der Prompt oder die KI-Antwort freigegeben werden kann oder nicht.
Dieses Vorgehen soll laut Mistral zwei Vorteile haben. Zum einen lassen sich die Fragen, die an den Inhalt gestellt werden sollen, von den Betreibern von Shieldstral leicht anpassen und jederzeit verändern. Zum anderen kann so der Kontext eines Inhalts besser mit bewertet werden. Zum Beispiel: Was im Rahmen eines Referats über Konzentrationslager für den Schulunterricht vielleicht notwendige Originalzitate aus zeitgenössischen Reden sind, wäre als Inhalt für einen privaten Blogpost höchst kritisch.
Bisherige Guardrail-Modelle mit festgelegten Taxonomien können solche Kontextunterschiede laut den Autoren des zugehörigen Papers nur unzureichend abbilden, weil die Zulässigkeit eines Inhalts häufig fest an Kategorien geknüpft ist.
Bei der Eingabe wird die Moderation als binärer Question-Answering-Task formuliert: Das Modell erhält eine Systemanweisung mit Instruktionen, den Kontext sowie eine Ja/Nein-Frage. Als Antwort bei der Inferenz gibt das Modell anschließend lediglich die „Ja“- und „Nein“-Logits aus und normalisiert diese mittels Softmax zu einem kontinuierlichen Sicherheitswert, auf dessen Grundlage eine Entscheidung getroffen werden kann.
Laut Mistral erreicht Shieldstral mit seinem neuen Ansatz die gleiche Leistungsfähigkeit wie siebenmal größere Modelle, läuft aber auf einer 16 GB Nvidia GPU. Technisch baut Shieldstral auf dem Ministral-3B-Base-2512 auf, einem kausalen Sprachmodell aus Mistrals eigener Modellfamilie. Die war erst vor Kurzem um Leanstral 1.5 erweitert worden, das für mathematische Beweise und formale Verifikation optimiert ist.
Für die Bildverarbeitung kommt ein Pixtral-Vision-Encoder zum Einsatz. Das 3-Milliarden-Parameter-Modell steht unter Apache-2.0-Lizenz auf Hugging Face als Open Weights zum Download bereit.
Keine News verpassen! Jeden Morgen der frische Nachrichtenüberblick von heise online
Ausführliche Informationen zum Versandverfahren und zu Ihren
Widerrufsmöglichkeiten erhalten Sie in unserer
Datenschutzerklärung.
Immer informiert bleiben: Klicken Sie auf das Plus-Symbol an einem Thema, um diesem zu folgen. Wir zeigen Ihnen alle neuen Inhalte zu Ihren Themen.
Mehr erfahren.