Der Mensch im Entscheidungskreis ist keine Schwaeche. Er ist die Antwort auf "Ich vertraue KI nicht."

Die EU-KI-Verordnung wird am 2. August 2026 vollstaendig anwendbar, und Artikel 14 verlangt, dass jedes KI-System mit hohem Risiko so gestaltet wird, dass eine qualifizierte Person es beaufsichtigen, seine Ausgabe interpretieren und es uebersteuern kann. Das KI-Risikomanagement-Rahmenwerk des US-amerikanischen NIST verlangt dasselbe. Der OECD-Bericht Governing with Artificial Intelligence aus dem Jahr 2025 empfiehlt dies konkret fuer die oeffentliche Vergabe. Menschliche Aufsicht ist keine Option unter mehreren. Sie ist die architektonische Entscheidung, auf die Regulierer, Gerichte und jede Branche, die KI im grossen Massstab eingefuehrt hat, konvergiert sind.

Das ist wichtig fuer Vergabeteams, die sagen, sie vertrauen der KI nicht. Der Einwand ist berechtigt. Er ist auch bereits beantwortet worden.

Der Einwand, den niemand laut aussprechen wird

Fragen Sie einen Vergabefachmann, ob er der KI die Bewertung eines Angebots anvertraut, und die Antwort haengt davon ab, wie sicher sich das Gespraech anfuehlt. Unter vier Augen lautet die Antwort meist in einer Variante: "Ich kann keine Entscheidung delegieren, die meine Unterschrift, meine Karriere und ein potenzielles Audit traegt. Wenn die KI sich irrt, kann ich mich nicht damit verteidigen, dass die Maschine es mir gesagt hat."

Das ist kein Technologieeinwand. Es ist ein Verantwortlichkeitseinwand. Und er gilt mit gleicher Kraft fuer jedes Werkzeug, das der Fachmann bereits nutzt, einschliesslich des Memos eines Junior-Analysten, des Berichts eines Beraters oder eines externen Rechtsgutachtens.

Die Antwort ist, wie sich herausstellt, in all diesen Faellen dieselbe. Sie pruefen die Arbeit. Sie behalten die Entscheidung. Sie unterzeichnen die Empfehlung.

Was die EU-KI-Verordnung tatsaechlich verlangt

Artikel 14 der EU-KI-Verordnung legt vier konkrete Konstruktionsanforderungen fuer KI-Systeme mit hohem Risiko fest. Die aufsichtsfuehrende Person muss in der Lage sein, die Faehigkeiten und Grenzen des Systems zu verstehen. Sie muss Probleme erkennen und beheben koennen, bevor sie Schaden anrichten. Sie muss die Ausgabe interpretieren koennen. Sie muss entscheiden koennen, das System nicht einzusetzen oder seinen Betrieb zu stoppen.

Das ist kein Haftungsausschluss. Es ist eine Konstruktionsspezifikation. Die vollstaendige KI-Verordnung gilt ab dem 2. August 2026, mit einer verlaengerten Uebergangsfrist bis zum 2. August 2027 fuer KI-Systeme mit hohem Risiko, so der AI Act Service Desk der Europaeischen Kommission. Strafen bei Nichteinhaltung belaufen sich auf bis zu 7% des weltweiten Umsatzes.

Vergabewesen wird als hochriskant eingestuft, wenn es den Zugang zu wesentlichen oeffentlichen Dienstleistungen beeinflusst. Selbst wenn Vergabe-KI rechtlich nicht als hochriskant eingestuft ist, konvergiert die Audit-Praxis in der oeffentlichen Vergabe der EU bereits auf denselben Standard: Wenn KI eine Entscheidung beeinflusst hat, muss ein Mensch in der Lage sein, diese Entscheidung eigenstaendig zu erklaeren.

Wie die anderen Branchen es operationalisiert haben

Bankwesen. JPMorgan Chase betreibt eine KI-Betrugserkennung, die jede Transaktion prueft. Laut den Offenlegungen der Bank, zusammengefasst in der AIX-Fallstudie von 2026, blockiert die KI hochpreisige oder grenzwertige Transaktionen nicht eigenstaendig. Sie markiert sie fuer einen menschlichen Pruefer. Die 50%-Verbesserung bei den Betrugserkennungskennzahlen kam durch bessere Markierung zustande, nicht durch autonomes Handeln. COiN, die Vertragspruefungs-KI der Bank, uebernimmt das Lesen. Ein Anwalt gibt komplexe Klauseln frei.

Medizin. Eine von der FDA zugelassene Radiologie-KI kann einen Tumor vermessen, eine verdaechtige Region hervorheben und einen Risikowert berechnen. Sie kann keinen Diagnosebericht schreiben. Der Bericht wird von einem Radiologen verfasst. Das ist keine regulatorische Eigenheit. Es ist das, was der 510(k)-Zulassungsweg ausdruecklich bewahrt, so die systematische Uebersichtsarbeit von 2025 in JAMA Network Open zu FDA-Zulassungen von KI-Geraeten.

Recht. Westlaw AI-Assisted Research und Lexis+ AI entwerfen Schriftsaetze, fassen Vernehmungen zusammen und generieren Rechtsprechung. Eine Stanford-Studie von 2024 stellte fest, dass sie in 17% beziehungsweise 34% der Faelle halluzinieren. Und doch hat sich die Nutzung laut dem Legal Industry Report 2026 innerhalb eines Jahres verdoppelt, weil Anwaelte Zitate vor der Einreichung pruefen. Das Halluzinationsrisiko hat die Werkzeuge nicht getoetet. Es hat die Praxis getoetet, nicht zu pruefen.

Jede dieser Branchen hat dasselbe entschieden.

Warum das eine Staerke ist, keine Einschraenkung

Es gibt einen kulturellen Ueberhang aus der fruehen Ara der generativen KI, der den Menschen im Entscheidungskreis als Kompromiss rahmt, als offenbare dies eine Schwaeche der KI. Das Gegenteil ist der Fall.

Der OECD-Bericht Governing with Artificial Intelligence von 2025 zur oeffentlichen Vergabe ist eindeutig: Die menschliche Validierung von KI-Ergebnissen ist ein Konstruktionsmerkmal — sie macht das Werkzeug auditierbar, erklaerbar und innerhalb eines regelbasierten Systems nutzbar. Die IAPP-Analyse von 2026 zum Menschen im Entscheidungskreis im KI-Risikomanagement hat die schaerfere Fassung dieses Punktes formuliert. Blindes Vertrauen in die menschliche Pruefung ist selbst ein Risiko, weil Menschen ohne Lesen abstempeln. Echte Aufsicht erfordert ein Werkzeug, das zeigt, was es gefunden hat, wo es es gefunden hat und warum es wichtig ist. Ohne das ist der Mensch im Entscheidungskreis Dekoration, kein Schutzmechanismus.

Deshalb zaehlen Belege in der Vergabe-KI mehr als jede andere Konstruktionsentscheidung. Ein Ergebnis, das lautet "dem Angebot fehlt der Nachweis zur technischen Personalausstattung", ist nutzlos, wenn der Fachmann nicht sofort sehen kann, welche Seite welches Dokuments gelesen wurde, was die KI erwartet hat und warum sie zu ihrem Schluss kam. Ein Ergebnis mit direktem Zitat und Seitenzahl ist in dreissig Sekunden pruefbar. Der Fachmann stimmt der Begruendung entweder zu oder uebersteuert sie, und seine Unterschrift gilt in jedem Fall.

Wie ein gutes Vergabe-KI-System aussieht

Ein KI-Vergabesystem, das fuer die Welt von Artikel 14, NIST RMF, OECD-Leitlinien und gaengiger Audit-Praxis entworfen ist, hat eine kurze Liste nicht verhandelbarer Merkmale.

Jedes Ergebnis laesst sich auf ein Zitat aus einem konkreten Dokument zurueckfuehren, mit Seitenangabe. Keine KI-Behauptung besteht ohne Quelle.

Kritische Ergebnisse werden durch ein separates Modell doppelt geprueft, bevor sie angezeigt werden. Der Fachmann sieht die verifizierte Ausgabe, nicht den ersten Durchlauf.

Die KI kann die Analyse mittendrin anhalten und um Klaerung bitten. Sie raet nicht, wenn sie unsicher ist.

Der Fachmann kann jedes Ergebnis jederzeit uebersteuern. Die Uebersteuerung wird protokolliert.

Die vollstaendige Argumentationsspur ist exportierbar, als Excel-Arbeitsmappe oder als Markdown-Protokoll, sodass ein Auditor oder ein Pruefer auf Vorstandsebene genau sehen kann, was die KI gelesen hat, was sie gefunden hat und wie der Fachmann darauf reagiert hat.

Nichts davon ist exotisch. Es ist dasselbe Muster, auf das sich Bankwesen, Recht und Medizin zwischen 2020 und 2026 geeinigt haben.

Die echte Antwort auf "Ich vertraue der KI nicht"

Die ehrliche Antwort lautet: gut. Sie sollten keinem Werkzeug bedingungslos vertrauen, und die ernsthaften KI-Werkzeuge sind auf dieser Annahme aufgebaut. Worauf die EU-KI-Verordnung, NIST und OECD alle konvergieren, ist kein blindes Vertrauen in die Maschine. Es ist bedingtes Vertrauen, gestuetzt durch sichtbare Belege und erhaltene Autoritaet.

Ein Vergabefachmann, der KI-Ergebnisse mit derselben Sorgfalt prueft, die er bei einem Memo eines Junior-Analysten anwenden wuerde, hat denselben verteidigungsfaehigen Prozess, den er immer hatte. Der Unterschied ist, dass der Junior-Analyst in diesem Fall jede Seite jedes Dokuments gelesen hat und auf Seite 200 nie muede wird.