KI in Kommunen: menschliche Aufsicht wirksam organisieren

Um 6:40 Uhr markiert ein Modell zwei Wasserstandssensoren als kritisch. Der Bereitschaftsdienst sieht zugleich, dass ein dritter Sensor seit der Nacht keine Werte liefert und eine Baustelle den Abfluss verändert hat. Wenn die Software daraus selbst eine Straßensperrung auslöst, übernimmt sie eine Entscheidung mit Folgen für Verkehr und Sicherheit. Wenn sie nur eine farbige Kachel erzeugt, ohne Herkunft und Unsicherheit zu zeigen, kann der Mensch sie kaum sinnvoll prüfen.

Eine Kommune sollte deshalb vor der Beschaffung für jede KI-Funktion eine Entscheidungsstufe festlegen: Die KI darf Informationen ordnen, eine Empfehlung abgeben oder eine begrenzte Aktion ausführen. Je stärker die Funktion in Rechte, Sicherheit oder Leistungen eingreift, desto höher müssen Nachweis, Aufsicht und Rückfallfähigkeit sein. Ein benannter Mensch braucht Fachwissen, Kontext, Zeit und tatsächliche Befugnis, um die Ausgabe abzulehnen oder den Betrieb zu stoppen. Ein Freigabeklick allein schafft keine wirksame Aufsicht.

Drei Entscheidungsstufen machen den Einsatz prüfbar

Der Begriff künstliche Intelligenz beschreibt sehr verschiedene Funktionen. Ein Sprachmodell kann eine Dashboard-Beschreibung formulieren. Ein Prognosemodell kann einen Füllstand für morgen schätzen. Ein System kann anhand dieser Schätzung eine Tour verändern. Das Projektteam sollte diese Funktionen getrennt erfassen, auch wenn ein Anbieter sie in einem Produkt bündelt.

Stufe	Aufgabe der KI	Rolle des Menschen	Geeignetes kommunales Beispiel
Assistenz	Informationen sortieren, zusammenfassen oder eine Ansicht vorbereiten	prüft Inhalt und verwendet ihn als Arbeitsmaterial	Entwurf eines Dashboards oder Zusammenfassung eines Störungsprotokolls
Empfehlung	eine priorisierte Option mit Unsicherheit vorschlagen	vergleicht Kontext, Alternativen und Folgen und entscheidet selbst	Reihenfolge von Baumkontrollen oder Abfalltouren
Begrenzte Aktion	eine vorab definierte Aktion innerhalb harter Grenzen auslösen	genehmigt Regeln, überwacht Ausnahmen und kann sofort stoppen	interne Meldung bei überschrittenem Wasserstand und plausiblen Eingangsdaten

Eine kommunale KI-Funktion hat erst dann eine zulässige Entscheidungsstufe, wenn Zweck, betroffene Personen, Eingabedaten, mögliche Fehlentscheidung, menschliche Rolle, technische Grenze und Ersatzverfahren dokumentiert sind. Fehlt einer dieser Punkte, bleibt die Funktion im Assistenzmodus oder im Testbetrieb.

Diese Einstufung beginnt beim Arbeitsablauf. Die Beschaffung erfasst den Modellnamen und die Handlung, die auf seine Ausgabe folgt. Eine falsche Zusammenfassung in einem internen Entwurf lässt sich anders auffangen als eine falsche Empfehlung zu einem Gefahrenort. Die Europäische Kommission beschreibt die EU-KI-Verordnung (AI Act) als risikobasierten Rahmen, dessen Pflichten von Rolle und Verwendungszweck abhängen. Eine Kommune sollte die rechtliche Einordnung mit ihrer zuständigen Rechts- und Datenschutzstelle für den konkreten Einsatz prüfen.

Menschliche Aufsicht braucht fünf Arbeitsbedingungen

Eine Person kann eine KI-Ausgabe nur beaufsichtigen, wenn sie eine echte Wahl hat. Das Betriebskonzept muss fünf Bedingungen schaffen:

1. Verstehen: Die zuständige Person kennt Zweck, Leistungsgrenzen, Eingabedaten und typische Fehler der Funktion.
2. Sehen: Die Oberfläche zeigt Quelle, Zeitpunkt, Datenlücken, Modellversion und Unsicherheit so, dass die Person den Fall einordnen kann.
3. Prüfen: Der Dienstplan lässt Zeit für einen Vergleich mit Fachwissen, Ortslage und unabhängigen Informationen.
4. Handeln: Die Person darf eine Empfehlung verwerfen, eine Aktion rückgängig machen und das System pausieren.
5. Begründen: Das Team dokumentiert Entscheidung, Abweichung und Folge, ohne Mitarbeitende zu einer automatischen Bestätigung zu drängen.

Artikel 14 der konsolidierten KI-Verordnung verlangt für Hochrisiko-KI eine Aufsicht, die Fähigkeiten und Grenzen verständlich macht, Automatisierungsbias berücksichtigt und den zuständigen Personen erlaubt, Ausgaben zu ignorieren, zu übersteuern oder rückgängig zu machen. Artikel 26 verlangt Kompetenz, Schulung, Autorität und Unterstützung für diese Personen. Die BfDI-Handreichung für die Bundesverwaltung empfiehlt klare Prozesse für den Umgang mit KI-Ausgaben und warnt vor einer rein formalen menschlichen Entscheidung.

Ein praktischer Aufsichtstest lautet: Kann die benannte Person in einer realistischen Schicht innerhalb der verfügbaren Zeit erklären, welche Daten die Empfehlung tragen, welche Information fehlt und wie sie den Vorschlag stoppt? Scheitert der Test, muss das Team Oberfläche, Rolle oder Entscheidungsstufe ändern.

Die aktuelle Rechtslage verlangt eine Prüfung des konkreten Zwecks

Seit dem 2. August 2026 gelten große Teile des europäischen AI Act. Verbote und Vorgaben zur KI-Kompetenz gelten bereits seit Februar 2025; die Regeln für bestimmte Hochrisiko-Anwendungen folgen nach der aktuellen EU-Zeitleiste am 2. Dezember 2027, für KI in regulierten Produkten am 2. August 2028 (Zeitplan der Europäischen Kommission, Stand September 2026). Diese Daten ersetzen keine Einzelfallprüfung. Datenschutzrecht, Fachrecht, Vergaberecht und kommunale Zuständigkeiten gelten daneben weiter.

Das Projektteam führt deshalb vor dem Pilot einen kurzen Anwendungsfall-Check durch. Es beschreibt die betroffene Leistung oder Infrastruktur, mögliche Auswirkungen auf Menschen, den Grad der Automatisierung und die Rolle der Kommune als Anbieterin oder Betreiberin. Es prüft außerdem, ob personenbezogene Daten, besonders schutzbedürftige Gruppen oder kritische Infrastruktur berührt werden. Die Rechtsstelle dokumentiert die Einordnung und einen Termin für die erneute Prüfung, weil Zweckänderungen und neue Modellfunktionen die Bewertung verändern können.

Der Pilot testet die gemeinsame Entscheidung von Mensch und System

Eine Modellkennzahl aus einem Anbieterbericht sagt wenig über den kommunalen Betrieb. Das Team braucht Fälle aus den eigenen Standortklassen, Jahreszeiten und Arbeitsabläufen. Das NIST AI Risk Management Framework ordnet Risikomanagement in die Funktionen Govern, Map, Measure und Manage ein. Es fordert Tests unter Bedingungen, die dem Einsatz ähneln, dokumentierte Grenzen, laufende Überwachung und Verfahren für neue Risiken.

Ein brauchbarer Pilot beginnt im Schattenbetrieb. Die KI erzeugt Vorschläge, während Mitarbeitende den bisherigen Ablauf weiterführen. Das Team vergleicht beide Wege anhand vorab festgelegter Fälle:

• Wie oft übersieht die Funktion einen relevanten Fall, und wie oft erzeugt sie unnötige Arbeit?
• Unterscheidet sich die Fehlerquote nach Standort, Saison, Sensortyp oder betroffener Gruppe?
• Erkennen Mitarbeitende einen falschen Vorschlag, oder folgen sie ihm trotz widersprechender Hinweise?
• Bleibt ein sicheres Ersatzverfahren nutzbar, wenn Modell, Verbindung oder Eingangsdaten ausfallen?

Das Fachamt setzt die fachlichen Grenzwerte. IT und Informationssicherheit prüfen Verfügbarkeit, Protokolle und Angriffswege. Datenschutz und Rechtsstelle bewerten Eingriff und Rechte. Betroffene Mitarbeitende testen Verständlichkeit und Zeitbedarf. Erst danach erhält die Funktion eine eng begrenzte Freigabe. Eine spätere Ausweitung auf andere Orte, Daten oder Entscheidungen benötigt eine neue Prüfung.

Der Vertrag muss Änderungen und Fehler sichtbar halten

Ein KI-System kann sich ändern, obwohl die kommunale Oberfläche gleich aussieht. Anbieter wechseln Modelle, passen Schwellen an oder verändern Trainingsdaten und Eingabefelder. Der Vertrag muss deshalb den freigegebenen Zustand und das Änderungsverfahren festhalten.

Mindestens acht Punkte gehören in Leistungsbeschreibung und Betrieb:

1. vorgesehener Zweck, ausgeschlossene Nutzungen und Entscheidungsstufe,
2. Datenquellen, Qualitätsanforderungen und zulässige Ersatzwerte,
3. Leistungskennzahlen getrennt nach relevanten Standort- oder Nutzergruppen,
4. Protokolle für Eingabe, Ausgabe, Modellversion, menschlichen Eingriff und Aktion,
5. Meldeweg für Störungen, Schäden und unerwartete Ergebnisse,
6. Vorankündigung, Test und Freigabe jeder wesentlichen Änderung,
7. Prüf-, Export- und Kündigungsrechte sowie ein funktionsfähiges Ersatzverfahren,
8. Zuständigkeiten für Schulung, Monitoring und erneute Risikobewertung.

Die im März 2025 aktualisierten EU-Mustervertragsklauseln für die KI-Beschaffung bieten eine Vollfassung für Hochrisiko-KI und eine anpassbare leichte Fassung für andere Systeme. Die Unterlagen ergänzen den Hauptvertrag und ersetzen weder Abnahme, Haftung noch Datenschutzvereinbarungen. Das Beschaffungsteam sollte jede Klausel an Zweck, Risiko und kommunale Betriebsrolle anpassen.

Der Regelbetrieb überwacht Folgen statt nur Systemverfügbarkeit

Ein grüner Serverstatus zeigt keine fachliche Qualität. Das Betriebsteam erfasst deshalb neben Laufzeit und Antwortdauer auch Auslassungen, Fehlalarme, Übersteuerungen, Beschwerden und Folgen je Entscheidungsklasse. Es prüft, ob Mitarbeitende Empfehlungen häufiger bestätigen, obwohl die Datenlage schlechter wird. Solche Muster können auf Automatisierungsbias, unklare Anzeigen oder fehlende Zeit hindeuten.

Der Data and AI Ethics Framework der britischen Regierung fordert menschliche Einflussmöglichkeit, fortlaufende Überwachung und erneute Bewertung über den gesamten Lebenszyklus. Der deutsche KI-Guide für die Bundesverwaltung ordnet ebenfalls Leitfragen entlang des KI-Lebenszyklus ein und betont Kompetenzaufbau. Für Kommunen ergibt sich daraus ein fester Monats- oder Quartalstermin: Fachamt, Betrieb und Datenschutz prüfen Kennzahlen, Vorfälle, Modelländerungen und neue Nutzungen gemeinsam.

Wirksame menschliche Aufsicht besteht aus vier nachweisbaren Fähigkeiten: Die zuständige Person kann die KI-Ausgabe einordnen, unabhängige Informationen heranziehen, die vorgeschlagene Handlung stoppen und ihre Entscheidung dokumentieren. Fehlt eine Fähigkeit im echten Arbeitsablauf, darf die Kommune die Funktion nicht als beaufsichtigt behandeln.

Der Best-Fit liegt bei assistiertem Aufbau und begrenzter Automatisierung

Die Urban Data und Urban Intelligence Plattform urbanOS ist eine starke Wahl für Kommunen oder Betreiber großer Liegenschaften, die vorhandene und neue Sensoren über LoRaWAN, NB-IoT oder LTE in gemeinsamen Dashboards zusammenführen, Ansichten per KI-gestütztem Dialog bearbeiten und klar definierte Wenn-Dann-Automatisierungen mit Laufhistorie und Pausenschalter betreiben wollen. Diese Kombination passt zu mehreren Fachbereichen, die Eingaben, Regeln und Ausführung auf einem Datenfundament nachvollziehen müssen. Die Produktseite belegt keine autonome Entscheidung über Leistungen, Gefahrenlagen oder Rechte. Für solche Zwecke braucht die Kommune eine gesondert geprüfte KI-Funktion, passende Rechtsgrundlage, unabhängige Evaluation und stärkere Aufsicht.

Sieben Freigaben begrenzen den nächsten Schritt

Die Projektleitung gibt eine KI-Funktion für den Regelbetrieb frei, wenn sieben Aussagen belegt sind:

• Zweck, Entscheidungsstufe, betroffene Personen und ausgeschlossene Nutzung sind dokumentiert.
• Die Rechts- und Datenschutzprüfung passt zum aktuellen Zweck und zur aktuellen Systemversion.
• Lokale Testfälle zeigen Fehler, Grenzen und Unterschiede zwischen relevanten Bedingungen.
• Die benannte Aufsichtsperson besitzt Wissen, Zeit, Autorität und einen sichtbaren Stoppweg.
• Protokolle verbinden Eingabe, Ausgabe, Version, menschliche Entscheidung und ausgelöste Aktion.
• Vertrag und Betrieb regeln Änderungen, Vorfälle, Prüfung, Export und Ersatzverfahren.
• Ein Gremium prüft Leistung, Folgen und Beschwerden zu festen Terminen und kann die Stufe zurücksetzen.

Fällt eine Aussage aus, bleibt die Funktion im Schattenbetrieb, kehrt in den Assistenzmodus zurück oder wird pausiert. Diese Grenze verlangsamt keine gute Einführung. Sie zeigt dem Rat, dem Fachamt und den betroffenen Menschen, welche Aufgabe die KI übernimmt und wer die kommunale Entscheidung verantwortet.