Bedeutung der EU KI-Verordnung für die Universität Regensburg

Erste Hilfestellungen können für verschiedene Anliegen in den folgenden Dokumenten gefunden werden:

• Prüfungsregeln im Hinblick auf den Einsatz von KI an der Fakultät für Physik
• Richtlinien zum Einsatz von Künstlicher Intelligenz bei der Anfertigung von schriftlichen Prüfungsleistungen an der Fakultät für Rechtswissenschaften
• Richtlinien zum Umfang mit Künstlicher Intelligent an der Fakultät für Katholische Theologie
• Datenschutzregelungen des Datenschutzbüros der UR
• Hilfestellungen des ZHW
• GRIPS-Kurs „Toolbox für digitale Lehre“
• Leitfaden zu Generativer Künstlicher Intelligenz an Universitäten und Hochschulen

Praxisorientierte, nützliche KI-Werkzeuge für verschiedene Anwendungsszenarien.

Bitte beachten Sie, dass Sie weitere hilfreiche Tipps und Anwendungsszenarien zum Einsatz von KI-Werkzeugen im aufgeführten Schulungsangebot auf unserer Digitalisierungsseite finden.

Die KI-VO hat eine hohe Relevanz für die UR:

• Einerseits stellt die UR ihren Mitgliedern, z. B. mit dem Microsoft Copilot als Tool, das ChatGPT nutzt und damit zur Formulierung von Texten oder zum Zusammenfassen von Texten verwendet werden kann, oder DeepL als Übersetzungshilfe im Rahmen des TYPO3-Systems, KI-Systeme zur Anwendung bereit und ist im Sinne der Verordnung Betreiber von KI-Systemen (Art. 3 KI-VO).
• Andererseits entwickeln Mitglieder der UR im Rahmen von Forschungsarbeiten oder der Lehre möglicherweise eigenständig KI-Systeme, die mitunter auch bestehende KI-Systeme (wie z. B. ChatGPT) nutzen. Wenn diese Eigenentwicklungen produktiv genutzt werden bspw., um im Rahmen einer wirtschaftlichen Kooperation einen KI-basierten Chatbot zu implementieren oder Studierende in Lerngruppen einzuteilen, dann tritt die UR als Anbieter von KI-Systemen im Sinne der Verordnung (Art. 3 KI-VO) auf.

Die europäische KI-Verordnung (KI-VO) ist am 1. August 2024 in Kraft getreten. Ihre Bestimmungen werden seitdem schrittweise anwendbar. Seit dem 2. Februar 2025 gelten insbesondere die Regelungen zur Förderung von KI-Kompetenz (Art. 4) sowie die Verbote bestimmter KI-Praktiken (Art. 5). Seit dem 2. August 2026 gelten darüber hinaus weitere Bestimmungen, insbesondere die Transparenzpflichten gemäß Art. 50 KI-VO.

Zum gegenwärtigen Zeitpunkt sind an der Universität Regensburg insbesondere folgende Anforderungen zu beachten:

• KI-Kompetenz: Die Mitglieder der UR müssen sich Kompetenzen in der Anwendung und im Umgang mit KI-Systemen aneignen, wenn sie KI-Systeme (potenziell) nutzen. Entsprechende Schulungen speziell zum Thema KI finden Sie auf dieser Seite.
• Verbotene Praktiken: Es ist sicherzustellen, dass keine KI-Systeme zum produktiven Einsatz kommen, welche verbotene Praktiken beinhalten. Dabei ist es unerheblich, ob es sich um ein nur innerhalb der Universität betriebenes KI-System (siehe erstes Beispiel der verbotenen Praktiken) handelt oder ob es ein KI-System ist, welches öffentlich verfügbar und nutzbar ist.
• Transparenzpflichten: Beim Einsatz bestimmter KI-Systeme sind die Transparenzpflichten nach Art. 50 KI-VO zu beachten.

Mit der phasenweisen Inkraftsetzung der KI-VO kommen künftig weitere Pflichten auf die Mitglieder der UR zu. Informationen dazu werden auf dieser Seite veröffentlicht. Ebenso wird demnächst auch ein Regelkatalog für die Einführung neuer KI-Systeme zur Verfügung gestellt.

Konsequenzen ergeben sich bei Missachtung der Regelungen. Konkret,

• wenn der Schulungspflicht nicht nachgekommen wird und durch den Einsatz eines KI-Systems durch eine nicht-kompetente Person der UR ein Schaden entsteht,
• wenn Systeme mit verbotenen KI-Praktiken im produktiven Betrieb verwendet werden und mit Realweltdaten arbeiten.

Die Missachtung der Anforderung der Schulungspflicht oder der Verbote ist insbesondere im Schadensfall problematisch, da dieser in der Praxis auch häufig Auslöser für Bußgelder ist. Jedoch ist ein Schaden nicht zwingende Voraussetzung. Auch Verstöße gegen die Verhaltenspflichten können eine Sanktion nach der KI-VO auslösen.

Abschließend ist darauf hinzuweisen, dass die KI-VO in Ergänzung zu bereits bestehenden Regelungen wie insbesondere der DSGVO zum Schutz der personenbezogenen Daten tritt. Verletzungen dieser Regelungen beim Einsatz eines KI-Systems können ebenfalls zu Sanktionen führen.

Der Einsatz von KI-Systemen birgt auch Risiken, da ihre Entscheidungen auf teils undurchsichtigen Algorithmen, eventuell fehlerhaften oder voreingenommenen Trai-ningsdaten und nicht-überprüfbaren Entscheidungsstrukturen beruhen können und somit ggf. nicht nachvollziehbar oder inkorrekt sind. Dies kann zu Ungerechtigkeiten, Diskriminierung und Manipulation führen, insbesondere in sensiblen Bereichen wie Justiz, Arbeitsplatz oder öffentlichem Raum. Da fehlerhafte oder voreingenommene Entscheidungen durch die KI häufig nicht nachvollzogen oder korrigiert werden können, besteht die Gefahr, dass Personen ungleich oder ungerecht behandelt werden, ohne dass ein fairer und transparenter Bewertungsprozess gewährleistet ist. Um diese Gefahren zu vermeiden, verbietet die EU mit der KI-VO gezielt bestimmte KI-Praktiken, die grundlegende Rechte und Freiheiten bedrohen.

Deshalb beziehen sich verbotene KI-Praktiken auch nur auf Anwendungen der KI im produktiven Betrieb, d.h. dort wo ein Schaden für Personen entstehen kann.

• Davon explizit in der KI-VO ausgenommen sind KI-Systeme, die nur für den Zweck der wissenschaftlichen Forschung und Demonstration entwickelt und genutzt werden.
• KI-Systeme in der Lehre, die ausdrücklich nur für den Zweck der Veranschaulichung der Funktionalität der KI (ggf. auch verbotener Praktiken) eingesetzt werden, sind nicht explizit aus dem Anwendungsbereich der KI-VO ausgeschlossen. Ihre Verwendung ist nicht pauschal verboten. Für sie gelten Verhaltenspflichten u.a. ggf. oben erwähnte Transparenzpflichten.

Unberührt davon bleibt die ethische Verantwortung der Forschenden und Lehrenden bestehen.

Nach der KI-VO grundsätzlich verboten sind folgende KI-Praktiken bzw. -Systeme in den aufgeführten Einsatzgebieten (siehe Kapitel II, Artikel 5, KI-VO). Die Beispiele dienen zur Veranschaulichung und sind nicht vollständig.

Unterschwellige Beeinflussung, absichtlich manipulative Techniken

Beispiel: Es werden durch eine KI personalisierte Empfehlungen für Lernmaterialien oder Kurse gegeben. Die KI schlägt bestimmte Kurse oder Inhalte basierend auf wirtschaftlichen oder institutionellen Interessen anstatt auf den tatsächlichen Bedürfnissen der Studierenden vor.

Ausnutzung der Schutzbedürftigkeit einer Person

Beispiel: Eine Hochschule setzt eine KI-gestützte Prüfungssoftware ein, die durch Gesichtserkennung und Eye-Tracking prüft, ob Studierende während Online-Klausuren mogeln. Studierende mit bestimmten Behinderungen (z. B. Sehbehinderungen oder motorischen Einschränkungen) haben dabei eine höhere Fehlerquote, weil sie sich anders verhalten und damit ggf. Muster erfüllen, aufgrund derer die KI-gestützte Software Mogeln unterstellt. Der Einsatz der KI in der Prüfungssoftware führt auf diese Weise zu einer erheblichen Benachteiligung dieser Studierendengruppe und nutzt ihre Schutzbedürftigkeit aus.

Schlechterstellende Einstufung auf der Grundlage sozialen Verhaltens, persönlicher Eigenschaften oder Persönlichkeitsmerkmalen

Beispiel: Es wird ein KI-System eingesetzt, um Bewerbungen für ein Förderprogramm oder einen bestimmten Studiengang zu bewerten. Die KI bezieht neben fachlichen Qualifikationen auch Persönlichkeitsmerkmale in die Bewertung der Bewerbungen ein, um die Zuteilung der Studierenden zu dem Förderprogramm bzw. Studiengang vorzunehmen. Aufgrund des Blackbox-Charakters der KI bleibt jedoch undurchsichtig, wie genau diese Einstufungen zustande kommen. Zudem könnte ein Bias innerhalb der Trainingsdaten dazu führen, dass bestimmte Persönlichkeitsmerkmale systematisch schlechter bewertet werden. So könnten beispielsweise weniger extrovertierte Personen vom Algorithmus der KI benachteiligt werden, obwohl dieses Persönlichkeitsmerkmal keinen negativen Einfluss auf die auszuführende Tätigkeit hat.

Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen

Beispiel: Es wird ein KI-System eingesetzt, um die Leistung in einer Präsentation zu bewerten. Die KI misst Stimmhöhe, Tonfall und Sprechtempo, um Nervosität oder Selbstbewusstsein zu erkennen und um darauf basierend zu bewerten, ob jemand überzeugend, unsicher oder ängstlich gewirkt hat. Auf diese Weise entsteht ein Überwachungsdruck für die Person, denn auch Fehlinterpretationen der KI können zu falschen Bewertungen der Person führen.

Datenbank zur automatisierten Gesichtserkennung

Beispiel: Es wird ein KI-gestütztes Gesichtserkennungssystem eingesetzt, das Kameras auf dem gesamten Campus nutzt und auf eine Datenbank mit Gesichtsmerkmalen aller eingeschriebenen Studierenden zugreift. Jede Bewegung der Studierenden wird erfasst und auffälliges Verhalten analysiert.

Biometrische Kategorisierung von Personen in sensiblen Bereichen

Beispiel: Es wird ein KI-System eingesetzt, dass das Tippverhalten oder die Mimik und Gestik (Visual Analytics) der Mitarbeitenden analysiert, um Rückschlüsse auf deren psychische Gesundheit oder mögliche Behinderungen zu ziehen. Solche Informationen könnten für Personalentscheidungen missbraucht werden.

Predictive Policing

Beispiel: Es werden Videos von Überwachungskameras mittels KI analysiert, um potenzielle Sicherheitsrisiken vorherzusagen. Die KI erkennt „möglicherweise verdächtige“ Bewegungsmuster oder Gruppierungen auf dem Campus und nutzt Vergleichsdaten aus früheren Vorfällen, um vorherzusagen, wer potenziell Regelverstöße wie z. B. Vandalismus oder Diebstahl begehen könnte. Einzelnen Personen könnten auf diese Weise falsche Absichten unterstellt werden.