Wie IBM mit Smarter Balanced die KI-Governance im Bildungswesen gestaltet

Das Smarter Balanced Assessment Consortium mit Sitz in Kalifornien ist eine von Mitgliedern geführte öffentliche Organisation, die Bewertungssysteme für Pädagogen im Schul- und Hochschulbereich anbietet. Die 2010 gegründete Organisation arbeitet mit staatlichen Bildungsbehörden zusammen, um innovative, standardorientierte Testbewertungssysteme zu entwickeln. Smarter Balanced unterstützt Pädagogen mit Werkzeugen, Unterrichtsmaterialien und Ressourcen, darunter formative, Zwischen- und summative Bewertungen, die Pädagogen dabei helfen, Lernmöglichkeiten zu erkennen und das Lernen der Schüler zu unterstützen.

Smarter Balanced setzt auf Weiterentwicklung und Innovation in einer sich ständig verändernden Bildungslandschaft. Im Rahmen einer Zusammenarbeit mit IBM Consulting soll ein prinzipiengeleiteter Ansatz für den Einsatz künstlicher Intelligenz (KI) bei Bewertungen im Bildungswesen erkundet werden. Die Zusammenarbeit wurde Anfang 2024 angekündigt und läuft weiterhin.

Traditionelle Kompetenzbewertungen für Schüler der Klassenstufen bis zum Abitur, einschließlich standardisierter Tests und strukturierter Quizze, werden aus verschiedenen Gründen im Zusammenhang mit Chancengleichheit kritisiert. Wird die KI verantwortungsvoll eingesetzt, hat sie das transformative Potenzial, personalisierte Lern- und Bewertungserfahrungen zu bieten und so die Fairness bei den Bewertungen aller Schülergruppen, einschließlich marginalisierter Gruppen, zu verbessern. Die zentrale Herausforderung besteht also darin, zu definieren, wie eine verantwortungsvolle Implementierung und Steuerung von KI in einem schulischen Umfeld aussieht.

Als ersten Schritt haben Smarter Balanced und IBM Consulting ein multidisziplinäres Beratungsgremium geschaffen, das Experten für Bildungsmessung, künstliche Intelligenz, KI-Ethik und -Politik sowie Lehrkräfte umfasst. Ziel des Gremiums ist die Entwicklung von Leitprinzipien für das Einbetten von Genauigkeit und Fairness in den Einsatz von KI für die Bildungsforschung und Lernressourcen. Einige der Überlegungen des Beratungsgremiums werden im Folgenden aufgeführt.

Die Nutzung von Design Thinking-Frameworks hilft Unternehmen, einen menschenzentrierten Ansatz zur Technologie-Implementierung zu entwickeln. Drei menschenzentrierte Prinzipien leiten das Design Thinking: ein Fokus auf Benutzerergebnisse, eine ständige Neuerfindung und die Stärkung vielfältiger Teams. Dieses Framework hilft sicherzustellen, dass die Stakeholder strategisch aufeinander abgestimmt sind und auf funktionale und nicht-funktionale Anforderungen der Unternehmensführung reagieren können. Design Thinking ermöglicht es Entwicklern und Stakeholdern, die Bedürfnisse der Benutzer genau zu verstehen, innovative Lösungen zu entwickeln und iterativ Prototypen zu erstellen.

Diese Methodik ist von unschätzbarem Wert, um Risiken im Entwicklungsprozess frühzeitig zu erkennen und zu bewerten und die Erstellung vertrauenswürdiger und effektiver KI-Modelle zu erleichtern. Durch den kontinuierlichen Austausch mit vielfältigen Gemeinschaften von Experten und anderen Stakeholdern und die Einbeziehung ihres Feedbacks hilft Design Thinking bei der Entwicklung von KI-Lösungen, die technologisch fundiert, sozial verantwortlich und menschenzentriert sind.

Für das Projekt „Smarter Balanced“ richteten die zusammengeführten Teams einen Think Tank ein, der eine vielfältige Gruppe von Fachexperten und Vordenkern umfasste. Diese Gruppe bestand aus Experten aus den Bereichen Bildungsbewertung und Recht, neurodivergenten Menschen, Schülern, Menschen mit Behinderungen und anderen.

„Im Think Tank Smarter Balanced KI geht es darum, sicherzustellen, dass KI vertrauenswürdig und verantwortungsbewusst ist und dass unsere KI die Erfahrungen von Schülern verbessert“, sagte Charlotte Dungan, Mitglied des Think Tanks, Program Architect der AI Bootcamps der Mark Kuban Foundation.

Das Ziel des Think Tanks ist es nicht, die Expertise, Standpunkte und gelebten Erfahrungen seiner Mitglieder einfach einmalig in das Governance-Framework zu integrieren, sondern iterativ. Der Ansatz spiegelt ein zentrales Prinzip der KI-Ethik bei IBM wider: Der Zweck von KI besteht darin, die menschliche Intelligenz zu erweitern, nicht sie zu ersetzen. Systeme, die fortlaufende Beiträge, Bewertung und Überprüfung durch vielfältige Stakeholder integrieren, können Vertrauen besser fördern und gerechte Ergebnisse fördern, was letztlich ein inklusiveres und effektiveres Bildungsumfeld schafft.

Diese Systeme sind unerlässlich für die Erstellung fairer und effektiver Bewertungen im Grundschulbereich. Vielfältige Teams bringen ein breites Spektrum an Perspektiven, Erfahrungen und kulturellen Einblicken mit, die für die Entwicklung von KI-Modellen, die für alle Schüler repräsentativ sind, unerlässlich sind. Diese Inklusivität hilft, Verzerrung zu minimieren und KI-Systeme aufzubauen, die nicht versehentlich Ungleichheiten aufrechterhalten oder die einzigartigen Bedürfnisse verschiedener demografischer Gruppen übersehen. Dies spiegelt ein weiteres Schlüsselprinzip der KI-Ethik bei IBM wider: Die Bedeutung von Vielfalt in der KI ist keine Meinung, sondern Mathematik.

Eine der ersten Bemühungen, die Smarter Balanced und IBM Consulting als Gruppe unternommen haben, war es, die menschlichen Werte zu ermitteln, die wir in KI-Modellen widerspiegeln möchten. Das ist keine neue ethische Frage, und so sind wir auf eine Reihe von Werten und Definitionen gestoßen, die den KI-Säulen von IBM entsprechen, oder grundlegenden Eigenschaften vertrauenswürdiger KI:

• Erklärbarkeit: Funktionen und Ergebnisse, die nicht-technisch erklärt werden können
• Fairness: Menschen gerecht behandeln
• Robustheit: Sicherheit und Zuverlässigkeit, Widerstand gegen Angriffe
• Transparenz: Offenlegung von KI-Nutzung, Funktionalität und Datennutzung
• Datenschutz: Offenlegung und Wahrung der Privatsphäre und der Datenrechte der Nutzer

Die Operationalisierung dieser Werte ist in jedem Unternehmen eine Herausforderung. Bei einer Organisation, die die Fähigkeiten der Schüler bewertet, liegt die Messlatte noch höher. Doch die potenziellen Vorteile der KI machen diese Arbeit lohnenswert: „Mit generativer KI haben wir die Möglichkeit, Schüler besser einzubinden, sie präzise zu beurteilen und ihnen zeitnahes und umsetzbares Feedback zu geben. Außerdem können wir Kompetenzen des 21. Jahrhunderts vermitteln, die durch KI-Tools aktiv gefördert werden, darunter Kreativität, kritisches Denken, Kommunikationsstrategien, sozial-emotionales Lernen und eine Wachstumsmentalität“, sagte Dungan. Der nächste Schritt, der bereits im Gange ist, besteht darin, die Werte zu erkunden und zu definieren, die den Einsatz von KI bei der Beurteilung von Kindern und jungen Lernenden leiten werden.

Zu den Fragen, mit denen sich die Teams auseinandersetzen, gehören:

• Welche werteorientierten Leitplanken sind notwendig, um diese Fähigkeiten verantwortungsvoll zu fördern?
• Wie werden sie operationalisiert und verwaltet und wer sollte dafür verantwortlich sein?
• Welche Anweisungen geben wir den Anwendern, die diese Modelle erstellen?
• Welche funktionalen und nicht-funktionalen Anforderungen sind notwendig, und in welcher Stärke?

Für diese Übung haben wir ein Design Thinking-Framework namens Layers of Effect verwendet, eines von mehreren Frameworks, die IBM Design for AI der Open-Source-Community Design Ethically zur Verfügung stellt. Das Layers of Effect-Framework fordert die Stakeholder auf, die primären, sekundären und tertiären Auswirkungen ihrer Produkte oder Erfahrungen zu berücksichtigen.

• Primäre Effekte beschreiben die beabsichtigten, bekannten Wirkungen des Produkts, in diesem Fall eines KI-Modells. Der Haupteffekt einer Social-Media-Plattform könnte zum Beispiel darin bestehen, Nutzer mit ähnlichen Interessen zu verbinden.
• Sekundäre Effekte sind weniger beabsichtigt, können aber schnell für die Stakeholder relevant werden. Um beim Beispiel Social Media zu bleiben: Ein sekundärer Effekt könnte der Wert der Plattform für die Werbetreibenden sein.
• Tertiäre Effekte sind unbeabsichtigte oder unvorhergesehene Effekte, die im Laufe der Zeit sichtbar werden, wie etwa die Tendenz einer Social-Media-Plattform, wütende Beiträge oder Unwahrheiten mit höheren Aufrufen zu belohnen.

Für diesen Anwendungsfall ist der primäre (gewünschte) Effekt des KI-gestützten Testbewertungssystems ein gerechteres, repräsentatives und effektiveres Instrument, das die Lernergebnisse im gesamten Bildungssystem verbessert.

Zu den sekundären Effekten könnten eine Steigerung der Effizienz und die Erhebung relevanter Daten gehören, um eine bessere Ressourcenverteilung dort zu ermöglichen, wo sie am dringendsten benötigt wird.

Tertiäre Effekte sind möglicherweise bekannt und unbeabsichtigt. Hier müssen die Stakeholder erkunden, wie potenzieller unbeabsichtigter Schaden aussehen könnte.

Die Teams identifizierten fünf Kategorien potenzieller hochrangiger Schäden:

• Schädliche Verzerrungen, die Schüler aus benachteiligten Bevölkerungsgruppen, die möglicherweise zusätzliche Ressourcen und Perspektiven benötigen, um ihren vielfältigen Bedürfnissen gerecht zu werden, nicht berücksichtigen oder unterstützen.
• Probleme im Zusammenhang mit Cybersicherheit und personenbezogenen Daten (PII) in Schulsystemen, die nicht über angemessene Verfahren für ihre Geräte und Netzwerke verfügen.
• Fehlende Steuerungsmechanismen und Kontrollmechanismen, die sicherstellen, dass sich KI-Modelle weiterhin wie beabsichtigt verhalten.
• Mangelnde angemessene Kommunikation mit Eltern, Schülern, Lehrern und Verwaltungspersonal bezüglich der beabsichtigten Nutzung von KI-Systemen in Schulen. Diese Kommunikation sollte Schutzmaßnahmen gegen unangemessene Nutzung und Handlungsmöglichkeiten beschreiben, beispielsweise wie man sich abmelden kann.
• Eingeschränkte Konnektivität außerhalb des Campus, die den Zugang zu Technologie und den späteren Einsatz von KI einschränken könnte, insbesondere in ländlichen Gebieten.

Ursprünglich in Rechtsfällen angewendet, helfen Bewertungen unterschiedlicher Auswirkungen Unternehmen dabei, potenzielle Verzerrungen zu erkennen. Diese Bewertungen erkunden, wie scheinbar neutrale Politiken und Praktiken Menschen aus geschützten Gruppen überproportional betreffen können, etwa solche, die aufgrund von ethnischer Herkunft, Religion, Geschlecht und anderen Merkmalen diskriminiert werden. Solche Bewertungen haben sich bei der Entwicklung von Richtlinien in den Bereichen Einstellung, Kreditvergabe und Gesundheitsversorgung als wirksam erwiesen. In unserem Anwendungsfall im Bildungsbereich haben wir versucht, Gruppen von Schülern zu berücksichtigen, die aufgrund ihrer Lebensumstände möglicherweise ungerechte Bewertungsergebnisse erfahren.

Zu den Gruppen, die als am stärksten von potenziellen Schäden bedroht identifiziert wurden, gehörten:

• Diejenigen, die mit psychischen Problemen zu kämpfen haben
• Diejenigen, die aus unterschiedlichen sozioökonomischen Verhältnissen stammen, einschließlich derjenigen, die keine Wohnung haben
• Diejenigen, deren Hauptsprache nicht Deutsch ist
• Diejenigen mit anderen kulturellen Hintergründen, die nicht sprachlicher Natur sind
• Diejenigen, die neurodivergent oder behindert sind

Als nächstes werden wir als Team mithilfe von Design Thinking-Frameworks wie beispielsweise ethisches Hacken erkunden, wie wir diese Schäden mindern können. Wir werden auch die Mindestanforderungen für Unternehmen erläutern, die KI für die Bewertung von Schülern einsetzen möchten.

Dies ist ein Thema, das über IBM und Smarter Balanced hinausgeht. Wir teilen unseren Prozess öffentlich, weil wir der Meinung sind, dass diejenigen, die mit neuen Anwendungen für KI experimentieren, die unbeabsichtigten Auswirkungen ihrer Modelle berücksichtigen sollten. Wir möchten sicherstellen, dass KI-Modelle, die für Bildung entwickelt werden, nicht nur den Bedürfnissen einiger weniger, sondern der Gesellschaft insgesamt mit all ihrer Vielfalt dienen.

„Wir sehen darin eine Chance, einen prinzipienorientierten Ansatz zu verfolgen und schülerzentrierte Werte zu entwickeln, die der Gemeinschaft für Bewertung im Bildungsbereich dabei helfen werden, vertrauenswürdige KI einzuführen. Durch die detaillierte Beschreibung des von dieser Initiative verwendeten Prozesses hoffen wir, Unternehmen, die KI-gestützte Bildungsbewertungen in Betracht ziehen, dabei zu helfen, bessere und detailliertere Gespräche über den Einsatz von verantwortungsvoller KI bei der Bewertung im Bildungsbereich zu führen.“ 

– Rochelle Michel, Deputy Executive Program Officer, Smarter Balanced.