Diskriminierung melden
Suchen:

Algorithmen, Verbraucher*innenschutz und Antidiskriminierung: Wie hängt das zusammen?

Foto: H.S.

29.03.2022 - von Landesantidiskriminierungsstelle Berlin

Im Juni 2019 hat die Landesantidiskriminierungsstelle in Berlin das Thema algorithmenbasierte Diskriminierung im Infobrief Nummer 37 als neues Handlungsfeld der Antidiskriminierungspolitik des Landes Berlin vorgestellt. Mittlerweile ist das Thema in der breiten Öffentlichkeit angekommen. Verschiedene Wissenschaften und Politikfelder beschäftigen sich damit. Auf der Ebene der Europäischen Union wird zum Beispiel gerade die Verordnung zum Einsatz von Künstlicher Intelligenz (KI-Verordnung) abgestimmt. Die Risiken und Chancen der Technologien werden bewertet.

Die Verordnung wird KI-Systeme anhand ihres Risikos für die Endnutzer*innen, das heißt für uns als Verbraucher*innen, einstufen. Aus Antidiskriminierungssicht lässt der Entwurf der Verordnung den Unternehmen, die KI-Systeme programmieren, jedoch zu viel Handlungsspielraum. Diskriminierungsrisiken werden nicht ausreichend kontrolliert. Die Rechte von möglicherweise benachteiligten Verbraucher*innen werden bisher nicht genügend beachtet. Auch das wünschenswerte Auskunftsrecht für Antidiskriminierungsstellen wird in dem Entwurf der KI-Verordnung nicht ausreichend berücksichtigt. Es wäre dringend erforderlich, Forschungsergebnisse, das Fachwissen von Antidiskriminierungsstellen und zivilgesellschaftlichen Organisationen in die KI-Verordnung einfließen zu lassen. Dadurch könnte das notwendige Gleichgewicht zwischen dem Schutz der Verbraucher*innen, der Förderung der KI-Unternehmen und dem gesellschaftlichen Fortschritt durch Künstliche Intelligenz besser sichergestellt werden.

Auf Berliner Landesebene werden wichtige antidiskriminierungspolitische Gesichtspunkte im Rahmen der Technologiefolgenabschätzung von KI als Querschnittsaufgabe aller Senatsverwaltungen verstanden. Erkenntnisse daraus sind bereits in die Digitalisierungsstrategie oder die Smart City Strategie eingeflossen.

Der Berliner Senat hat sich in seinen Richtlinien der Regierungspolitik 2021 bis 2026 auf Folgendes verständigt: „Qualitätssichernde Prozesse, Tests und Dokumentationspflichten sollen sicherstellen, dass die öffentliche Verwaltung nur objektive und diskriminierungsfreie Algorithmen (auch bei Künstlicher Intelligenz) einsetzt.“

Doch abseits von Strategiepapieren und geplanten Verordnungen stellt sich die Frage, wie sieht der Schutz von Verbraucher*innen in der Praxis aus? Wo und wie können Diskriminierungsvorfälle durch eingesetzte Algorithmen, das heißt automatisierte Entscheidungsprozesse, tatsächlich erfasst und sichtbar gemacht werden? Welche Strukturen und Beratungsansätze sind zielführend für die Menschen und Gruppen, die von algorithmenbasierter Diskriminierung betroffen sind?

Um diese Fragen zu beleuchten, freuen wir uns sehr, Ihnen in diesem Infobrief Dr. Kathrin Steinbach vom Bundesverband der Verbraucherzentralen und das Projekt „Auto- Check“ von AlgorithmWatch vorstellen zu können (Link. Dies bietet Ihnen die Möglichkeit, sich zu informieren, interessante Publikationen und Fortbildungen zu finden oder aber selbst Diskriminierungsvorfälle oder Erfahrungen mit automatisierten Entscheidungsprozessen zu melden. Je mehr Daten hierzu erfasst werden, desto besser können wir gemeinsam algorithmenbasierte Diskriminierung sichtbar machen. Politik und Mitmenschen sollen weiter sensibilisiert und Verbraucher*innenrechte gestärkt werden.

Was sind eigentlich Algorithmen und Künstliche Intelligenz?
• Ein Algorithmus beschreibt eine mathematische Handlungsanweisung.

• Ein lernender Algorithmus kann durch Big Data (besonders große Datenmengen) trainiert werden, um Menschen zu bewerten und ihr Verhalten vorauszusehen (Profiling).

• Dies wird auch Deep Learning oder Künstliche Intelligenz (KI) genannt. Beim DeepLearning orientieren sich die Algorithmen an der Struktur des menschlichen Gehirns und werden als künstliche neuronale Netze bezeichnet.

• Ein algorithmischer Entscheidungsprozess oder Algorithmic Decision-Making-Prozess (ADM-Prozess) bezieht sich auf den Gesamtablauf der Anwendung von (lernenden) Algorithmen einschließlich seiner Einbettung in gesellschaftliche Zusammenhänge.

Weiterführende Literatur aus der LADS Schriftenreihe können Sie als PDF herunterladen:
Algorithmen und ihr Diskriminierungsrisiko unter: Link
Eine erste Bestandsaufnahme. und Dokumentation der Fachwerkstatt „Algorithmen und das Recht auf digitale Gleichbehandlung“ unter: Link

Quelle: LADS