Ich bin heute an der Shift, wo es um Ethik und Daten in der Digitalisierung geht und berichte hier live während den Vorträgen, was ich höre und lerne.

„Dieser Anruf wird zu Schulungszwecken aufgezeichnet….“ So beginnt die Frage, ob Swisscom ein Stimmprofil aufnehmen darf. Ein sogenanntes Opt-out Verfahren (Kein Widerspruch bedeutet Einverständnis)

War euch das bewusst, dass die Swisscom somit ein Stimmprofil (biometrische Daten) anlegt?

Ich persönlich finde das unerhört und habe das noch nie wahrgenommen. Schulungszwecke suggeriert bei mir ein „Klar, ich helfe gerne“. Unklar ist mir zu diesem Zeitpunkt, dass es eigentlich um biometrische Daten geht, die unverwechselbar sind.

Aber weiter zum Case von „Neue Interfaces zwischen Convenience und Kundenakzeptanz. Stimmerkennung“ Melanie Schefer Bräker, Head of Customer Care Swisscom spricht sehr offen darüber, wie der Prozess bei der Swisscom ist.

Sie sagt auch, „das wird (darf) nicht von EU Bürgern und Geschäftskunden gemacht.“

Der Opt-out Prozess steht am Anfang der Aufzeichnung (anders als in D, wo dank DSGVO nur Opt-In möglich ist, da muss der Kunde das Stimmprofil selbst aufnehmen, mit drei Sprachproben). Die Referentin sagt „Wir brauchen das Vertrauen unserer Kunden. Uns ist bewusst, dass das in D viel transparenter ist. Wenn sich das Recht in der Schweiz ändert, müssten wir das Vorgehen auch anpassen.“ höre ich im Vortrag.“ und in mir reift die Idee. Vielleicht müsste man der Swisscom ein wenig auf die Sprünge helfen in Sachen Fairness und Transparenz. (Da sind einige Leute nun dran. Siehe unten Nachtrag. Aktuell schweigt Swisscom noch dazu, die Medien nehmen das Thema aber auf.)

Eine Stimme hat 200’000 Merkmale, man erkennt u.a. Gesundheitszustand, Gemüt, Gewicht uvm.

EU Bürger und Firmen dürfen/sollen nicht aufgenommen werden. Ja?

Was mich umtreibt. Werde ich als EU Bürger wirklich nicht aufgenommen? Ich wurde das auch schon gefragt mit dem Schulungszweck. Erkennt der Bot, dass ich keinen Schweizer Pass habe?
Wie kann das sichergestellt werden. Wie wird überhaupt sichergestellt, dass diese Daten nicht missbraucht werden. Aktuell und in Zukunft. Was ist, wenn Swisscom ins Gesundheitsgeschäft einsteigt? Was ist, wenn diese Daten mit anderen gekoppelt werden? Swisscom hat bereits von mir Geburtsdatum, Wohnort, Kommunikationsgewohnheit, Zahlungsmoral….)

Der Prozess funktioniert so:

„Eine Stimme hat 200’000 Merkmale.“ Auch das war mir noch nicht bewusst. Man kann da viel herauslesen, ob jemand depressiv ist, krank ist (Gewicht, Alter, sogar der Lohn) etc. Die Referentin sagt „Diese Merkmale schauen wir nicht an. Wir brauchen nur die Informationen, um den Kunden im Call wiederzukennen.“ Ich recherchiere und finde spannende Artikel u.a. in der Republik dazu. Algorithmen können nämlich auch soziales Verhalten und Emotionen erkennen. Vielschichtiger übrigens als aus einem Gesicht!

Mir persönlich wurde im Vortrag nicht richtig klar, was ich davon habe, wenn Swisscom mein persönliches Stimmprofil aufnimmt und auch nutzt. In erster Linie bringt es für das Unternehmen Vorteile und einen enormen Datenvorsprung. Wer vertraut Firmen, die solche Daten aufnehmen, ohne dass es die Menschen wirklich verstehen? Der Gegenwert für mich als Kundin ist gering. Lediglich Wiedererkennung beim nächsten Anruf.

Die Twitter-Community hat hier auch eine sehr dedizierte Meinung zu und auch offline habe ich an der Konferenz einige negative Stimmen dazu gehört:

Ich bitte @Swisscom_de diese Praxis auf opt-in umzustellen. Viele Menschen verstehen ggf nur "Schulungszwecke" Nicht aber, dass das Stimmprofile heikle biometrische Daten sind, die z. B. gehackt + missbraucht werden können. Swisscom sehe ich als Vorreiter und anständigen Player https://t.co/GakNlZiGfE

— Su Franke (@sufranke) March 1, 2019

Hier kann man das übrigens widerrufen.  Das Thema Stimmabdruck bei der Swisscom ging auch durch die Medien vor zwei Jahren.

Ein Argument für das Vorgehen ist, die Authentifizierungsdialoge am Anfang sind immer etwas schwierig, weil Kunden die Fragen oft nicht beantworten können (Wie hoch war Ihre letzte Rechnung etc.). So sei man effizienter und auch kundenfreundlicher. Das empfinde ich ganz und gar nicht so. Der Wert den ich als Kunde erhalte für diese sensiblen Daten ist viel zu klein.

Als Zukunftsthemen werden noch Voice IVR, Voice Bot, Qualitätsmanagement und Anrufgründe erkennen, vorgestellt, aber das nehme ich nicht mehr wahr, ehrlicherweise…

Nachtrag. Nach der Konferenz wird in Twitter viel diskutiert

Twitter spiegelt mir, dass ich nicht alleine bin mit meiner Ansicht. Es wäre doch wünschenswert, wenn Swisscom auf ein transparenteres Vorgehen wie Opt-in wechseln würde.

Die PostFinance erstellt übrigens auch einen Sprachabdruck zur Authentifizierung des Users. Hier wird der User beim Telefonat durch eine Ansage informiert, dass ein Stimmabdruck angelegt wird. Genau wie bei der Swisscom also auch mit Opt-out Prinzip. Wie das bei der PostFinance funktioniert und wie man die Spracherkennung deaktivieren kann, steht hier. 

Die Raiffeisen erklärt nach Rückfrage auf Twitter, sie gibt keinen Stimmabdruck an die Swisscom weiter. Dies braucht das Einverständnis der User. Ggf. lag hier ein Missverständnis vor bezüglich der Frage.

Wissenswerte Ideen von Amazon mit Alexa (Lesetipp)

Die Kraft der Stimmerkennung über digitale Assistenten: Wer depressiv ist, Selbstmordgedanken hegt oder von häuslicher Gewalt bedroht ist und mit Alexa spricht, wird mit entsprechenden Experten / Hotlines verbunden, so Dave Limp von Amazon. @centreforDR https://t.co/vBvGTfvGGN pic.twitter.com/Ciw1dhsvo4

— Cornelia Diethelm (@cdrdiethelm) March 3, 2019

Nachtrag 05.03.19

Nachdem Swisscom immer noch schweigt (oder mit Standart Antworten agiert 🙊, hat nun der Tagi das Thema aufgenommen. Stimmerkennung und Swisscoms Vorgehen, die Stimmprofile anzulegen. Danke, dass ich zu Wort kam. (PDF, Swisscoms Stimmabdruck Tagesanzeiger) Inzwischen wurde aus meiner Frage (ob euch das bewusst war), eine klare Aufforderung an Swisscom, Stimmprofile ihrer Kunden nur mit Opt-in Verfahren zu erstellen.

Infosperber berichtete ebenfalls.

Swisscom sieht keinen Handlungsbedarf (Das sehe ich anders)

Twitter DN zwischen mir und Swisscom

(Live Blogging) Vortrag zur Gesichtserkennung von Dominik Brumm, Partner Cubera Solutions.

Er sagt einleitend: „Wiedererkennen finden wir grundsätzlich freundlich. Soziale Integration, Interaktion und Merkmale vom Gesicht sind dabei ausschlaggebend.“

Die ethischen Aspekte haben mir in diesem Vortrag gefehlt. Dominik hat aber strukturiert erklärt, was schon gemacht wird und was künftig möglich ist. Also bald, sehr bald!

Automatisierte Gesichtserkennung

ist für Dominik der Wunsch, diese Merkmale und Digitalisierung und nutzen zu können. In ganz unterschiedlichen Einsatzgebieten, mit verschiedenen Zielen und Methoden.

Dominik erklärt: „Wir haben noch 1% Fehler bei dieser Methode.“ Der persönliche „Fingerabdruck“ berücksichtigt heute auch die Hauttextur und benutzt Wärmebildkameras.

Ein paar lehrreiche Shots aus dem Vortrag von Dominik:

Diese Daten können zum Verbessern des Algorithmus dienen:

Anforderungen

• Es reicht EIN Referenzbild
• Abgleich
• Smartphone

Praxisbeispiele

• Flughafen, Passkontrolle
• Social Media
• Fotokameras/Apps
• Apple Face ID

Behörden Beispiele

• Social Ranking in China
• Überwachung Berlin Südkreuz
• Behörden sind ausgerüstet mit automatisierter Gesichtserkennung (Automatische Auswertung von Filmmaterial)
• Überwachung von Stadien oder Demonstrationen

Privater Einsatz

• Smile to Pay
• Patientenschutz / Altersheimerkennung der Bewohner
• Identifizierung der Uber-Fahrer
• Marketing und Verkauf

Ausblick

• Ticketing
• Handsfree und hygienischer Login/Identifikation, Haustür, Labor
• komplette Überwachung
• weltweiter Stammkunde
• Nie mehr einen Namen vergessen / Gesichtsblindheit geheilt

Ein paar Gedanken zu Kritik und Ethik bringt Dominik zum Schluss seines Vortrages doch noch. Kritisch sieht er:

• Privatsphärenverletzung und Datenschutz
• Kontrollverlust
• Vorratsanalyse
• Die Menge hinterlässt ein unwohles Gefühl

(Live Blogging) Talk zur Datenstrategie und ihrer Umsetzung in Unternehmen im Hinblick auf Ethik mit:

• Judith Bellaiche, Kantonsrätin und Mitglied der WAK
• Marcel Blattner, Chief Data Scientist tamedia digital
• Marc Holitscher, National Technology Officer Microsoft Schweiz
• Nicolas Passadelis, Head of Data Governance und interner Datenschutzbeauftragter Swisscom

Lässt sich Ethik in Software programmieren?

Marcel Blatter sagt: „Er findet es etwas vermessen. Aber Methoden und Konzepte kontrahieren, ist schon machbar. Man kann die aber nicht einfach auf verschiedene Kontexte übertragen. Die Systeme können nicht Entscheidungen treffen, wenn ein Misstand festgestellt wird. Sie können aber auf einen Misstand hinweisen. Es braucht immer noch den Mensch, die Aktion abzuleiten.“ Er sieht das als eine gefährliche Entwicklung, weil man in die Falle tritt, dass ein Tool ethische Probleme löst. Verantwortung wird auf Technologie übertragen.

Es liegt Judith am Herzen, dass  Datenstrategien und Ethical Officiers entstehen (bisschen politisches Intro, kann ich nicht wiedergeben) Sie fragt: „Wieso sollten wir Ethik automatisieren, wer hat was davon?“ Sie sieht als Beobachterin technologische Experimente, die rassistische Tendenzen haben, das kann so nicht sein. Ihrer Meinung nach, bedarf Ethik einer sehr tiefgründigen Auseinandersetzung und einer Einzelfall-Beurteilung. Automatische künstliche Ethik ist für sie nur wünschenswert, wenn der Mensch etwas davon hat. Davon sieht sie uns noch weit entfernt.

Automatisierte Ethik? Podiumsteilnehmer meinen, dass es schwer ist, so komplexen Themen zu digitalisieren. Ich denke, das wird machbar und ebenso fehlbar, wie wir Menschen. (Es zählt nicht, was heute geht) #shift2019 Wichtiger ist, wer hat die Macht? Technik oder Mensch?

Microsoft hat 6 Prinzipien. Dazu zählen Robustheit, Sicherheit und Transparenz, die schon automatisiert sind (Microsoft hat einen internen Prüfprozess). Mark sagt: „Wir müssen zukunftsgerichtet denken; wie kann AI eingesetzt werden und ist sie kompatibel mit den 6 Prinzipien?“ Gesichtserkennung kann negative Effekte haben, beispielsweise, wenn das Publikum gescannt wird und mit politischen Daten verknüpft wird. Betont werden aber auch keine durchgängig automatischen Entscheidungen. Es braucht immer eine menschliche Entscheidung (kontextabhängig). Mark und Microsoft denken nicht, dass sich alles mit Software abdecken lässt. Fairness kann aber über Erklärbarkeit gelöst werden (Datalabeling, Herkunft, ggf. Verzerrungen gleich berücksichtigen…)

Microsoft setzt auf einen Prozessansatz. Sie gehen davon aus, dass ein Prinzip von Ethik, nämlich Fairness, über Erklärbarkeit gelöst werden kann. Ansonsten gibt es keine durchgängig automatischen Entscheidungen, sondern Menschen dazwischen.

Nicolas von Swisscom meint: „Datenkultur ist bei uns entscheiden. Wir setzen nicht auf Prozessprozesse (mit Checkpoint) sondern wir möchten, dass der Umgang der Daten in die DNA der Mitarbeiter einfliesst. Alle sollen gut damit umgehen können.“

Meine Frage bleibt hier leider offen: Wie wollt ihr das sicherstellen, Swisscom? Menschen sind fehlbar

Sinngemässe Antwort von ihm dazu, die mir persönlich nicht reicht: „Da hat man klassische Compliance Massnahmen. Wir müssen die Leute an den Punkt bringen, wo sie beim Betrieb eines Systems wissen, was möglich ist und was nicht. Das ist im Interesse der Kunden und der einzelnen Person. Unsere Mitarbeiter (18’000) wollen wir fit machen.“

Swisscom fährt einen Kulturansatz – alle 18’000 Mitarbeitenden tragen Verantwortung

Wer ist verantwortlich am Ende?

Auch darauf hab ich keine Antwort bekommen. Oder sie nicht richtig verstanden.

Marcel sagt: „Wenn man Fairness abstrakt abbilden möchte benutzt man dafür mathematische Prinzipien. Diese haben statistisch gesehen Löcher. Das Konzept Fairness ist noch nicht abstrahiert.“

Zur Datenstrategie bei tamedia meint er: „75 – 80% generieren mindestens einen Punkt pro Tag in der Daten Pipeline.“ Gesetzliche Bestimmungen setzen auf die Dokumentation in den einzelnen Prozessen. Wenn bei tamedia ein Modell gebaut wird, ist von der Datensammlung bis zur Auslieferung alles dokumentiert, besonders bei der Übergabe in den nächsten Prozess (Model Cards). Intern finden Konferenzen zu diesen Themen statt.

tamedia setzt auf Transparenz und Menschen bei wichtigen Entscheidungen

Die Politik hat schlicht keine Datenstrategie und ist total überfordert. Es ist ein anderes Mass wie in den Unternehmen, man ist regelrecht gelähmt. Nicht aber im Bund, den Gemeinden und den Kantonen (SG startet langsam). Es wird von allen gewünscht, das die Politik sich dem Thema endlich annimmt.

Mein Fazit: Die technologieaffinen Firmen machen vorwärts und stellen sich mehr Fragen, als man von aussen annimmt. Alle Podiumsteilnehmer sind sich bewusst, dass einzelne Aspekte der Ethik abgebildet werden können. Diese Abbildung ist aber noch nicht fehlerfrei und es braucht dringend Menschen bei wichtigen Entscheidungen oder Einschätzungen. Lasst mich bitte nicht darüber reden, wo die Politik in der Schweiz steht.