Biometrisches Stimmprofil bei Swisscom Support – intransparentes Vorgehen

Ich bin heute an der Shift, wo es um Ethik und Daten in der Digitalisierung geht und berichte hier live während den Vorträgen, was ich höre und lerne.

„Dieser Anruf wird zu Schulungszwecken aufgezeichnet….“ So beginnt die Frage, ob Swisscom ein Stimmprofil aufnehmen darf. Ein sogenanntes Opt-out Verfahren (Kein Widerspruch bedeutet Einverständnis)

Nachtrag 05.03.19

Nach einem kleinen Wirbel, den ich mit einem Tweet während der Konferenz ausgelöst hab 🙊, hat nun der Tagi das Thema aufgenommen. Stimmerkennung und Swisscoms Vorgehen, die Stimmprofile anzulegen. Danke, dass ich zu Wort kam. (PDF, Swisscoms Stimmabdruck Tagesanzeiger) Inzwischen wurde aus meiner Frage (ob euch das bewusst war), eine klare Aufforderung an Swisscom, Stimmprofile ihrer Kunden nur mit Opt-in Verfahren zu erstellen.

Nachtrag 7.3.2019
Swisscom sieht keinen Handlungsbedarf (Das sehe ich anders)

Twitter DN mit Swisscom

War euch das bewusst, dass die Swisscom somit ein Stimmprofil (biometrische Daten) anlegt?

Ich persönlich finde das unerhört und habe das noch nie wahrgenommen. Schulungszwecke suggeriert bei mir ein „Klar, ich helfe gerne“. Unklar ist mir zu diesem Zeitpunkt, dass es eigentlich um biometrische Daten geht, die unverwechselbar sind.

Aber weiter zum Case von „Neue Interfaces zwischen Convenience und Kundenakzeptanz. Stimmerkennung“ Melanie Schefer Bräker, Head of Customer Care Swisscom spricht sehr offen darüber, wie der Prozess bei der Swisscom ist.

Sie sagt auch, „das wird (darf) nicht von EU Bürgern und Geschäftskunden gemacht.“

Der Opt-out Prozess steht am Anfang der Aufzeichnung (anders als in D, wo dank DSGVO nur Opt-In möglich ist, da muss der Kunde das Stimmprofil selbst aufnehmen, mit drei Sprachproben). Die Referentin sagt „Wir brauchen das Vertrauen unserer Kunden. Uns ist bewusst, dass das in D viel transparenter ist. Wenn sich das Recht in der Schweiz ändert, müssten wir das Vorgehen auch anpassen.“ höre ich im Vortrag.“ und in mir reift die Idee. Vielleicht müsste man der Swisscom ein wenig auf die Sprünge helfen in Sachen Fairness und Transparenz.

EU Bürger und Firmen dürfen/sollen nicht aufgenommen werden. Ja?

Was mich umtreibt. Werde ich als EU Bürger wirklich nicht aufgenommen? Ich wurde das auch schon gefragt mit dem Schulungszweck. Erkennt der Bot, dass ich keinen Schweizer Pass habe?
Wie kann das sichergestellt werden. Wie wird überhaupt sichergestellt, dass diese Daten nicht missbraucht werden. Aktuell und in Zukunft. Was ist, wenn Swisscom ins Gesundheitsgeschäft einsteigt? Was ist, wenn diese Daten mit anderen gekoppelt werden? Swisscom hat bereits von mir Geburtsdatum, Wohnort, Kommunikationsgewohnheit, Zahlungsmoral….)

Der Prozess funktioniert so:

„Eine Stimme hat 200 Merkmale.“ Auch das war mir noch nicht bewusst. Man kann da viel herauslesen, ob jemand depressiv ist, krank ist etc. Die Referentin sagt „Diese Merkmale schauen wir nicht an. Wir brauchen nur die Informationen, um den Kunden im Call wiederzukennen.“ Ich recherchiere und finde spannende Artikel u.a. in der Republik dazu. Algorithmen können nämlich auch soziales Verhalten und Emotionen erkennen. Vielschichtiger übrigens als aus einem Gesicht!

Mir persönlich wurde im Vortrag nicht richtig klar, was ich davon habe, wenn Swisscom mein persönliches Stimmprofil aufnimmt und auch nutzt. In erster Linie bringt es für das Unternehmen Vorteile und einen enormen Datenvorsprung. Wer vertraut Firmen, die solche Daten aufnehmen, ohne dass es die Menschen wirklich verstehen? Der Gegenwert für mich als Kundin ist gering. Lediglich Wiedererkennung beim nächsten Anruf.

Die Twitter-Community hat hier auch eine sehr dedizierte Meinung zu und auch offline habe ich an der Konferenz einige negative Stimmen dazu gehört:

Hier kann man das übrigens widerrufen.  Das Thema Stimmabdruck bei der Swisscom ging auch durch die Medien vor zwei Jahren.

Ein Argument für das Vorgehen ist, die Authentifizierungsdialoge am Anfang sind immer sehr schwierig, weil Kunden die Fragen oft nicht beantworten können (Wie hoch war Ihre letzte Rechnung etc.). So sei man effizienter und auch kundenfreundlicher. Das empfinde ich ganz und gar nicht so.

Als Zukunftsthemen werden noch Voice IVR, Voice Bot, Qualitätsmanagement und Anrufgründe erkennen, vorgestellt, aber das nehme ich nicht mehr wahr, ehrlicherweise…

Nachtrag. Nach der Konferenz wird in Twitter viel diskutiert

Twitter spiegelt mir, dass ich nicht alleine bin mit meiner Ansicht. Es wäre doch wünschenswert, wenn Swisscom auf ein transparenteres Vorgehen wie Opt-in wechseln würde.

Die PostFinance erstellt übrigens auch einen Sprachabdruck zur Authentifizierung des Users. Hier wird der User beim Telefonat durch eine Ansage informiert, dass ein Stimmabdruck angelegt wird. Genau wie bei der Swisscom also auch mit Opt-out Prinzip. Wie das bei der PostFinance funktioniert und wie man die Spracherkennung deaktivieren kann, steht hier. 

Die Raiffeisen erklärt nach Rückfrage auf Twitter, sie gibt keinen Stimmabdruck an die Swisscom weiter. Dies braucht das Einverständnis der User. Ggf. lag hier ein Missverständnis vor bezüglich der Frage.

Wissenswerte Ideen von Amazon mit Alexa (Lesetipp)

 

Woher kommt Misstrauen und Vertrauen, wenn wir disruptive Technologien nutzen

(Live Blogging) Sehr starke Referentinnen heute an der #shift2019. Adrienne Fichter und Sybille Peuker sprechen über Vertrauen und Misstrauen bei der Nutzung disruptiver Technologien.

Berechtigtes Misstrauen

Adrienne spricht über Missbräuche und sagt; „das sind ganz klar auch Geschäftsmodelle grosser globaler Player (Technologieriesen)“. Das sollte endlich aufhören.

Vertrauensbruch durch Tech-Giganten sind wir gewohnt. Hier kann man diese nachlesen. Inoffiziell weiss man, dass Netflix und Facebook Deals haben für Datenzugriffe, gegen Werbeplätze.

Offiziell hat Mark Zuckerberg gesagt, dass jeder alle FB Daten herunterladen kann. Damit gemeint, ist nicht nur das Herunterladen innerhalb der Plattform sondern zusätzlich alle Apps und das Tracking von Websites via FB-Pixel. FB ist zu gross, um Datenschutzgesetze einhalten zu können.

ADM Algorithmusbasierte Entscheidungssysteme

Algorithmusbasierte Entscheidungssysteme (ADMs) bilden einen Oligopol (Google, FB, Amazon) und werden immer mächtiger (wegen Netzwerkeffekten). Hier fehlt die Nachvollziehbarkeit und es gibt keine rechtlichen Grundlagen. Nach dem Update in der Schweiz ist das hoffentlich besser.

 

Automatische Entscheidungsprozesse sind fehlerhaft. Ein Beispiel dafür ist etwa Schweden und Arbeitslosenausbezahlung. Ein Problem ist die Intransparenz. Wir wissen selten, wann und wo ADMS im Einsatz sind. Ein weitere Fehlerquelle sind falsche Trainingsdatensätze. Im Beispiel waren nur „weisse Menschen“ berücksichtigt.

Wir haben in der Schweiz noch kein Algorithmen/Code Auditing institutionalisiert.

Die Debatte der Hackerin Sarah Jamie Lewis, die den Code der Schweizer Post genauer angeschaut hat (bzw. diesen, bevor er öffentlich zur Verfügung gestellt wurde, „gehackt“ hat), findet auf Twitter statt und das sollte offengelegt werden.

Adrienne möchte erreichen:

Die Debatte um eVoting ist dabei ein erster Schritt. Der Quellcode ist semi-open und Zertifizierungsschritte und die Tech-Community ist involviert.

Danach spricht Sibylle Peuker von Zeix (Zeix beschäftigt sich schon seit gefühlt 20 Jahren mit User Experience. Heute spricht sie über UX von AI):

Vertrauen

Sie möchte zeigen, dass wir unser Handy nicht abgeben würden, aber Menschen vor laufender Kamera sogar ihr Passwort verraten. Sie stellt die Frage: „Vertrauen in was?“ und stellt fest: *Wir müssen über Vertrauenswürdigkeit sprechen“

Wie entscheiden wir, ob jemand vertrauenswürdig ist?

Kompetent

Was bedeutet das aus Usersicht? Bei Alexa wissen Menschen nicht, was sie fragen sollen. Die Erwartung ist hier am Anfang zu hoch. Folglich ist das Erwartungsmanagement für die Kompetenz wichtig.

Zuverlässig

Unter welchen Umständen trauen User einer automatisierten Diagnose? Hier nennt Sibylle ADA Health als Beispiel. Menschen testen die Gesundheits-App erstmals mit bestehenden Diagnosen, die sie bereits kennen.
Was ist dabei für den User wichtig (Mehrwert, relevant, vollständig, in Zeit)? Besonders Transparenz und die Frage, wie herausgefunden wird, wer beispielsweise ausgeschlossen wird.

Sibylle empfiehlt: „Nachdenken, Team sensibilisieren und ernstgemeinte Feedback-Möglichkeiten der User“

Wie kann eine HR-Chefin sich auf den AI Mitarbeiter verlassen? Wenn man auf existierenden Daten und mathematischen Modellen, die auf Erfahrungen basieren, vertraut, kann das zu Fehlern führen. Sind Kriterien (Algorithmen) wiederum transparent, laden sie auch zum Austricksen ein.

Ein Algorithmus ist oft eine in Code gegossene Meinung.

Was ist wenn sich diese Meinung mal ändert? Menschen kann man leichter umlernen als ein selbstlernendes System. Wir sollten überprüfen, ob die Maschine mit der eigenen menschlichen Ansicht übereinstimmt.

Ehrlich:

AI Systeme überschätzen sich selbst.

Die Lösung kann aber kaum sein, AI zu programmieren, die Privacy Policies für uns lesen. Sondern

Gesichtserkennung: Was es ist und kann

(Live Blogging) Vortrag zur Gesichtserkennung von Dominik Brumm, Partner Cubera Solutions.

Er sagt einleitend: „Wiedererkennen finden wir grundsätzlich freundlich. Soziale Integration, Interaktion und Merkmale vom Gesicht sind dabei ausschlaggebend.“

Die ethischen Aspekte haben mir in diesem Vortrag gefehlt. Dominik hat aber strukturiert erklärt, was schon gemacht wird und was künftig möglich ist. Also bald, sehr bald!

Automatisierte Gesichtserkennung

ist für Dominik der Wunsch, diese Merkmale und Digitalisierung und nutzen zu können. In ganz unterschiedlichen Einsatzgebieten, mit verschiedenen Zielen und Methoden.

Dominik erklärt: „Wir haben noch 1% Fehler bei dieser Methode.“ Der persönliche „Fingerabdruck“ berücksichtigt heute auch die Hauttextur und benutzt Wärmebildkameras.

Ein paar lehrreiche Shots aus dem Vortrag von Dominik:

Diese Daten können zum Verbessern des Algorithmus dienen:

Anforderungen

  • Es reicht EIN Referenzbild
  • Abgleich
  • Smartphone

Praxisbeispiele

  • Flughafen, Passkontrolle
  • Social Media
  • Fotokameras/Apps
  • Apple Face ID

Behörden Beispiele

  • Social Ranking in China
  • Überwachung Berlin Südkreuz
  • Behörden sind ausgerüstet mit automatisierter Gesichtserkennung (Automatische Auswertung von Filmmaterial)
  • Überwachung von Stadien oder Demonstrationen

Privater Einsatz

  • Smile to Pay
  • Patientenschutz / Altersheimerkennung der Bewohner
  • Identifizierung der Uber-Fahrer
  • Marketing und Verkauf

Ausblick

  • Ticketing
  • Handsfree und hygienischer Login/Identifikation, Haustür, Labor
  • komplette Überwachung
  • weltweiter Stammkunde
  • Nie mehr einen Namen vergessen / Gesichtsblindheit geheilt

Ein paar Gedanken zu Kritik und Ethik bringt Dominik zum Schluss seines Vortrages doch noch. Kritisch sieht er:

  • Privatsphärenverletzung und Datenschutz
  • Kontrollverlust
  • Vorratsanalyse
  • Die Menge hinterlässt ein unwohles Gefühl

Wie Firmen mit Ethik in Datenstrategien umgehen – Politik ist im Dornröschenschlaf

(Live Blogging) Talk zur Datenstrategie und ihrer Umsetzung in Unternehmen im Hinblick auf Ethik mit:

• Judith Bellaiche, Kantonsrätin und Mitglied der WAK
• Marcel Blattner, Chief Data Scientist tamedia digital
• Marc Holitscher, National Technology Officer Microsoft Schweiz
• Nicolas Passadelis, Head of Data Governance und interner Datenschutzbeauftragter Swisscom

Lässt sich Ethik in Software programmieren?

Marcel Blatter sagt: „Er findet es etwas vermessen. Aber Methoden und Konzepte kontrahieren, ist schon machbar. Man kann die aber nicht einfach auf verschiedene Kontexte übertragen. Die Systeme können nicht Entscheidungen treffen, wenn ein Misstand festgestellt wird. Sie können aber auf einen Misstand hinweisen. Es braucht immer noch den Mensch, die Aktion abzuleiten.“ Er sieht das als eine gefährliche Entwicklung, weil man in die Falle tritt, dass ein Tool ethische Probleme löst. Verantwortung wird auf Technologie übertragen.

Es liegt Judith am Herzen, dass  Datenstrategien und Ethical Officiers entstehen (bisschen politisches Intro, kann ich nicht wiedergeben) Sie fragt: „Wieso sollten wir Ethik automatisieren, wer hat was davon?“ Sie sieht als Beobachterin technologische Experimente, die rassistische Tendenzen haben, das kann so nicht sein. Ihrer Meinung nach, bedarf Ethik einer sehr tiefgründigen Auseinandersetzung und einer Einzelfall-Beurteilung. Automatische künstliche Ethik ist für sie nur wünschenswert, wenn der Mensch etwas davon hat. Davon sieht sie uns noch weit entfernt.

Automatisierte Ethik? Podiumsteilnehmer meinen, dass es schwer ist, so komplexen Themen zu digitalisieren. Ich denke, das wird machbar und ebenso fehlbar, wie wir Menschen. (Es zählt nicht, was heute geht) #shift2019 Wichtiger ist, wer hat die Macht? Technik oder Mensch?

Microsoft hat 6 Prinzipien. Dazu zählen Robustheit, Sicherheit und Transparenz, die schon automatisiert sind (Microsoft hat einen internen Prüfprozess). Mark sagt: „Wir müssen zukunftsgerichtet denken; wie kann AI eingesetzt werden und ist sie kompatibel mit den 6 Prinzipien?“ Gesichtserkennung kann negative Effekte haben, beispielsweise, wenn das Publikum gescannt wird und mit politischen Daten verknüpft wird. Betont werden aber auch keine durchgängig automatischen Entscheidungen. Es braucht immer eine menschliche Entscheidung (kontextabhängig). Mark und Microsoft denken nicht, dass sich alles mit Software abdecken lässt. Fairness kann aber über Erklärbarkeit gelöst werden (Datalabeling, Herkunft, ggf. Verzerrungen gleich berücksichtigen…)

Microsoft setzt auf einen Prozessansatz. Sie gehen davon aus, dass ein Prinzip von Ethik, nämlich Fairness, über Erklärbarkeit gelöst werden kann. Ansonsten gibt es keine durchgängig automatischen Entscheidungen, sondern Menschen dazwischen.


Nicolas von Swisscom meint: „Datenkultur ist bei uns entscheiden. Wir setzen nicht auf Prozessprozesse (mit Checkpoint) sondern wir möchten, dass der Umgang der Daten in die DNA der Mitarbeiter einfliesst. Alle sollen gut damit umgehen können.“

Meine Frage bleibt hier leider offen: Wie wollt ihr das sicherstellen, Swisscom? Menschen sind fehlbar

Sinngemässe Antwort von ihm dazu, die mir persönlich nicht reicht: „Da hat man klassische Compliance Massnahmen. Wir müssen die Leute an den Punkt bringen, wo sie beim Betrieb eines Systems wissen, was möglich ist und was nicht. Das ist im Interesse der Kunden und der einzelnen Person. Unsere Mitarbeiter (18’000) wollen wir fit machen.“

Swisscom fährt einen Kulturansatz – alle 18’000 Mitarbeitenden tragen Verantwortung

 

Wer ist verantwortlich am Ende?

Auch darauf hab ich keine Antwort bekommen. Oder sie nicht richtig verstanden.

Marcel sagt: „Wenn man Fairness abstrakt abbilden möchte benutzt man dafür mathematische Prinzipien. Diese haben statistisch gesehen Löcher. Das Konzept Fairness ist noch nicht abstrahiert.“

Zur Datenstrategie bei tamedia meint er: „75 – 80% generieren mindestens einen Punkt pro Tag in der Daten Pipeline.“ Gesetzliche Bestimmungen setzen auf die Dokumentation in den einzelnen Prozessen. Wenn bei tamedia ein Modell gebaut wird, ist von der Datensammlung bis zur Auslieferung alles dokumentiert, besonders bei der Übergabe in den nächsten Prozess (Model Cards). Intern finden Konferenzen zu diesen Themen statt.

tamedia setzt auf Transparenz und Menschen bei wichtigen Entscheidungen

Die Politik hat schlicht keine Datenstrategie und ist total überfordert. Es ist ein anderes Mass wie in den Unternehmen, man ist regelrecht gelähmt. Nicht aber im Bund, den Gemeinden und den Kantonen (SG startet langsam). Es wird von allen gewünscht, das die Politik sich dem Thema endlich annimmt.

Mein Fazit: Die technologieaffinen Firmen machen vorwärts und stellen sich mehr Fragen, als man von aussen annimmt. Alle Podiumsteilnehmer sind sich bewusst, dass einzelne Aspekte der Ethik abgebildet werden können. Diese Abbildung ist aber noch nicht fehlerfrei und es braucht dringend Menschen bei wichtigen Entscheidungen oder Einschätzungen. Lasst mich bitte nicht darüber reden, wo die Politik in der Schweiz steht.