Eine informelle Definition von differentieller Privatsphäre

Differential Privacy ( DP ) ist ein mathematisch präziser Rahmen für die Veröffentlichung statistischer Informationen über Datensätze unter Wahrung der Privatsphäre einzelner Datensubjekte. Er ermöglicht es Dateninhabern, aggregierte Muster der Gruppe zu teilen und gleichzeitig die Offenlegung von Informationen über einzelne Personen einzuschränken. [ 1 ] [ 2 ] Dies geschieht durch das Einfügen sorgfältig kalibrierten Rauschens in statistische Berechnungen, sodass die Aussagekraft der Statistik erhalten bleibt, während die Rückschlüsse auf einzelne Personen im Datensatz nachweislich eingeschränkt werden.

Eine andere Möglichkeit, differentielle Privatsphäre zu beschreiben, ist als Einschränkung der Algorithmen, die zur Veröffentlichung aggregierter Informationen aus einer statistischen Datenbank verwendet werden. Diese Einschränkung begrenzt die Offenlegung privater Informationen einzelner Datensätze in der Datenbank. Beispielsweise nutzen einige Regierungsbehörden Algorithmen mit differentieller Privatsphäre, um demografische Daten oder andere statistische Aggregate zu veröffentlichen und gleichzeitig die Vertraulichkeit von Umfrageantworten zu gewährleisten. Unternehmen verwenden diese Algorithmen, um Informationen über das Nutzerverhalten zu sammeln und gleichzeitig zu kontrollieren, was selbst für interne Analysten sichtbar ist.

Grob gesagt ist ein Algorithmus differenziell privat, wenn ein Beobachter seiner Ausgabe nicht erkennen kann, ob die Informationen einer bestimmten Person in die Berechnung einbezogen wurden. Differenzielle Privatsphäre wird häufig im Zusammenhang mit der Identifizierung von Personen diskutiert, deren Informationen sich in einer Datenbank befinden könnten. Obwohl der Begriff nicht direkt auf Identifizierungs- und Reidentifizierungsangriffe Bezug nimmt, sind differenziell private Algorithmen nachweislich resistent gegen solche Angriffe. [ 3 ]

ε-Differential Privacy

Eine formale Definition von ε-Differential Privacy. Ein Datensatz ohne die privaten Daten ist ein Datensatz mit den privaten Daten. Dies ist „reine ε-Differential Privacy“, was bedeutet, dass δ = 0.

Der Artikel von Cynthia Dwork , Frank McSherry , Kobbi Nissim und Adam D. Smith aus dem Jahr 2006 [ 3 ] führte das Konzept der ε-Differential Privacy ein, eine mathematische Definition für den Datenschutzverlust, der mit der Veröffentlichung von Daten aus einer statistischen Datenbank verbunden ist . [ 4 ] (Hierbei bezeichnet der Begriff statistische Datenbank einen Datensatz, der unter Zusicherung der Vertraulichkeit zum Zweck der Erstellung von Statistiken erhoben wird, die durch ihre Erstellung die Privatsphäre derjenigen Personen, die die Daten bereitgestellt haben, nicht beeinträchtigen.)

Die Definition von ε-Differential Privacy erfordert, dass die Änderung eines einzelnen Datenbankeintrags die Wahrscheinlichkeitsverteilung der Messwerte aus Sicht eines Angreifers nur geringfügig verändert. [ 3 ] Die Definition von ε-Differential Privacy beruht auf der Annahme, dass die Privatsphäre einer Person durch die Veröffentlichung statistischer Daten nicht beeinträchtigt werden kann, solange sich ihre Daten nicht in der Datenbank befinden. [ 5 ] Bei Differential Privacy genießt jede Person annähernd denselben Datenschutz, als wären ihre Daten gelöscht worden. [ 5 ] Das heißt, die auf der Datenbank ausgeführten statistischen Funktionen sollten durch das Entfernen, Hinzufügen oder Ändern von Daten einer Person nicht wesentlich beeinträchtigt werden. [ 5 ]

Wie stark der Beitrag einer einzelnen Person zum Ergebnis einer Datenbankabfrage ist, hängt unter anderem davon ab, wie viele Personendaten in die Abfrage einbezogen sind. Enthält die Datenbank Daten einer einzelnen Person, trägt deren Daten zu 100 % bei. Enthält die Datenbank hingegen Daten von hundert Personen, trägt jede einzelne Person nur 1 % bei. Die zentrale Erkenntnis der differentiellen Privatsphäre besteht darin, dass dem Abfrageergebnis immer mehr Rauschen hinzugefügt werden muss, um denselben Grad an Privatsphäre zu gewährleisten, je weniger Personen die Abfrage umfasst. Daher auch der Titel der 2006 veröffentlichten Arbeit: „Calibrating Noise to Sensitivity in Private Data Analysis “ [ 3 ] .

Definition

Sei ε eine positive reelle Zahl und ein randomisierter Algorithmus , der einen Datensatz als Eingabe erhält (der die Aktionen der vertrauenswürdigen Partei repräsentiert, die die Daten besitzt). Sei das Bild von .

Der Algorithmus bietet (ε, δ)-differenzielle Privatsphäre, wenn für alle Datensätze und , die sich in einem einzigen Element unterscheiden (d. h. den Daten einer Person), und für alle Teilmengen von :

Dabei wird die Wahrscheinlichkeit über die vom Algorithmus verwendete Zufälligkeit berechnet . [ 6 ] Diese Definition wird mitunter als „approximative differentielle Privatsphäre“ bezeichnet, wobei „reine differentielle Privatsphäre“ ein Spezialfall ist, wenn . Im letzteren Fall spricht man üblicherweise davon, dass der Algorithmus ε-differentielle Privatsphäre erfüllt (d. h. weglässt ).

Differential Privacy bietet starke und robuste Garantien, die die modulare Entwicklung und Analyse von Differential Privacy-Mechanismen aufgrund ihrer Kompositionsfähigkeit , Robustheit gegenüber der Nachbearbeitung und sanften Verschlechterung bei Vorhandensein korrelierter Daten erleichtern .

Beispiel

Gemäß dieser Definition ist differentielle Privatsphäre eine Bedingung für den Veröffentlichungsmechanismus (d. h. die vertrauenswürdige Partei, die Informationen über den Datensatz freigibt) und nicht für den Datensatz selbst. Intuitiv bedeutet dies, dass sich ein gegebener Algorithmus mit differentieller Privatsphäre bei zwei ähnlichen Datensätzen annähernd gleich verhält. Die Definition gewährleistet weitgehend, dass die Anwesenheit oder Abwesenheit einer Person das Endergebnis des Algorithmus nicht wesentlich beeinflusst.

Nehmen wir beispielsweise an, wir haben eine Datenbank mit medizinischen Datensätzen, wobei jeder Datensatz ein Paar ( Name , X ) ist, wobei X ein boolescher Wert ist , der angibt, ob eine Person Diabetes hat oder nicht. Zum Beispiel:

NameHat Diabetes (X)
Ross 1
Monica 1
Joey 0
Phoebe 0
Chandler 1
Rachel 0

Angenommen, ein Angreifer möchte herausfinden, ob Chandler Diabetes hat oder nicht. Er weiß auch, in welcher Zeile der Datenbank sich Chandlers Eintrag befindet. Weiterhin darf der Angreifer nur eine bestimmte Abfrageform verwenden, die die Teilsumme der ersten Zeilen einer bestimmten Spalte in der Datenbank zurückgibt. Um Chandlers Diabetesstatus zu ermitteln, führt der Angreifer die Abfragen `chandler.diabetes.status` und `chandler.diabetes.status` aus und berechnet anschließend deren Differenz. In diesem Beispiel ist `chandler.diabetes.status` gleich 1, die Differenz beträgt also 1. Dies bedeutet, dass das Feld „Hat Diabetes“ in Chandlers Zeile den Wert 1 haben muss. Dieses Beispiel verdeutlicht, wie persönliche Daten kompromittiert werden können, selbst ohne explizit nach den Informationen einer bestimmten Person zu fragen.

Um dieses Beispiel fortzuführen: Wenn wir (Chandler, 1) durch (Chandler, 0) ersetzen, kann ein Angreifer die beiden Datensätze unterscheiden, indem er für jeden Datensatz berechnet . Müsste der Angreifer die Werte jedoch über einen -differenziell privaten Algorithmus erhalten, wäre er bei ausreichend kleinem nicht in der Lage, die beiden Datensätze zu unterscheiden.

Kompositionsfähigkeit und Robustheit gegenüber der Nachbearbeitung

Kompositionsfähigkeit bedeutet, dass die gemeinsame Verteilung der Ausgaben von (möglicherweise adaptiv gewählten) differentiell privaten Mechanismen die differentielle Privatsphäre erfüllt. [ 3 ]

  • Sequenzielle Komposition. Wenn wir einen ε-Differential-Privacy-Mechanismus n-mal abfragen und die Randomisierung des Mechanismus für jede Abfrage unabhängig ist, dann ist das Ergebnis ε-differentiell privat. Im allgemeineren Fall, wenn unabhängige Mechanismen existieren, deren Datenschutzgarantien jeweils Differential Privacy sind, dann ist jede Funktion dieser Mechanismen ε-differentiell privat. [ 7 ]
  • Parallele Komposition. Werden die vorherigen Mechanismen auf disjunkten Teilmengen der privaten Datenbank berechnet, so wäre die Funktion stattdessen -differentiell privat. [ 7 ]

Eine weitere wichtige Eigenschaft für die modulare Anwendung von Differential Privacy ist die Robustheit gegenüber der Nachbearbeitung. Dies bedeutet, dass für jede deterministische oder randomisierte Funktion, die über dem Bild des Mechanismus definiert ist , gilt: Wenn ε-Differential Privacy erfüllt, dann auch . [ 3 ]

Die Kompositionseigenschaft ermöglicht den modularen Aufbau und die Analyse differenziell privater Mechanismen [ 3 ] und motiviert das Konzept des Datenschutzverlustbudgets . Wenn alle Elemente, die auf sensible Daten eines komplexen Mechanismus zugreifen , einzeln differenziell privat sind, gilt dies auch für deren Kombination, gefolgt von beliebiger Nachbearbeitung. [ 3 ]

Gruppendatenschutz

Im Allgemeinen dient ε-Differential Privacy dem Schutz der Privatsphäre benachbarter Datenbanken, die sich nur in einer Zeile unterscheiden. Das bedeutet, dass kein Angreifer mit beliebigen Zusatzinformationen wissen kann, ob ein bestimmter Teilnehmer seine Daten übermittelt hat. Dieses Prinzip ist jedoch erweiterbar. [ 3 ] Es kann wünschenswert sein, Datenbanken zu schützen , die sich in Zeilen unterscheiden. Dies würde bedeuten, dass ein Angreifer mit beliebigen Zusatzinformationen wüsste, ob bestimmte Teilnehmer ihre Daten übermittelt haben. Dies lässt sich erreichen, da die Wahrscheinlichkeitsdilatation bei Änderungen der Elemente durch anstatt durch begrenzt ist . [ 8 ] Das heißt, für D₁ und D₂ , die sich in Elementen unterscheiden: Setzt man ε stattdessen auf , so erreicht man das gewünschte Ergebnis (Schutz der Elemente). [ 3 ] Anders ausgedrückt: Anstatt jedes Elements ε-differentiell privat zu schützen, ist nun jede Gruppe von Elementen ε-differentiell privat geschützt (und jedes Element ε- differentiell privat). [ 3 ]

Interpretation des Hypothesentests

Man kann sich differentielle Privatsphäre als eine Begrenzung der Fehlerraten in einem Hypothesentest vorstellen. Betrachten wir zwei Hypothesen:

  • Die Daten der betreffenden Person sind nicht im Datensatz enthalten.
  • Die Daten der Person befinden sich im Datensatz.

Dann gibt es zwei Fehlerraten:

  • Falsch-Positiv-Rate (FPR):
  • Falsch-Negativ-Rate (FNR):

Idealer Schutz würde bedeuten, dass beide Fehlerraten gleich sind, aber für eine feste (ε, δ)-Einstellung kann ein Angreifer die folgenden Raten erreichen: [ 9 ]

ε-differentiell private Mechanismen

Da differentielle Privatsphäre ein probabilistisches Konzept ist, ist jeder Mechanismus zur Gewährleistung differentieller Privatsphäre notwendigerweise randomisiert. Einige dieser Mechanismen, wie der unten beschriebene Laplace-Mechanismus, basieren auf dem Hinzufügen von kontrolliertem Rauschen zur zu berechnenden Funktion. Andere, wie der Exponentialmechanismus [ 10 ] und das Posterior-Sampling [ 11 ], ziehen stattdessen Stichproben aus einer problemabhängigen Familie von Verteilungen.

Eine wichtige Definition im Zusammenhang mit ε-differenziell privaten Mechanismen ist die Sensitivität. [ 3 ] Sei eine positive ganze Zahl, eine Menge von Datensätzen und eine Funktion. Die Sensitivität einer Funktion, bezeichnet mit , lässt sich wie folgt definieren: [ 3 ] Dabei wird das Maximum über alle Paare von Datensätzen und in gebildet, die sich in höchstens einem Element unterscheiden, und bezeichnet die L1-Norm . [ 3 ] Im unten stehenden Beispiel der medizinischen Datenbank ist die Sensitivität der Funktion gleich eins, wenn wir sie als Funktion betrachten , da die Änderung eines beliebigen Eintrags in der Datenbank den Funktionsausgang um null oder eins verändert. Dies lässt sich auf andere metrische Räume (Abstandsmaße) verallgemeinern und ist notwendig, damit bestimmte differenziell private Algorithmen funktionieren, beispielsweise das Hinzufügen von Rauschen aus der Gauß-Verteilung (was die L2-Norm erfordert ) anstelle der Laplace-Verteilung . [ 3 ]

Es gibt Techniken (die im Folgenden beschrieben werden), mit denen wir einen differenziell privaten Algorithmus für Funktionen erstellen können, dessen Parameter je nach ihrer Sensitivität variieren. [ 3 ]

Laplace-Mechanismus

Laplace-Mechanismus, der .5-Differential Privacy für eine Funktion mit Sensitivität 1 bietet.

Der Laplace-Mechanismus fügt Laplace-Rauschen hinzu (d. h. Rauschen aus der Laplace-Verteilung , das durch die Wahrscheinlichkeitsdichtefunktion mit Mittelwert Null und Standardabweichung ausgedrückt werden kann ). In unserem Fall definieren wir die Ausgabefunktion von als reellwertige Funktion (die sogenannte Transkriptausgabe von ), wobei und die ursprüngliche reellwertige Abfrage/Funktion ist, die wir auf der Datenbank ausführen wollten. Nun kann offensichtlich als stetige Zufallsvariable betrachtet werden, wobei

was höchstens ist . Wir können als Datenschutzfaktor betrachten . Daraus ergibt sich ein differenziell privater Mechanismus (wie aus der obigen Definition ersichtlich). Wenden wir dieses Konzept auf unser Diabetesbeispiel an, so folgt aus der oben hergeleiteten Tatsache, dass für einen -differenziell privaten Algorithmus gelten muss . Obwohl wir hier Laplace-Rauschen verwendet haben, können auch andere Rauschformen, wie z. B. Gaußsches Rauschen, eingesetzt werden. Diese erfordern jedoch möglicherweise eine leichte Lockerung der Definition von differentieller Privatsphäre. [ 8 ]

Randomisierte Antwort

Ein einfaches Beispiel, das insbesondere in den Sozialwissenschaften entwickelt wurde [ 12 ] , besteht darin, einer Person die Frage „Besitzen Sie das Attribut A ?“ zu stellen, und zwar nach folgendem Verfahren:

  1. Wirf eine Münze .
  2. Bei Kopf wirf die Münze erneut (das Ergebnis ignorierend) und beantworte die Frage ehrlich.
  3. Bei Zahl werfen Sie die Münze erneut und antworten Sie mit „Ja“ bei Kopf und mit „Nein“ bei Zahl.

(Der scheinbar überflüssige zusätzliche Wurf im ersten Fall ist in Situationen erforderlich, in denen allein der Akt des Münzwurfs von anderen beobachtet werden kann, selbst wenn das tatsächliche Ergebnis geheim bleibt.) Die Vertraulichkeit ergibt sich dann aus der Widerlegbarkeit der einzelnen Antworten.

Insgesamt sind diese Daten mit vielen Antworten jedoch signifikant, da ein Viertel der positiven Antworten von Personen stammt, die das Merkmal A nicht besitzen , und drei Viertel von Personen, die es tatsächlich besitzen. Wenn p der wahre Anteil der Personen mit A ist , erwarten wir also (1/4)(1- p ) + (3/4) p = (1/4) + p /2 positive Antworten. Daher lässt sich p schätzen .

Insbesondere wenn das Attribut A gleichbedeutend mit illegalem Verhalten ist, dann ist die Antwort „Ja“ nicht strafbar, sofern die Person eine Wahrscheinlichkeit für eine Antwort „Ja“ hat, wie auch immer diese Wahrscheinlichkeit aussehen mag.

Obwohl dieses Beispiel, inspiriert von randomisierten Antworten , auf Mikrodaten anwendbar sein könnte (d. h. die Veröffentlichung von Datensätzen mit jeder einzelnen Antwort), schließt die differentielle Privatsphäre definitionsgemäß die Veröffentlichung von Mikrodaten aus und ist nur auf Abfragen anwendbar (d. h. die Aggregation einzelner Antworten zu einem Ergebnis), da dies die Anforderungen, insbesondere die plausible Abstreitbarkeit der Teilnahme einer Person, verletzen würde. [ 13 ] [ 14 ]

Stabile Transformationen

Eine Transformation heißt -stabil, wenn der Hamming-Abstand zwischen zwei beliebigen Datenbanken höchstens das -fache des Hamming-Abstands zwischen zwei beliebigen Datenbanken beträgt . Wenn ein Mechanismus -differenziell privat ist , dann ist auch der zusammengesetzte Mechanismus -differenziell privat. [ 7 ]

Dies ließe sich auf die Gruppenprivatsphäre verallgemeinern, da die Gruppengröße als Hamming-Distanz zwischen zwei Variablen betrachtet werden könnte (wobei die Variable die Gruppe enthält und die Variable nicht). In diesem Fall ist die Gruppe differentiell privat.

Forschung

Frühe Forschungen, die zu differentieller Privatsphäre führten

1977 formalisierte Tore Dalenius die Mathematik der Zellunterdrückung . [ 15 ] Der schwedische Statistiker Tore Dalenius leistete mit seiner 1977 veröffentlichten Arbeit einen wichtigen Beitrag zum Datenschutz in statistischen Datenbanken. Darin legte er dar, dass Datenbanken keine Informationen über Einzelpersonen preisgeben sollten, die nicht anderweitig zugänglich sind. [ 16 ] Er definierte außerdem eine Typologie für statistische Offenlegungen. [ 4 ]

1979 formalisierten Dorothy Denning , Peter J. Denning und Mayer D. Schwartz das Konzept des Trackers, eines Angreifers, der die vertraulichen Inhalte einer statistischen Datenbank durch gezielte Abfragen und das Speichern der Ergebnisse ermitteln kann. [ 17 ] Diese und nachfolgende Forschungen zeigten, dass die Datenschutzeigenschaften einer Datenbank nur dann gewahrt werden können, wenn jede neue Abfrage im Lichte (möglicherweise aller) vorherigen Abfragen betrachtet wird. Dieser Forschungszweig wird mitunter als Abfrage-Datenschutz bezeichnet. Das Endergebnis war, dass die Nachverfolgung der Auswirkungen einer Abfrage auf die Privatsphäre von Personen in der Datenbank NP-schwer ist .

21. Jahrhundert

Im Jahr 2003 zeigten Kobbi Nissim und Irit Dinur , dass es unmöglich ist, beliebige Abfragen an eine private statistische Datenbank zu veröffentlichen, ohne dabei private Informationen preiszugeben. Sie demonstrierten, dass der gesamte Informationsgehalt der Datenbank durch die Veröffentlichung der Ergebnisse einer überraschend geringen Anzahl zufälliger Abfragen – weit weniger als in früheren Arbeiten angenommen – offengelegt werden kann. [ 18 ] Dieses allgemeine Phänomen ist als das Fundamentale Gesetz der Informationswiederherstellung bekannt . Die zentrale Erkenntnis, dass im allgemeinsten Fall die Privatsphäre nicht ohne das Einbringen eines gewissen Maßes an Rauschen geschützt werden kann, führte zur Entwicklung der differentiellen Privatsphäre.

Im Jahr 2006 veröffentlichten Cynthia Dwork , Frank McSherry , Kobbi Nissim und Adam D. Smith einen Artikel [ 3 ] , in dem sie die Menge des hinzuzufügenden Rauschens formalisierten und einen allgemeinen Mechanismus dafür vorschlugen. Diese Arbeit lieferte auch die erste formale Definition von differentieller Privatsphäre. [ 4 ] Ihre Arbeit wurde 2016 mit dem TCC Test-of-Time Award [ 19 ] und 2017 mit dem Gödel-Preis ausgezeichnet . [ 20 ]

Seitdem haben nachfolgende Forschungen gezeigt, dass es viele Möglichkeiten gibt, aus der Datenbank sehr genaue Statistiken zu erstellen und gleichzeitig ein hohes Maß an Datenschutz zu gewährleisten . [ 1 ]

Übernahme in realen Anwendungen

Bis heute gibt es über 12 reale Anwendungen von Differential Privacy , die bemerkenswertesten davon sind:

  • 2008: US Census Bureau , zur Darstellung von Pendelmustern. [ 21 ]
  • 2014: Googles RAPPOR, für Telemetriedaten wie Lernstatistiken über unerwünschte Software, die die Einstellungen von Nutzern manipuliert. [ 22 ] [ 23 ]
  • 2015: Google, für die Bereitstellung historischer Verkehrsstatistiken. [ 24 ]
  • 2016: Apple iOS 10 , zur Verwendung in intelligenten persönlichen Assistententechnologien. [ 25 ]
  • 2017: Microsoft, für Telemetrie in Windows. [ 26 ]
  • 2020: Social Science One und Facebook , ein Datensatz mit 55 Billionen Zellen, der Forschern Einblicke in Wahlen und Demokratie ermöglicht. [ 27 ] [ 28 ]
  • 2021: Das US Census Bureau nutzt Differential Privacy, um Daten zur Wahlkreisneueinteilung aus der Volkszählung 2020 zu veröffentlichen. [ 29 ]

Erwägungen des öffentlichen Interesses

Im Hinblick auf die differentielle Privatsphäre sind mehrere Aspekte des öffentlichen Interesses zu berücksichtigen, insbesondere für politische Entscheidungsträger und politikorientierte Zielgruppen, die sich für die sozialen Chancen und Risiken der Technologie interessieren: [ 30 ]

  • Datennutzen und -genauigkeit. Die Hauptsorge bei differenzieller Privatsphäre ist der Zielkonflikt zwischen Datennutzen und individueller Privatsphäre. Wird der Parameter für den Datenschutzverlust so eingestellt, dass der Nutzen im Vordergrund steht, sinkt der Nutzen für die Privatsphäre (weniger „Rauschen“ wird in das System eingespeist); wird er hingegen so eingestellt, dass ein hoher Datenschutz im Vordergrund steht, sinken Genauigkeit und Nutzen des Datensatzes (mehr „Rauschen“ wird in das System eingespeist). Entscheidungsträger sollten die mit differenzieller Privatsphäre verbundenen Zielkonflikte berücksichtigen, um geeignete Best Practices und Standards für die Anwendung dieser datenschutzfreundlichen Methode zu entwickeln, insbesondere angesichts der Vielfalt organisatorischer Anwendungsfälle. Es ist jedoch anzumerken, dass eine geringere Genauigkeit und ein geringerer Nutzen ein häufiges Problem aller statistischen Methoden zur Einschränkung der Datenweitergabe darstellen und nicht spezifisch für differenzielle Privatsphäre sind. Einzigartig ist hingegen, wie Entscheidungsträger, Forscher und Anwender die Risiken dieses Zielkonflikts minimieren können.
  • Datenschutz und Datensicherheit. Differenzielle Privatsphäre bietet ein quantifiziertes Maß für den Datenschutzverlust und eine Obergrenze und ermöglicht es Datenverantwortlichen, den Kompromiss zwischen Datenschutz und Genauigkeit explizit festzulegen. Sie ist robust gegenüber noch unbekannten Datenschutzangriffen. Allerdings fördert sie einen verstärkten Datenaustausch , der bei unsachgemäßer Umsetzung das Datenschutzrisiko erhöht. Differenzielle Privatsphäre suggeriert zwar Datenschutz, dieser hängt jedoch stark vom gewählten Datenschutzverlustparameter ab und kann stattdessen ein trügerisches Sicherheitsgefühl erzeugen. Schließlich ist sie zwar robust gegenüber unvorhergesehenen zukünftigen Datenschutzangriffen, doch können Gegenmaßnahmen entwickelt werden, die wir nicht vorhersehen können.

Angriffe in der Praxis

Da Differential Privacy-Verfahren auf realen Computern implementiert werden, sind sie anfällig für verschiedene Angriffe, die sich nicht allein durch die mathematischen Grundlagen der Verfahren selbst kompensieren lassen. Zusätzlich zu den üblichen Softwarefehlern, die sich durch Tests oder Fuzzing identifizieren lassen , können Implementierungen von Differential Privacy-Mechanismen die folgenden Schwachstellen aufweisen:

  • Subtile algorithmische oder analytische Fehler. [ 31 ] [ 32 ]
  • Timing-Seitenkanalangriffe. [ 33 ] Im Gegensatz zu Timing-Angriffen gegen Implementierungen kryptografischer Algorithmen, die typischerweise eine geringe Leckrate aufweisen und mit einer nicht-trivialen Kryptoanalyse beantwortet werden müssen , kann ein Timing-Kanal zu einer katastrophalen Kompromittierung eines differenziell privaten Systems führen, da ein gezielter Angriff dazu genutzt werden kann, genau das Bit zu exfiltrieren, das das System zu verbergen versucht.
  • Datenlecks durch Gleitkommaarithmetik . [ 34 ] Differential-private Algorithmen werden typischerweise in der Sprache der Wahrscheinlichkeitsverteilungen dargestellt, was naheliegend zu Implementierungen mit Gleitkommaarithmetik führt. Die Abstraktion der Gleitkommaarithmetik ist jedoch lückenhaft , und ohne sorgfältige Beachtung der Details kann eine naive Implementierung die differentielle Privatsphäre nicht gewährleisten. (Dies gilt insbesondere für ε-differentielle Privatsphäre, die selbst im ungünstigsten Fall keine Ausfallwahrscheinlichkeit zulässt.) Beispielsweise umfasst der Träger eines Standard-Samplers der Laplace-Verteilung (der beispielsweise für den Laplace-Mechanismus benötigt wird ) weniger als 80 % aller Gleitkommazahlen doppelter Genauigkeit ; darüber hinaus ist der Träger für Verteilungen mit unterschiedlichen Mittelwerten nicht identisch. Eine einzelne Stichprobe aus einer naiven Implementierung des Laplace-Mechanismus ermöglicht es, zwei benachbarte Datensätze mit einer Wahrscheinlichkeit von über 35 % zu unterscheiden.
  • Zeitliche Schwankungen bei Gleitkommaarithmetik. [ 35 ] Im Gegensatz zu Operationen mit ganzen Zahlen, die auf modernen CPUs typischerweise in konstanter Zeit ausgeführt werden, weist die Gleitkommaarithmetik eine signifikante, eingabeabhängige Zeitvariabilität auf. [ 36 ] Die Verarbeitung von Subnormalzahlen kann besonders langsam sein, bis zu ×100 im Vergleich zum Normalfall. [ 37 ]

Siehe auch

Referenzen

  1. ^ a b Hilton, M; Cal (2012). „Differential Privacy: A Historical Survey“ . Semantic Scholar . S2CID  16861132. Abgerufen am 31. Dezember 2023 .
  2. ^ Dwork, Cynthia (25.04.2008). „Differential Privacy: A Survey of Results“ . In: Agrawal, Manindra; Du, Dingzhu; Duan, Zhenhua; Li, Angsheng (Hrsg.). Theory and Applications of Models of Computation . Lecture Notes in Computer Science. Band 4978. Springer Berlin Heidelberg. S.  1–19 . doi : 10.1007/978-3-540-79228-4_1 . ISBN 978-3-540-79227-7S2CID  2887752 .​
  3. ^ a b c d e f g h i j k l m n o p q Kalibrierung von Rauschen zur Sensitivität in der Analyse privater Daten von Cynthia Dwork, Frank McSherry, Kobbi Nissim und Adam Smith. In: Theory of Cryptography Conference (TCC), Springer, 2006. doi : 10.1007/11681878_14 . Die vollständige Version erschien im Journal of Privacy and Confidentiality, 7 (3), 17–51. doi : 10.29012/jpc.v7i3.405
  4. ^ a b c Hilton, Michael. Differential Privacy: A Historical Survey (PDF) . S2CID 16861132 . Archiviert vom Original (PDF) am 01.03.2017. 
  5. Dwork , Cynthia (2008). „ Differential Privacy: A Survey of Results“ . In : Agrawal, Manindra; Du, Dingzhu; Duan, Zhenhua; Li, Angsheng (Hrsg.). Theory and Applications of Models of Computation . Lecture Notes in Computer Science. Band 4978. Berlin, Heidelberg: Springer. S.  1–19 . doi : 10.1007/978-3-540-79228-4_1 . ISBN 978-3-540-79228-4Die
  6. ^ Die algorithmischen Grundlagen der differentiellen Privatsphäre von Cynthia Dwork und Aaron Roth. Foundations and Trends in Theoretical Computer Science. Band 9, Nr. 3–4, S. 211–407, August 2014. doi : 10.1561/0400000042
  7. ^ a b c Datenschutzintegrierte Abfragen: Eine erweiterbare Plattform für datenschutzfreundliche Datenanalyse von Frank D. McSherry. In: Proceedings der 35. SIGMOD International Conference on Management of Data (SIGMOD), 2009. doi : 10.1145/1559845.1559850
  8. ^ a b Differential Privacy von Cynthia Dwork, International Colloquium on Automata, Languages ​​and Programming (ICALP) 2006, S. 1–12. doi : 10.1007/11787006_1
  9. ^ Kairouz, Peter, Sewoong Oh und Pramod Viswanath. „Das Kompositionstheorem für differentielle Privatsphäre.“ Internationale Konferenz für maschinelles Lernen. PMLR, 2015. Link
  10. ^ „Microsoft Research – Forschung zu neuen Technologien, Computern und Software“ . Microsoft Research .
  11. ^ Dimitrakakis, Christos; Nelson, Blaine; Zhang, Zuhe; Mitrokotsa, Aikaterini; Rubinstein, Benjamin (23. Dezember 2016). „Bayesian Differential Privacy through Posterior Sampling“. arXiv : 1306.1066 [ stat.ML ].
  12. ^ Warner, SL (März 1965). „Randomisierte Antwort: Eine Umfragetechnik zur Vermeidung von Ausweichverhalten“. Journal of the American Statistical Association . 60 (309). Taylor & Francis : 63–69 . doi : 10.1080 /01621459.1965.10480775 . JSTOR 2283137. PMID 12261830. S2CID 35435339 .   
  13. ^ Dwork, Cynthia. „Eine solide Grundlage für die private Datenanalyse.“ Communications of the ACM 54.1 (2011): 86–95, siehe Fußnote 19, Seite 91.
  14. ^ Bambauer, Jane, Krishnamurty Muralidhar und Rathindra Sarathy. „Narrengold: Eine illustrierte Kritik der differentiellen Privatsphäre.“ Vand. J. Ent. & Tech. L. 16 (2013): 701.
  15. ^ Tore Dalenius (1977). „Towards a methodology for statistical disclosure control“ . Statistik Tidskrift . 15. hdl : 1813/111303 .
  16. ^ Dwork, Cynthia (2006). „Differential Privacy“ . In: Bugliesi, Michele; Preneel, Bart; Sassone, Vladimiro; Wegener, Ingo (Hrsg.). Automaten, Sprachen und Programmierung . Lecture Notes in Computer Science. Band 4052. Berlin, Heidelberg: Springer. S.  1–12 . doi : 10.1007/11787006_1 . ISBN 978-3-540-35908-1Die
  17. ^ Dorothy E. Denning; Peter J. Denning; Mayer D. Schwartz (März 1979). „The Tracker: A Threat to Statistical Database Security“ . ACM Transactions on Database Systems . 4 (1): 76–96 . doi : 10.1145/320064.320069 . S2CID 207655625 . 
  18. ^ Irit Dinur und Kobbi Nissim. 2003. Offenlegung von Informationen unter Wahrung der Privatsphäre. In: Proceedings of the twenty-second ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems (PODS '03). ACM, New York, NY, USA, 202–210. doi : 10.1145/773153.773173
  19. ^ „TCC Test of Time Award“ . www.iacr.org .
  20. ^ „Gödel-Preis 2017“ . EATCS .
  21. ^ Ashwin Machanavajjhala, Daniel Kifer, John M. Abowd, Johannes Gehrke und Lars Vilhuber. „Datenschutz: Theorie trifft Praxis auf der Landkarte“. In: Proceedings der 24. Internationalen Konferenz für Datentechnik (ICDE) 2008.
  22. ^ Erlingsson, Úlfar; Pihur, Vasyl; Korolova, Aleksandra (2014). „RAPPOR: Randomized Aggregatable Privacy-Preserving Ordinal Response“ . Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security . S.  1054–1067 . arXiv : 1407.6981 . doi : 10.1145 /2660267.2660348 . ISBN 978-1-4503-2957-6Die
  23. ^ google/rappor , GitHub, 15.07.2021
  24. ^ Urbane Mobilität mit Technologie angehen von Andrew Eland. Google Policy Europe Blog, 18. November 2015.
  25. ^ „Apple – Pressemitteilung – Apple stellt iOS 10 vor, das größte iOS-Update aller Zeiten“ . Apple . Abgerufen am 20. Juni 2023 .
  26. ^ Private Erfassung von Telemetriedaten durch Bolin Ding, Jana Kulkarni und Sergey Yekhanin. NIPS 2017.
  27. ^ Messing, Solomon; DeGregorio, Christina; Hillenbrand, Bennett; King, Gary; Mahanti, Saurav; Mukerjee, Zagreb; Nayak, Chaya; Persily, Nate; State, Bogdan (2020), „Social Sciences“, Facebook Privacy-Protected Full URLs Data Set , Zagreb Mukerjee, Harvard Dataverse, doi : 10.7910/dvn/tdoapg , abgerufen am 08.02.2023.
  28. ^ Evans, Georgina; King, Gary (Januar 2023). „Statistisch valide Schlussfolgerungen aus unterschiedlich privaten Datenveröffentlichungen, mit Anwendung auf den Facebook-URLs-Datensatz“ . Political Analysis . 31 (1): 1–21 . doi : 10.1017/pan.2022.1 . ISSN 1047-1987 . S2CID 211137209 .  
  29. ^ „Vermeidung der Offenlegung von Daten bei der Volkszählung 2020: Eine Einführung“ . 2. November 2021.
  30. ^ „Technologie-Factsheet: Differential Privacy“ . Belfer Center for Science and International Affairs . Abgerufen am 12. April 2021 .
  31. ^ McSherry, Frank (25. Februar 2018). „Ubers differentielle Privatsphäre … ist wahrscheinlich nicht vorhanden . “ GitHub .
  32. ^ Lyu, Min; Su, Dong; Li, Ninghui (1. Februar 2017). „Understanding the sparse vector technique for differential privacy“. Proceedings of the VLDB Endowment . 10 (6): 637–648 . arXiv : 1603.01699 . doi : 10.14778/3055330.3055331 . S2CID 5449336 . 
  33. ^ Haeberlen, Andreas; Pierce, Benjamin C.; Narayan, Arjun (2011). „Differential Privacy Under Fire“. 20. USENIX Security Symposium .
  34. ^ Mironov, Ilya (Oktober 2012). „Zur Bedeutung der niedrigstwertigen Bits für die differentielle Privatsphäre“. Proceedings der ACM-Konferenz 2012 über Computer- und Kommunikationssicherheit (PDF) . ACM. S.  650–661 . doi : 10.1145/2382196.2382264 . ISBN 9781450316514S2CID  3421585 .​
  35. ^ Andrysco, Marc; Kohlbrenner, David; Mowery, Keaton; Jhala, Ranjit; Lerner, Sorin; Shacham, Hovav (Mai 2015). „Über subnormale Gleitkommazahlen und abnormales Timing“. 2015 IEEE Symposium on Security and Privacy . S.  623–639 . doi : 10.1109/SP.2015.44 . ISBN 978-1-4673-6949-7. S2CID  1903469 .
  36. ^ Kohlbrenner, David; Shacham, Hovav (August 2017). „Zur Wirksamkeit von Schutzmaßnahmen gegen Gleitkomma-Timing-Kanäle“. Proceedings of the 26th USENIX Conference on Security Symposium . USENIX Association: 69–81 .
  37. ^ Dooley, Isaac; Kale, Laxmikant (September 2006). „Quantifizierung der durch subnormale Gleitkommawerte verursachten Interferenzen“ (PDF) . Proceedings of the Workshop on Operating System Interference in High Performance Applications .

Weiterführende Literatur

Veröffentlichungen

Anleitungen