Top 6 Open Source Tools zur Erkennung sensibler Daten
Die folgenden Tools wurden basierend auf der GitHub-Aktivität ausgewählt und nach der Anzahl der GitHub-Sterne in absteigender Reihenfolge sortiert. Sie decken die Hauptanwendungsfälle für die Erkennung sensibler Daten ab: Metadaten-Katalogisierung mit Datenherkunft, agentenloses Scannen und API-basierte Erkennung von PII, PCI-Daten und Zugangsdaten im Ruhezustand.
Mehr lesen: Tools zur Erkennung und Klassifizierung sensibler Daten, DLP-Software.
Administrative Funktionen
Tool | Grafisches Dashboard | Suchbasiert | Datenherkunft | Föderiertes Datenbanksystem |
|---|---|---|---|---|
DataHub | ✅ | ✅ | ✅ | ✅ |
Apache – Atlas | ✅ | ✅ | ✅ | ❌ |
Marquez | ✅ | ✅ | ✅ | Nicht geteilt. |
OpenDLP | ❌ | ❌ | ❌ | ❌ |
Piiano Vault – ReDiscovery | ❌ | Nicht geteilt. | ❌ | ❌ |
Nightfall AI – Scanner für sensible Daten | ✅ | ✅ | ❌ | ❌ |
Funktionsbeschreibungen:
- Grafisches Dashboard – ermöglicht die Visualisierung Ihrer Datenergebnisse.
- Suchbasierte Funktionalität – ermöglicht die Suche nach Datenressourcen.
- Datenherkunft – ermöglicht es Benutzern, zu visualisieren, wie Daten über ein System hinweg im Laufe der Zeit generiert, transformiert, übertragen und verwendet werden.
- Föderiertes Datenbanksystem – bildet mehrere autonome Datenbanksysteme in einem einzigen föderierten Datenbanksystem ab.
Diese Funktionalitäten (insbesondere Datenherkunft und Suchfunktionen) ermöglichen es Unternehmen:
- Den Standort ihrer persönlichen Informationen (PII), Daten der Payment Card Industry (PCI) usw. zu enthüllen, die über mehrere Datenbanken, Apps und Benutzerendpunkte verteilt gespeichert sind.
- Die Einhaltung branchenspezifischer regulatorischer Datenschutz- und Privatsphärenstandards wie der Datenschutz-Grundverordnung (DSGVO) und dem California Consumer Privacy Act (CCPA).
Datensicherheitsfunktionen
Funktionsbeschreibungen:
- Datenmaskierung– ermöglicht das Verbergen von Daten durch Änderung ihrer ursprünglichen Buchstaben und Zahlen, sodass sie für unbefugte Eindringlinge keinen Wert haben, aber für autorisierte Mitarbeiter weiterhin nutzbar bleiben.
- Data Loss Prevention (DLP) – erkennt potenzielle Datenlecks und verhindert sie durch Blockieren sensibler Daten.
Kategorien und GitHub-Sterne
Tool-Auswahl & Sortierung:
- Anzahl der Bewertungen: 10+ GitHub-Sterne.
- Update-Release: Bis November 2024 wurde mindestens ein Update in der letzten Woche veröffentlicht.
- Sortierung: Tools werden nach GitHub-Sternen in absteigender Reihenfolge sortiert.
DataHub
DataHub ist eine Open-Source-Plattform zur Erkennung sensibler Daten, Observability und Governance, die von Acryl Data und LinkedIn entwickelt wurde. Sie wird auch kommerziell von Acryl Data als Cloud-gehostetes SaaS-Angebot angeboten.
Hauptmerkmale:
- Datenherkunft auf Spaltenebene: verfolgt den Datenfluss von der Quelle bis zur Nutzung über Plattformen hinweg.
- KI-gestützte Datenqualität: Anomalieerkennung markiert Datenqualitätsprobleme automatisch.
- Erweiterbarkeit: REST APIs, Python SDK und LangChain-Integration zum Erstellen von Agents mit Zugriff auf DataHub-Metadaten.
- 80+ native Connectors: Snowflake, BigQuery, Redshift, Hive, Athena, Postgres, MySQL, SQL Server, Trino, Looker, Power BI, Tableau, Okta, LDAP, S3, Delta Lake und andere.
Überlegung: Die DataHub-Architektur führt mehrere miteinander verbundene Dienste aus (GMS, MCE Consumer, MAE Consumer, Suchindex, Graph Store). Produktionsbereitstellungen erfordern in der Regel Kubernetes. Die Einrichtungskomplexität ist der am häufigsten genannte Schmerzpunkt in der Community.
Apache – Atlas
Apache Atlas ist ein Open-Source-Tool für Metadatenmanagement und Governance, das primär für Hadoop- und Big-Data-Ökosysteme entwickelt wurde. Es unterstützt Klassifizierung, Verfolgung der Datenherkunft und Suche nach Datenressourcen in Umgebungen, die auf Hive, HBase, Kafka, Spark, Sqoop und Storm basieren.
Hauptmerkmale
- Dynamische Klassifizierung: Apache Atlas ermöglicht die Erstellung benutzerdefinierter Klassifizierungen wie PII (Personenbezogene Informationen), EXPIRES_ON, DATA_QUALITY und SENSITIVE.
- Metadatentypen: Die Plattform bietet vordefinierte Metadatentypen für Hadoop- und Nicht-Hadoop-Umgebungen. Dies ermöglicht es Benutzern, Metadaten für mehrere Datenquellen wie HBase, Hive, Sqoop, Kafka und Storm zu verwalten.
- SQL-ähnliche Abfragesprache (DSL): Die Plattform unterstützt eine domänenspezifische Sprache (DSL), die SQL-ähnliche Abfragefunktionen zum Suchen von Entitäten bietet. Dies macht sie für Benutzer zugänglich, die mit SQL vertraut sind.
- Integration mit externen Tools: Apache Hive, Apache Spark, Kafka und Presto, was es für Big-Data-Umgebungen anpassungsfähig macht.
Überlegungen:
- Die Konfiguration von Atlas in einer Multi-Cloud-Umgebung ist komplex, insbesondere beim Überbrücken von AWS, Azure und Databricks APIs. Atlas verfügt nicht über native Connectors für diese Plattformen; zusätzliche Konfiguration ist erforderlich, um die Herkunft von AWS Redshift oder Azure Synapse aufzuzeichnen.
- Cloud-native Katalogisierungsdienste (z. B. AWS Glue) können für Teams, die sich bereits einem einzelnen Cloud-Anbieter verpflichtet haben, eine geringere Overhead-Herkunftsverfolgung bieten.
- Atlas eignet sich am besten für Organisationen, die Hadoop, Spark und Hive im großen Maßstab betreiben. Teams ohne Hadoop-zentrischen Stack werden feststellen, dass ihre Architektur unnötige Komplexität hinzufügt.
Als bevorzugte Quelle hinzufügenMarquez
Marquez ist ein Open-Source-Datenkatalog zum Sammeln, Aggregieren und Visualisieren von Metadaten aus einem Datenökosystem. Es bietet eine Web-UI und REST API zum Durchsuchen von Datensätzen, Verstehen ihrer Abhängigkeiten und Verfolgen von Änderungen durch Datenpipelines.
- Datensätze durchsuchen: Benutzer können leicht nach Datensätzen suchen, ihre Attribute anzeigen und ihre Abhängigkeiten im gesamten Datenökosystem verstehen.
- Herkunft visualisieren: Der Herkunftsgraph in Marquez bietet eine klare, interaktive Ansicht davon, wie Datensätze verbunden sind und durch Workflows transformiert werden. Dies ist entscheidend für das Verständnis von Datenpipelines, das Nachverfolgen von Fehlern und die Sicherstellung der Datenzuverlässigkeit.
- Zentralisiertes Metadaten-Repository: Marquez aggregiert Metadaten aus verschiedenen Quellen und konsolidiert sie in einem einzigen System für einfachen Zugriff und Verwaltung.
Beispiel-Workflow: Um Herkunftsmetadaten zu inspizieren, navigieren Sie zur Marquez-UI und suchen Sie nach einem Job (z. B. etl_delivery_7_days) über das Suchfeld. Vom Ausgabedatensatz des Jobs (public.delivery_7_daysYou can view the dataset name, schema, description, and upstream inputs.
Piiano Vault – ReDiscovery
Piiano Vault ist ein Privacy-Vault zum Speichern und Sichern sensibler personenbezogener Daten innerhalb Ihrer eigenen Cloud-Umgebung. Anstatt vorhandene Datenbanken nach sensiblen Daten zu durchsuchen, ist Vault als autoritative Speicherung für die sensibelsten Felder konzipiert: Kreditkartennummern, Bankkontonummern, nationale IDs (Sozialversicherungsnummern), Namen, E-Mails und Telefonnummern, installiert neben Ihren vorhandenen Anwendungsdatenbanken.
Vault wird über Docker oder Kubernetes (Helm-Charts verfügbar) in Ihrer Architektur bereitgestellt. SDKs sind für Python (Django ORM), TypeScript, Java und Go verfügbar. Das vault-releases-Repository wurde zuletzt im August 2025 aktualisiert.
Unterscheidung des Anwendungsfalls: Vault ist kein Scanner zur Datenerkennung. Es ist ein strukturiertes Speichersystem für sensible Daten, die Organisationen zentralisieren und schützen möchten, kein Werkzeug zum Auffinden sensibler Daten, die bereits über bestehende Systeme verteilt sind.
Nightfall
Nightfall ist eine kommerzielle, KI-native DLP-Plattform, kein vollständig Open-Source-Tool. Seine GitHub-Repositories enthalten Open-Source-Scanner-Skripte (Apache 2.0), die die Nightfall API verwenden, um Verzeichnisse, Exporte und Backups zu scannen. Die Ausführung von Scans erfordert einen Nightfall API-Schlüssel und ruft die kommerzielle Erkennungsengine von Nightfall auf. Die kostenlose Stufe erlaubt bis zu 100 Scans pro Monat für öffentliche und private Repositories.
Funktionen des Open-Source-Scanners (kostenlose Stufe):
- Scant die gesamte Commit-Historie öffentlicher und privater Repositories.
- Erkennt Zugangsdaten, Geheimnisse, PII und Kreditkartennummern.
- Führt bis zu 100 Scans pro Monat aus.
Unterscheidungsmerkmal: Nightfall kann Warnungen an Slack senden, wenn Verstöße erkannt werden, und Ergebnisse an ein SIEM, Berichtstool oder Webhook-Endpunkt pushen.
Beispielanwendung: Scannen Sie ein Salesforce-Backup, um sensible Daten im Ruhezustand zu erkennen. Der Scanner (1) übermittelt Backup-Dateien an die Nightfall API zum Scannen, (2) führt einen lokalen Webhook-Server aus, um Ergebnisse zu empfangen, und (3) exportiert Funde in eine CSV-Datei.
Die oben genannte URL wird von Nightfall bereitgestellt. Es ist die temporär signierte S3-URL zum Abrufen der sensiblen Funde, die Nightfall identifiziert hat.
Weiterführende Literatur
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sezer, Sena},
title = {{Top 6 Open Source Tools zur Erkennung sensibler Daten}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/open-source-sensitive-data-discovery}},
note = {AIMultiple. Abgerufen am 24. Juni 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.