Top 6 Open-Source-Tools zur Erkennung sensibler Daten

Die folgenden Tools wurden auf Basis der GitHub-Aktivität ausgewählt und sind nach GitHub-Sternen in absteigender Reihenfolge sortiert. Sie decken die Hauptanwendungsfälle für die Erkennung sensibler Daten ab: Metadatenkatalogisierung mit Datenherkunft, agentenloses Scannen und API-basierte Erkennung von PII, PCI-Daten und ruhenden Anmeldeinformationen.

Eines sollte vor der Liste klar gesagt werden: Diese sechs Tools machen nicht alle dasselbe, und einige der Namen auf dieser Liste sind im engeren Sinne keine Tools zur Erkennung sensibler Daten.

DataHub, Apache Atlas und Marquez sind Plattformen für Metadatenkataloge und Datenherkunft; sie helfen Ihnen zu verstehen, welche Daten Sie haben und wo sie hinfließen, was eine Voraussetzung für die Erkennung ist, aber nicht dasselbe wie das Scannen nach PII.

• OpenDLP ist das einzige Tool hier, das speziell für das Auffinden ruhender sensibler Daten entwickelt wurde.
• Piiano Vault ist ein Speichersystem für Daten, von denen Sie bereits wissen, dass sie sensibel sind.
• Nightfall ist eine kommerzielle Erkennungs-Engine mit darum herum gestalteten Open-Source-Scanner-Skripten.

Jedes passt zu einer anderen Phase des Datensicherheitsproblems.

Lesen Sie mehr: Tools zur Erkennung & Klassifizierung sensibler Daten, DLP-Software.

Administrative Funktionen

Funktionsbeschreibungen:

• Grafisches Dashboard – ermöglicht die Visualisierung Ihrer Datenfunde.
• Suchbasierte Funktionalität – ermöglicht die Suche nach Datenbeständen.
• Datenherkunft – ermöglicht Benutzern zu visualisieren, wie Daten im Laufe der Zeit in einem System generiert, transformiert, übertragen und verwendet werden.
• Föderiertes Datenbanksystem – bildet mehrere autonome Datenbanksysteme in einer einzigen föderierten Datenbank ab.

Diese Funktionalität (insbesondere Datenherkunft und Suchfunktionen) ermöglicht es Unternehmen:

• Den Speicherort ihrer personenbezogenen Daten (PII), Daten der Zahlungskartenindustrie (PCI) usw. aufzudecken, die über mehrere Datenbanken, Apps und Benutzerendpunkte verteilt gespeichert sind.
• Branchenübliche regulatorische Datenschutz- und Privatsphäre-Standards wie die Datenschutz-Grundverordnung (DSGVO) und den California Consumer Privacy Act (CCPA) einzuhalten.

Datensicherheitsfunktionen

Funktionsbeschreibungen:

• Datenmaskierung– ermöglicht das Verbergen von Daten durch Änderung ihrer ursprünglichen Buchstaben und Zahlen, sodass sie für unbefugte Eindringlinge wertlos sind, während sie für autorisierte Mitarbeiter nutzbar bleiben.
• Verhinderung von Datenverlust (DLP) – erkennt potenzielle Datenlecks und verhindert sie durch Blockierung sensibler Daten.

Kategorien und GitHub-Sterne

Tool-Auswahl & Sortierung:

• Anzahl der Bewertungen: 10+ GitHub-Sterne.
• Update-Veröffentlichung: Mindestens ein Update wurde in der letzten Woche (Stand November 2024) veröffentlicht.
• Sortierung: Tools sind nach GitHub-Sternen in absteigender Reihenfolge sortiert.

DataHub

DataHub ist eine Open-Source-Metadatenplattform für Datenerkennung, Observability und Governance, ursprünglich von LinkedIn entwickelt und jetzt von Acryl Data sowohl als Open-Source-Projekt (Apache 2.0) als auch als kommerzielles Cloud-Angebot gepflegt. Es ist das mit Abstand am aktivsten entwickelte Tool auf dieser Liste: 3.000+ Organisationen betreiben DataHub weltweit in der Produktion, darunter hyperskalierende Technologieunternehmen, regulierte Finanzinstitute und Gesundheitsdienstleister.

Was DataHub tatsächlich für die Erkennung sensibler Daten tut

DataHub ist ein Metadatenkatalog, kein Scanner. Es sagt Ihnen, welche Datenbestände in Ihrem Stack vorhanden sind, wem sie gehören, wie sie durch Pipelines fließen und wie ihre Qualität aussieht, aber es scannt keine Dateisysteme oder Datenbanken nach PII-Mustern, so wie OpenDLP es tut. Der Anwendungsfall der Datenerkennung, den es löst, ist: „Wir haben 200 Datenquellen und wissen nicht, was darin enthalten ist oder wer sie nutzt.“ Der Anwendungsfall der Erkennung sensibler Daten, den es nicht löst, ist: „Wir müssen alle Dateien finden, die Sozialversicherungsnummern auf unseren Windows-Endpunkten enthalten.“

Hauptfunktionen:

• Datenherkunft auf Spaltenebene: Verfolgt den Datenfluss von der Quelle bis zum Verbrauch über Plattformen hinweg. Neue Unterstützung im Jahr 2026 umfasst Snowflake Dynamic Tables, auf Quell-Data-Warehouses zurückgestitchte Sigma-Daten, Glue und Iceberg, Athena-Zuordnung zum Katalog anstelle von rohen S3-Pfaden und Power BI über den offiziellen M-Query-Parser von Microsoft.
• 90+ native Konnektoren: Snowflake, BigQuery, Redshift, Hive, Athena, Postgres, MySQL, SQL Server, Looker, Power BI, Tableau, Okta, LDAP, S3, Delta Lake und andere. Neue Konnektoren, die in Q2 2026 ausgeliefert wurden, umfassen Airbyte, Matillion, dltHub, Informatica und ThoughtSpot. In Entwicklung: Monte Carlo, SAP Datasphere, AWS QuickSight und Streaming-Konnektoren für Firehose und Kinesis.
• MCP-Server-Unterstützung: Native Unterstützung für KI-Agenten über MCP, LLM-Integrationen und Kontextmanagement, was bedeutet, dass KI-Assistenten DataHub-Metadaten direkt abfragen können, ohne die Tools wechseln zu müssen.
• Vertiefte Integration von Google Cloud (April 2026): DataHub erweiterte seinen Google Cloud Knowledge Catalog-Konnektor um Unterstützung für die Gemini Enterprise Agent Platform, Bigtable, Spanner, Pub/Sub und Dataproc Metastore, neben BigQuery und Google Cloud Storage.

Zu bedenken: Die Architektur von DataHub führt mehrere miteinander verbundene Dienste aus. Produktionsbereitstellungen erfordern in der Regel Kubernetes. Die Komplexität der Einrichtung ist der am häufigsten genannte Schmerzpunkt in der Community, und sie ist mit der Hinzufügung von KI-Funktionen nicht einfacher geworden. Wenn Ihr Team keine Kubernetes-Erfahrung hat, planen Sie Zeit für die Lernkurve ein, bevor Sie sich für eine Produktionseinführung entscheiden.

Apache – Atlas

Apache Atlas ist eine Open-Source-Plattform für Metadatenmanagement und Governance, die hauptsächlich für Hadoop- und Big-Data-Ökosysteme entwickelt wurde. Sie unterstützt Klassifizierung, Herkunftsverfolgung und Suche über Datenbestände in Umgebungen, die auf Hive, HBase, Kafka, Spark, Sqoop und Storm aufbauen.

Hauptfunktionen

• Dynamische Klassifizierung: Atlas ermöglicht die Erstellung benutzerdefinierter Klassifizierungen wie PII, EXPIRES_ON, DATA_QUALITY und SENSITIVE. Diese können auf Entitäts- oder Attributebene angewendet werden, was nützlich ist, um sensible Spalten in Hive-Tabellen zu kennzeichnen, ohne einen separaten Katalog aufbauen zu müssen.
• Metadatentypen: Die Plattform bietet vordefinierte Metadatentypen für Hadoop- und Nicht-Hadoop-Umgebungen, die HBase, Hive, Sqoop, Kafka und Storm abdecken.
• SQL-ähnliche Abfragesprache (DSL): Atlas unterstützt eine domänenspezifische Sprache, die eine SQL-ähnliche Abfragefunktionalität für die Suche nach Entitäten bietet. Nützlich für Analysten, die mit SQL vertraut sind und den Metadatenkatalog abfragen müssen, ohne eine neue Syntax lernen zu müssen.
• Integration mit externen Tools: Apache Hive, Apache Spark, Kafka und Presto, wodurch es sich für Big-Data-Umgebungen eignet.

Zu bedenken:

• Die Konfiguration von Atlas in einer Multi-Cloud-Umgebung ist komplex, insbesondere bei der Überbrückung von AWS-, Azure- und Databricks-APIs. Atlas verfügt nicht über native Konnektoren für diese Plattformen; zusätzliche Konfiguration ist erforderlich, um die Herkunft von AWS Redshift oder Azure Synapse zu erfassen.
• Cloud-native Katalogisierungsdienste (z. B. AWS Glue) bieten möglicherweise eine Herkunftsverfolgung mit geringerem Overhead für Teams, die bereits auf einen einzelnen Cloud-Anbieter festgelegt sind.
• Atlas eignet sich am besten für Organisationen, die Hadoop, Spark und Hive in großem Umfang betreiben. Teams ohne Hadoop-zentrierten Stack werden feststellen, dass seine Architektur unnötige Komplexität hinzufügt.

Marquez

Marquez ist ein Open-Source-Metadatendienst zum Sammeln, Aggregieren und Visualisieren von Metadaten des Datenökosystems. Es wurde bei WeWork erstellt und 2019 als Open Source veröffentlicht. Marquez ist ein Projekt im Graduierungsstadium der LF KI & Data Foundation, nachdem es im September 2023 graduiert wurde.

Was Marquez tatsächlich tut

Marquez konzentriert sich ausschließlich auf Herkunftsverfolgung, nicht auf Erkennung. Es ist die Referenzimplementierung des OpenLineage-Standards, der offenen Spezifikation dafür, wie Pipelines Herkunftsmetadaten melden. Wenn Sie Apache Airflow, Apache Spark, Apache Flink, dbt oder Dagster verwenden, können diese Tools OpenLineage-Ereignisse ausgeben, die Marquez sammelt und visualisiert. Das Ergebnis ist ein Herkunftsdiagramm, das zeigt, wie Datensätze durch Ihre Pipelines fließen, welche Jobs sie produziert haben und wie Läufe historisch aussehen.

Dies macht Marquez nützlich für: das Verständnis, was kaputt geht, wenn sich ein vorgelagerter Datensatz ändert, das Debuggen von Pipeline-Fehlern durch Nachverfolgen der Datenprovenienz und das Wissen, welche Jobs einen bestimmten Datensatz konsumieren, bevor Sie ihn abschaffen. Es ist kein Tool zum Scannen von Endpunkten nach PII.

Hinweis zur Community-Aktivität

Anfang 2026 sind offene Issues auf Marquez' GitHub, die bis Mai 2025 zurückreichen, noch nicht bearbeitet. Die Commit-Geschwindigkeit hat sich im Vergleich zu DataHub und OpenMetadata verlangsamt. Wenn Sie einen sich schnell bewegenden Katalog mit reaktionsschnellen Maintainern benötigen, ist Marquez die langsamere Option. Wenn Sie einen stabilen, leichtgewichtigen Herkunftsspeicher benötigen, der den OpenLineage-Standard ohne den Infrastruktur-Overhead von DataHub implementiert, erfüllt Marquez diese Aufgabe immer noch gut.

Hauptfunktionen:

• OpenLineage-Referenzimplementierung: Funktioniert sofort mit jeder OpenLineage-Integration. Dies ist Marquez' stärkstes Unterscheidungsmerkmal: Kein anderes Tool auf dieser Liste ist die kanonische Implementierung des Herkunftsstandards.
• Visualisierung des Herkunftsdiagramms: Die Web-UI bietet eine interaktive Ansicht, wie Datensätze verbunden und durch Workflows transformiert werden. Nützlich zum Verstehen von Pipeline-Abhängigkeiten und zum Nachverfolgen von Fehlern.
• REST API und GraphQL: Die Herkunfts-API ermöglicht die Automatisierung von Aufgaben wie Backfills und Ursachenanalyse durch programmatisches Durchlaufen des Abhängigkeitsbaums. Der GraphQL-Endpunkt befindet sich derzeit in der Beta-Phase.
• Geringer Infrastruktur-Overhead: Marquez läuft auf PostgreSQL und benötigt weder Kafka, Elasticsearch noch eine Graphdatenbank, anders als DataHub oder Atlas. Für Teams, die Herkunftsverfolgung ohne einen komplexen Stack wünschen, ist diese Einfachheit der springende Punkt.

Beispiel-Workflow: Um Herkunftsmetadaten zu überprüfen, navigieren Sie zur Marquez-UI und suchen Sie mit dem Suchfeld nach einem Job (z. B. etl_delivery_7_days). Vom Ausgabedatensatz des Jobs aus können Sie den Datensatznamen, das Schema, die Beschreibung und die vorgelagerten Eingaben einsehen. Das Herkunftsdiagramm zeigt alles, was in diesen Datensatz einfließt oder von ihm abhängt.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Piiano Vault – ReDiscovery

Piiano Vault ist ein Datenschutz-Tresor zum Speichern und Sichern sensibler personenbezogener Daten in Ihrer eigenen Cloud-Umgebung. Es ist kein Scanner zur Datenerkennung; diese Unterscheidung ist wichtig genug, dass es sich lohnt, sie klar zu sagen, bevor beschrieben wird, was es tut.

Der Anwendungsfall, den Vault löst, ist: „Wir wissen, welche Felder sensibel sind (Kreditkartennummern, SSNs, Namen, E-Mails, Telefonnummern), und wir möchten sie aus unseren Anwendungsdatenbanken in einen zentralisierten, zugriffskontrollierten Speicher verschieben.“ Vault wird zum autoritativen Speicher für diese Felder. Die Anwendungsdatenbank enthält ein token oder eine Referenz; der tatsächliche Wert befindet sich in Vault. Dies ist ein Architekturmuster für den Datenschutz, kein Erkennungstool.

Vault wird über Docker oder Kubernetes bereitgestellt (Helm-Charts verfügbar). SDKs existieren für Python (Django ORM), TypeScript, Java und Go. Das vault-releases-Repository wurde zuletzt im August 2025 aktualisiert.

Nightfall

Nightfall ist eine kommerzielle, KI-native DLP-Plattform. Ihre GitHub-Repositories enthalten Open-Source-Scanner-Skripte (Apache 2.0), die kommerzielle Erkennungs-API von Nightfall wrappen. Diese Unterscheidung ist wichtig für die „Open-Source“-Rahmenbedingung: Die Scanner-Skripte sind Open Source, aber die Erkennungs-Engine, die tatsächlich PII, Anmeldeinformationen und Zahlungsdaten identifiziert, ist der proprietäre Dienst von Nightfall. Die Ausführung von Scans erfordert einen Nightfall-API-Key und Aufrufe der kommerziellen API von Nightfall. Die kostenlose Stufe erlaubt bis zu 100 Scans pro Monat für öffentliche und private Repositories.

Dies ist das leistungsfähigste Tool auf dieser Liste zur Erkennung sensibler Daten in modernen Umgebungen. Nightfall deckt GitHub-Repositories, S3-Buckets, Salesforce-Exporte und ähnliche Quellen ab, ist aber nicht vollständig Open Source. Wenn Ihre Anforderung null Abhängigkeit von einem kommerziellen Anbieter ist, erfüllt Nightfall diese nicht.

Fähigkeiten des Open-Source-Scanners (kostenlose Stufe):

• Scannt den gesamten Commit-Verlauf öffentlicher und privater Repositories.
• Erkennt Anmeldeinformationen, Secrets, PII und Kreditkartennummern mithilfe der ML-Erkennungsmodelle von Nightfall.
• Führt bis zu 100 Scans pro Monat kostenlos aus.
• Sendet Warnmeldungen an Slack, wenn Verstöße erkannt werden.
• Leitet Ergebnisse an ein SIEM, ein Reporting-Tool oder einen Webhook-Endpunkt weiter.

Besonderes Merkmal: Nightfall kann Warnmeldungen an Slack senden, wenn Verstöße erkannt werden, und Ergebnisse an ein SIEM, ein Reporting-Tool oder einen Webhook-Endpunkt weiterleiten.

Beispiel-Anwendungsfall: Scannen Sie ein Salesforce-Backup, um ruhende sensible Daten zu erkennen. Der Scanner (1) übermittelt Backup-Dateien zur Überprüfung an die API von Nightfall, (2) führt einen lokalen Webhook-Server aus, um Ergebnisse zu empfangen, und (3) exportiert die Ergebnisse in eine CSV-Datei.

Weiterführende Literatur

• Loganalysesoftware
• 6 Praxisbeispiele für RBAC

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Sezer, Sena},
  title  = {{Top 6 Open-Source-Tools zur Erkennung sensibler Daten}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/open-source-sensitive-data-discovery}},
  note   = {AIMultiple. Abgerufen am 24. Juni 2026}
}

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 60% der Fortune 500.

Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.

Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.

Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Sena Sezer

Branchenanalyst

Folgen auf

Sena ist Branchenanalystin bei AIMultiple. Sie hat ihren Bachelor-Abschluss an der Bogazici-Universität erworben.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten