En İyi 6 Açık Kaynak Hassas Veri Keşif Aracı
Aşağıdaki araçlar GitHub aktivitesine göre seçilmiş ve GitHub yıldız sayısına göre azalan sırada sıralanmıştır. Hassas veri keşfi için ana kullanım durumlarını kapsarlar: veri çizelgesi ile meta veri kataloğu oluşturma, aracısız tarama ve dinlenme halindeki PII, PCI verileri ve kimlik bilgilerinin API-tabanlı tespiti.
Daha fazlasını okuyun: Hassas veri keşfi ve sınıflandırma araçları, DLP yazılımı.
Yönetimsel özellikler
Araç | Grafiksel dashboard | Arama tabanlı | Veri çizelgesi | Federasyonlu veritabanı sistemi |
|---|---|---|---|---|
DataHub | ✅ | ✅ | ✅ | ✅ |
Apache – Atlas | ✅ | ✅ | ✅ | ❌ |
Marquez | ✅ | ✅ | ✅ | Paylaşılmadı. |
OpenDLP | ❌ | ❌ | ❌ | ❌ |
Piiano Vault – ReDiscovery | ❌ | Paylaşılmadı. | ❌ | ❌ |
Nightfall AI – Hassas veri tarayıcısı | ✅ | ✅ | ❌ | ❌ |
Özellik açıklamaları:
- Grafiksel dashboard – veri bulgularınızı görselleştirmenize olanak tanır.
- Arama tabanlı işlevsellik – veri varlıklarını aramanıza olanak tanır.
- Veri çizelgesi – kullanıcıların verinin bir sistem üzerinde zaman içinde nasıl üretildiğini, dönüştürüldüğünü, iletildiğini ve kullanıldığını görselleştirmesine olanak tanır.
- Federasyonlu veritabanı sistemi – birden fazla otonom veritabanı sistemini tek bir federasyonlu veritabanına haritalar.
Bu işlevsellikler (özellikle veri çizelgesi ve arama yetenekleri) işletmelerin şunları yapmasını sağlar:
- Çoklu veritabanlarında, uygulamalarda ve kullanıcı uç noktalarında saklanan kişisel bilgiler (PII), ödeme kartı endüstrisi (PCI) verileri vb.'nin konumunu ortaya çıkarmak.
- Genel Veri Koruma Tüzüğü (GDPR) ve Kaliforniya Tüketici Gizlilik Yasası (CCPA) gibi sektör düzenleyici veri koruma ve gizlilik standartlarına uyum sağlamak.
Veri güvenliği özellikleri
Özellik açıklamaları:
- Veri maskeleme– orijinal harf ve sayılarını değiştirerek veriyi gizlemeye olanak tanır, böylece yetkisiz saldırganlar için değeri kalmazken yetkili çalışanlar için kullanılabilir kalır.
- Veri kaybı önleme (DLP) – potansiyel veri ihlallerini tespit eder ve hassas veriyi engelleyerek bunları önler.
Kategoriler ve GitHub yıldızları
Araç seçimi ve sıralama:
- İnceleme sayısı: 10+ GitHub yıldızı.
- Güncelleme sürümü: Kasım 2024 itibarıyla geçen hafta en az bir güncelleme yayınlandı.
- Sıralama: Araçlar, azalan sırada GitHub yıldızlarına göre sıralanmıştır.
DataHub
DataHub, Acryl Data ve LinkedIn tarafından oluşturulan, hassas veri keşfi, gözlemlenebilirlik ve yönetişim için açık kaynaklı, birleşik bir platformdur. Ayrıca Acryl Data tarafından bulutta barındırılan bir SaaS hizmeti olarak ticari olarak sunulmaktadır.
Temel özellikler:
- Sütun seviyesinde veri çizelgesi: veri akışını platformlar arasında kaynaktan tüketime kadar izler.
- Yapay zeka destekli veri kalitesi: Anomali tespiti, veri kalitesi sorunlarını otomatik olarak işaretler.
- Genişletilebilirlik: REST API'leri, Python SDK ve DataHub meta verilerine erişimi olan ajanlar oluşturmak için LangChain entegrasyonu.
- 80+ yerel bağlayıcı: Snowflake, BigQuery, Redshift, Hive, Athena, Postgres, MySQL, SQL Server, Trino, Looker, Power BI, Tableau, Okta, LDAP, S3, Delta Lake ve diğerleri.
Dikkate alınacak husus: DataHub mimarisi, birbirine bağlı birden fazla hizmeti (GMS, MCE tüketici, MAE tüketici, arama dizini, grafik deposu) çalıştırır. Üretim dağıtımları genellikle Kubernetes gerektirir. Kurulum karmaşıklığı, toplulukta en sık belirtilen acı noktadır.
Apache – Atlas
Apache Atlas, meta veri yönetimi ve yönetişimi için açık kaynaklı bir araçtır ve öncelikle Hadoop ve büyük veri ekosistemleri için tasarlanmıştır. Hive, HBase, Kafka, Spark, Sqoop ve Storm üzerinde kurulu ortamlardaki veri varlıkları arasında sınıflandırma, çizelge takibi ve aramayı destekler.
Temel özellikler
- Dinamik sınıflandırma: Apache Atlas, PII (Kişisel Olarak Tanımlanabilir Bilgi), EXPIRES_ON, DATA_QUALITY ve SENSITIVE gibi özel sınıflandırmalar oluşturmanıza olanak tanır.
- Meta veri türleri: Platform, Hadoop ve Hadoop dışı ortamlar için önceden tanımlanmış meta veri türleri sağlar. Bu, kullanıcıların HBase, Hive, Sqoop, Kafka ve Storm gibi birkaç veri kaynağı için meta veriyi yönetmelerine olanak tanır.
- SQL-benzeri sorgu dili (DSL): Platform, varlıkları aramak için SQL-benzeri sorgu işlevselliği sağlayan bir alan-specific dil (DSL) destekler. Bu, SQL ile aşina olan kullanıcılar için erişilebilir hale getirir.
- Dış araçlarla entegrasyon: Apache Hive, Apache Spark, Kafka ve Presto, büyük veri ortamları için uyarlanabilir hale getirir.
Dikkate alınacak hususlar:
- Atlas'ı çoklu bulut ortamında yapılandırmak karmaşıktır, özellikle AWS, Azure ve Databricks API'leri arasında köprü kurarken. Atlas'ın bu platformlar için yerel bağlayıcıları yoktur; AWS Redshift veya Azure Synapse'ten çizelgeyi kaydetmek için ek yapılandırma gereklidir.
- Bulut-native kataloğu hizmetleri (örn. AWS Glue), tek bir bulut sağlayıcısına zaten bağlı olan ekipler için daha düşük maliyetli çizelge takibi sunabilir.
- Atlas, Hadoop, Spark ve Hive'ı ölçekli olarak çalıştıran kuruluşlar için en uygunudur. Hadoop-merkezli bir yığın olmayan ekipler, mimarisinin gereksiz karmaşıklık eklediğini bulacaktır.
Tercih edilen kaynak olarak ekleMarquez
Marquez, bir veri ekosisteminden meta veriyi toplamak, birleştirmek ve görselleştirmek için açık kaynaklı bir veri kataloğudur. Veri setlerini görüntülemek, bağımlılıklarını anlamak ve veri pipeline'ları üzerinden değişiklikleri izlemek için bir Web UI ve REST API sağlar.
- Veri setlerini arayın: Kullanıcılar veri setlerini kolayca arayabilir, özelliklerini görüntüleyebilir ve veri ekosistemi genelindeki bağımlılıklarını anlayabilir.
- Çizelgeyi görselleştirin: Marquez'deki çizelge grafiği, veri setlerinin nasıl bağlandığını ve iş akışları üzerinden nasıl dönüştürüldüğünü açık, etkileşimli bir şekilde sunar. Bu, veri pipeline'larını anlamak, hataları izlemek ve veri güvenilirliğini sağlamak için çok önemlidir.
- Merkezi meta veri deposu: Marquez, meta veriyi çeşitli kaynaklardan toplar ve kolay erişim ve yönetim için tek bir sistemde birleştirir.
Örnek iş akışı: Çizelge meta verisini incelemek için Marquez UI'a gidin ve arama kutusunu kullanarak bir işi (örn. etl_delivery_7_days) arayın. İşin çıktı veri setinden (public.delivery_7_daysYou can view the dataset name, schema, description, and upstream inputs.
Piiano Vault – ReDiscovery
Piiano Vault, kendi bulut ortamınız içinde hassas kişisel verileri saklamak ve güvence altına almak için bir gizlilik kasasıdır. Mevcut veritabanlarında hassas veri taramak yerine, Vault en hassas alanlar için yetkili depo olarak tasarlanmıştır: kredi kartı numaraları, banka hesap numaraları, ulusal kimlikler (SSN'ler), adlar, e-postalar ve telefon numaraları, mevcut uygulama veritabanlarınızın yanına kurulur.
Vault, Docker veya Kubernetes (Helm grafikleri mevcuttur) aracılığıyla mimarinizin içine dağıtılır. Python (Django ORM), TypeScript, Java ve Go için SDK'lar mevcuttur. vault-releases deposu Ağustos 2025'te son güncellendi.
Kullanım durumu ayrımı: Vault bir veri keşif tarayıcısı değildir. Kuruluşların merkezileştirmek ve korumak istediği hassas veri için yapılandırılmış bir depolama sistemidir; mevcut sistemlere yayılmış hassas veriyi bulmak için bir araç değildir.
Nightfall
Nightfall, ticari bir AI-native DLP platformudur, tam olarak açık kaynaklı bir araç değildir. GitHub depoları, dizinleri, dışa aktarımları ve yedekleri taramak için Nightfall'un API'sini kullanan açık kaynaklı tarayıcı scriptleri (Apache 2.0) içerir. Taramaları çalıştırmak için bir Nightfall API anahtarı gerekir ve Nightfall'un ticari tespit motorunu çağırır. Ücretsiz katman, halka açık ve özel depolarda ayda 100 taramaya kadar izin verir.
Açık kaynaklı tarayıcı yetenekleri (ücretsiz katman):
- Halka açık ve özel depoların tam commit geçmişini tarar.
- Kimlik bilgilerini, sırları, PII'yi ve kredi kartı numaralarını tespit eder.
- Ayda 100 taramaya kadar çalışır.
Ayırıcı özellik: Nightfall, ihlaller tespit edildiğinde Slack'e uyarılar gönderebilir ve sonuçları bir SIEM, raporlama aracı veya webhook uç noktasına itebilir.
Örnek kullanım durumu: Dinlenme halindeki hassas veriyi tespit etmek için bir Salesforce yedeğini tarayın. Tarayıcı (1) yedek dosyalarını tarama için Nightfall'un API'sine gönderir, (2) sonuçları almak için yerel bir webhook sunucusu çalıştırır ve (3) bulguları bir CSV dosyasına aktarır.
Yukarıdaki URL Nightfall tarafından sağlanmıştır. Nightfall'un belirlediği hassas bulguları almak için geçici olarak imzalanmış S3 URL'sidir.
Daha fazla okuma
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sezer, Sena},
title = {{En İyi 6 Açık Kaynak Hassas Veri Keşif Aracı}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/open-source-sensitive-data-discovery}},
note = {AIMultiple. Erişim tarihi: 24 Haziran 2026}
}
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.