Top 3 synthetische Dokumentgeneratoren im Benchmark
Synthetische Dokumentgeneratoren erstellen annotierte, realistische Dokumentbilder, die beim Trainieren und Evaluieren von Machine-Learning-Modellen helfen, ohne auf große, manuell beschriftete Datensätze angewiesen zu sein.
Wir benchmarken 3 synthetische Dokumentgeneratoren, Genalog, DocCreator und Tonic Textual, indem wir mehr als 2.500 synthetische Dokumente erstellen und ihre Effektivität bei realistischen Layouts, genauen numerischen Daten und Trainingsdatensätzen für Dokumentenanalyse-Aufgaben vergleichen.
Ergebnisse des Benchmarkings zur Dokumentgenerierung
Die Ergebnisse zeigen, dass
- Genalog und DocCreator starke Leistungen in Bezug auf Nutzen und Genauigkeit erbringen, wobei Genalog bei der numerischen Genauigkeit leicht besser abschneidet.
- Tonic Textual bei der visuellen Layout-Realitätstreue hervorsticht, aber in anderen Bereichen zurückbleibt, was es für Aufgaben geeigneter macht, die realistische Dokumente erfordern.
Für weitere Informationen zu Metriken lesen Sie die Benchmark-Methodik.
- Nutzen misst, wie gut Modelle, die auf synthetischen Daten trainiert wurden, bei echten Dokumenten abschneiden.
- Layout-Treue misst, wie gut die räumliche Anordnung der Elemente in synthetischen Dokumenten mit den echten übereinstimmt.
- Numerische Treue prüft, ob numerische Werte in synthetischen Dokumenten den echten Daten ähneln.
Kommentar zu den Ergebnissen: Um die Leistungsunterschiede besser zu verstehen, wurde der Benchmark auch mit dem Trainingssatz anstelle des separaten Testsatzes durchgeführt. Diese sekundäre Evaluierung zielte darauf ab festzustellen, ob die Bereitstellung von Trainingsmaterial für die Modelle ihre Fähigkeit verbessern würde, strukturierte und numerisch genaue Ausgaben zu reproduzieren.
Die Ergebnisse zeigen, dass die Modelle selbst bei der Evaluierung mit den Trainingsdaten leicht höhere Werte erzielten. Dies deutet darauf hin, dass die Ergebnisse widerspiegeln, wie gut die Tools die Aufgabe selbst bewältigen. Die moderaten Ergebnisse werden wahrscheinlich durch Einschränkungen in der OCR-Qualität und der Kapazität des trainierten Modells beeinflusst und nicht durch das Benchmarking-Verfahren selbst.
Genalog
Genalog zeigte insgesamt die stärkste Leistung. Seine synthetischen Dokumente waren effektiv für das Modelltraining und bewahrten eine gute Balance zwischen realistischen Layoutelementen und numerischer Genauigkeit. Die generierten Dokumente spiegelten die Struktur und Abstände echter Formulare und Belege genau wider, was sie für eine Vielzahl von Dokumentenanalyse-Aufgaben geeignet macht.
DocCreator
DocCreator produzierte ebenfalls qualitativ hochwertige Ausgaben. Die Dokumente dieses Dokumentgenerators waren für das Training fast so nützlich wie die von Genalog. Die Layouts waren realistisch und die synthetischen Dokumente bewahrten die statistischen Eigenschaften von Zahlen. Die Stärke von DocCreator liegt in der Kombination von vielfältiger Layout-Generierung mit seinen Degradationsmodellen, wodurch die Ausgaben gescannten echten Dokumenten visuell ähnlich sind.
Tonic Textual
Tonic Textual zeigte gemischte Ergebnisse. Während dieser synthetische Dokumentgenerator saubere und konsistente Layouts produzierte, waren die Dokumente weniger effektiv für das Training von Modellen. Zudem waren die synthetischen Zahlen statistisch nicht immer ähnlich zu echten Daten. Dies deutet darauf hin, dass Tonic Textual am besten für Aufgaben geeignet ist, die sich auf das Erscheinungsbild von Dokumenten oder den datenschutzwahrenden PII-Ersatz konzentrieren, anstatt auf umfassendes Training für Layoutstruktur- und Informationsextraktionsaufgaben.
Im März 2026 wechselte Tonic Textual seine Entity-Linking-Komponente von einem LLM-basierten Modell zu einem BERT-basierten Modell, um den Durchsatz zu verbessern.1 Dasselbe Release (v391) fügte außerdem verbesserte Filterung und Sortierung auf der Datasets-Seite hinzu.1
Gesamterkenntnis
Genalog ist das am besten ausbalancierte Tool und bietet sowohl realistische Layouts als auch genaue Zahlen.
DocCreator ist stark für komplexe und vielfältige Layouts und Dokumentendegradation, mit geringfügigen numerischen Ungenauigkeiten.
Tonic Textual ist ideal für layoutorientierte Aufgaben, aber nicht für Aufgaben, die präzise numerische Daten erfordern.
Methodik-Überblick
Evaluierungsmetriken
Jeder generierte Datensatz wurde anhand der folgenden Metriken mit den Originaldaten verglichen:
Nutzwert
(KIE F1-Score): Ein Wert zwischen 0 und 1, wobei höher besser ist. Er wird durch den F1-Score des auf den synthetischen Daten trainierten LayoutLMv3-Modells definiert, wenn es auf dem echten Testsatz evaluiert wird. Ein hoher Wert zeigt an, dass die synthetischen Daten ein hochwirksamer Ersatz für echte Daten sind.
Genauigkeitswerte
Diese Metriken messen, wie sehr die synthetischen Dokumente den echten ähneln.
- Layout-Treue (EMD-Score): Die Earth Mover's Distance (dEMD) misst den Unterschied zwischen der Verteilung der Bounding-Box-Mittelpunkte in den echten gegenüber den synthetischen Dokumenten. Es ist ein Wert von 0 bis 1, wobei niedriger besser ist. Ein niedriger Wert bedeutet, dass die räumlichen Layoutelemente gut erhalten sind.
- Numerische Treue (K-S-Distanz): Die Kolmogorov-Smirnov-Distanz (DKS) misst den maximalen Unterschied zwischen den kumulativen Verteilungsfunktionen (CDFs) der numerischen Werte (z. B. Preise, Mengen) in den echten und synthetischen Daten. Sie reicht von 0 bis 1, wobei niedriger besser ist. Ein niedriger Wert bedeutet, dass der Generator die statistischen Eigenschaften der Zahlen genau reproduziert.
Alle Metriken wurden während der Berechnung normalisiert.
Datensätze
FUNSD: Eine Sammlung von 199 gescannten Formularen, die durch verrauschten Text, komplexe und vielfältige Layouts sowie handschriftliche Anmerkungen gekennzeichnet sind. Es wurde im letzten Monat mehr als 1.500 Mal heruntergeladen. Dies testet die Fähigkeit eines Generators, mit unstrukturierten und unvollkommenen Daten umzugehen. 2
- Wir teilen die Stichprobe in zwei Teile: 80 % der Daten werden für das Training des Modells verwendet, während die verbleibenden 20 % für Tests nach dem Training reserviert sind.
- Jedes Tool produzierte zwischen drei und sechs synthetische Dokumente für jedes Original, was zu insgesamt mehr als 2.500 synthetischen Dokumenten führte.
Aufgabenevaluierung
Um den Nutzen zu messen, wurde ein beliebtes LayoutLMv3-Modell mit 22K GitHub-Sternen und über 750K Downloads auf den synthetischen Daten trainiert, die von jedem synthetischen Dokumentgenerator-Tool generiert wurden. 3
Die Leistung dieses Modells wurde dann an einem zurückgehaltenen Testsatz mit echten Dokumenten aus den Originaldatensätzen evaluiert. Dies misst direkt, wie nützlich die synthetischen Daten für eine reale Aufgabe sind.
Synthetische Generierungstools
Genalog
Eine Open-Source-Python-Bibliothek von Microsoft zur Generierung synthetischer Dokumentbilder mit synthetischem Rauschen. Sie nimmt Text- und Layoutvorlagen (geschrieben in HTML + CSS) und rendert sie über WeasyPrint und wendet dann Degradationseffekte an (Unschärfe, Durchscheinen, Salt-and-Pepper-Rauschen, morphologische Operationen).4
DocCreator
Ein plattformübergreifendes, Open-Source-Tool zur Generierung synthetischer Dokumentbilder mit zugehörigem Ground Truth. Es wurde in der Forschung zur Dokumentbildanalyse und -erkennung (DIAR) vielfach eingesetzt.5 ,6
Tonic Textual
Eine Lösung zur Anonymisierung und Synthese in realen Dokumentformaten (PDF, Word). Es beansprucht, unstrukturierte Dokumente zu scannen, benannte Entitäten (z. B. PII) zu identifizieren, sie zu schwärzen oder durch synthetische Werte zu ersetzen und de-identifizierte Dokumente in ähnlichen Formaten auszugeben.
8 Methoden zur Degradation synthetischer Dokumente
Die Generierung synthetischer Dokumente beinhaltet oft das Hinzufügen realistischer Fehler, um künstliche Daten echten Dokumenten ähneln zu lassen. Diese Fehler, oder Degradationsmodelle, helfen beim Trainieren von Modellen, die bei verrauschten, gealterten oder gescannten Dokumenten besser abschneiden. Diese Tools wenden mehrere physikalische und visuelle Transformationen an, um gängige Dokumentenunvollkommenheiten zu simulieren.6
1. Tintendegradation
Dieses Modell simuliert Verblassen, Flecken oder Streifen, die durch Alterung oder minderwertigen Druck verursacht werden. Es fügt kleine Tintenflecken hinzu oder entfernt Teile von Buchstaben, um echten Tintenzerfall nachzuahmen.
2. Phantomzeichen
Alte Druckwerkzeuge hinterließen oft schwache Umrisse oder „Geister“-Markierungen um Buchstaben. Das Phantomzeichen-Modell stellt diese nach, indem es extrahierte Fehler aus echten Scans zwischen gedruckte Zeichen einfügt.
3. Papierlöcher
Löcher unterschiedlicher Formen und Größen werden zufällig zu Dokumenten hinzugefügt und reproduzieren Risse oder Stanzmarkierungen, die in abgenutztem Papier zu sehen sind.
4. Durchscheinen
Dieser Effekt imitiert Tinte, die von der anderen Seite der Seite durchsickert. Er verwendet sowohl Vorder- als auch Rückseitenbilder eines Dokuments, um nachzubilden, wie die Tinte teilweise durch das Papier übertragen wird.
5. Adaptive Unschärfe
Das Scannen oder Fotografieren von Dokumenten erzeugt oft leichte Unschärfe. Dieses Modell vergleicht echte unscharfe Beispiele und wendet eine ähnliche Unschärfe mit Gauß-Filtern an, wobei das Ergebnis subtil und realistisch bleibt.
6. 3D-Papierverformung
Dokumente können sich beim Scannen oder Fotografieren biegen, falten oder krümmen. Mithilfe von 3D-Meshes aus echten Papieren stellt dieses Modell diese Formen und Lichteffekte nach und hilft so, Modelle für die kamerabasierte Dokumentenanalyse zu trainieren.
7. Nichtlineare Beleuchtung
Ungleichmäßige Beleuchtung beim Scannen kann eine Seite eines Dokuments dunkler erscheinen lassen. Dieses Modell passt die Helligkeit basierend auf simulierten Lichtwinkeln und Seitenkrümmung an und reproduziert den Effekt schlechter Beleuchtung.
8. Salt-and-Pepper-Rauschen
Fügt zufällige schwarze und weiße Pixel hinzu, um Staub, Papiertextur oder Scan-Sensorrauschen zu simulieren. Dieser „Salt-and-Pepper“-Effekt hilft, das körnige Erscheinungsbild von gealterten oder qualitativ minderwertigen digitalen Scans zu erzeugen.
Als bevorzugte Quelle hinzufügenSynthetische Dokumentgenerierung als Lösung für Herausforderungen der Layoutanalyse
Die Herausforderung der Layoutanalyse
Das Verständnis der Struktur von Dokumenten ist schwieriger als das Lesen des Textes. OCR-Tools können Wörter extrahieren, aber sie erklären nicht die Rolle jedes Blocks, wie Titel, Tabellen oder Abbildungen.
Um dieser Herausforderung zu begegnen, wurden Methoden entwickelt:
Frühe Methoden zur Layoutanalyse waren regelbasiert. Sie stützten sich auf geometrische Regeln und Texturanalyse, um Seiten in Blöcke zu unterteilen. Obwohl nützlich, erforderten diese Ansätze umfangreiche manuelle Anpassung und verallgemeinerten nicht gut.
Machine-Learning-Ansätze wie Support Vector Machines (SVMs) und Gaussian Mixture Models (GMMs) verbesserten dies, indem sie aus Daten lernten.7 Sie waren jedoch immer noch auf handgefertigte Merkmale angewiesen und hatten Schwierigkeiten mit der Vielfalt echter Dokumente.
Deep Learning hat das Feld transformiert. Convolutional Neural Networks (CNNs) machten es möglich, Layouterkennung wie Objekterkennung zu behandeln und Tabellen, Abbildungen oder Formeln auf die gleiche Weise zu identifizieren, wie Modelle Objekte in natürlichen Bildern erkennen.8 Einige Modelle kombinieren auch sowohl Text- als auch Bildmerkmale für genauere Ergebnisse.
Die Herausforderung von Deep Learning: erfordert große, beschriftete Datensätze zum Trainieren.
Synthetische Daten als Lösung: Der Prozess der synthetischen Dokumentgenerierung bietet einen skalierbaren Weg, um annotierte Trainingsdaten ohne die Kosten manueller Beschriftung zu erstellen.
Generative Modelle bringen nun fortgeschrittenere Möglichkeiten. Variational Autoencoders (VAEs), aufmerksamkeitsbasierte Modelle und GANs können strukturelle Muster von Dokumenten lernen und realistische neue Layouts produzieren.9
Hauptunterschiede zwischen synthetischen Dokumentgeneratoren
Die drei im Benchmark getesteten synthetischen Dokumentgeneratoren unterscheiden sich in Fokus, Ausgabequalität und Benutzerfreundlichkeit:
- Genalog: Am besten ausbalanciert für sowohl realistische Layouts als auch numerische Genauigkeit. Sein Python-basierter Workflow mit HTML/CSS-Vorlagen und Degradationsmodellen macht es ideal für das Training von Machine-Learning-Modellen für verschiedene Dokumentenanalyse-Aufgaben.
- DocCreator: Stark in der Generierung visuell komplexer und degradierter Dokumente bei Erhalt der Layout-Vielfalt. Numerisch etwas weniger genau als Genalog, aber effektiv für Aufgaben, die realistische Simulation gescannter Dokumente erfordern.
- Tonic Textual: Hervorragend in sauberen, visuell konsistenten Layouts und datenschutzwahrender Datensynthese. Weniger geeignet für numerische Genauigkeit oder vollständige Trainingsdatensätze, was es besser für layoutorientierte Aufgaben oder PII-Ersatz macht.
Diese Unterschiede spiegeln ihre primären Ansätze wider: Genalog balanciert Realismus und Datentreue, DocCreator betont Layout-Vielfalt und Dokumentendegradation, und Tonic Textual priorisiert Erscheinungsbild und Datenschutz. Dies hilft Benutzern, das richtige Tool auszuwählen, je nachdem, ob die Priorität auf Trainingseffektivität, Layout-Realismus oder Daten-De-Identifikation liegt.
Weitere häufig verwendete synthetische Dokumentgeneratoren
YData SDK: Bietet einen synthetischen Dokumentgenerator, der hochwertige synthetische Dokumente in PDF-, DOCX- oder HTML-Formaten produzieren kann und oft verwendet wird, um Datenschutz-Compliance-Hürden zu umgehen.10
DoGe: Ein Open-Source-Tool, das speziell entwickelt wurde, um realistische Dokumentenscans mit aussagekräftigem Text, Überschriften und Tabellen für das Document-KI-Training zu synthetisieren.11
DocXPand: Spezialisiert auf die Generierung von Ausweisdokumenten (Reisepässe, Personalausweise) basierend auf ISO-Standards, wobei Vorlagen mit gefälschten Informationen und KI-generierten Gesichtern befüllt werden.12
Weiterführende Literatur
- Synthetic Data Generation Benchmark & Best Practices
- Top 25 Synthetic Data Use Cases
- Synthetic Users Explained: Top 7 KI User Research Tools
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{phd2026,
author = {PhD., Ezgi Arslan,},
title = {{Top 3 synthetische Dokumentgeneratoren im Benchmark}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/synthetic-document-generator}},
note = {AIMultiple. Abgerufen am 18. März 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.