Perceptron DataWöchentliche Prüfung: PDF zu Markdown
Jeden Sonntag führt ein automatischer Wachposten die Live-Actors auf Apify mit festen Eingaben aus, deren richtige Antworten bekannt sind, und prüft den Inhalt der Ergebnisse — nicht nur, ob der Lauf gelang. Die Ergebnisse stehen hier so, wie sie sind — Fehlschläge eingeschlossen.
Erste öffentliche Prüfung am 25.10.2026. Bis dahin steht hier, was geprüft wird.
| Fall | Ergebnis | Dauer | Was geprüft wird |
|---|---|---|---|
| Ein 15-seitiger Fachartikel (arXiv 1706.03762v7) wird vollständig umgewandelt: Status ok, 15 von 15 Seiten als Textseiten abgerechnet, der Titel als Markdown-Überschrift und der Abschnittstext | – noch nicht geprüft | – |
|
| Tabelle 2 desselben Artikels kommt als Tabellenzeile heraus: „Transformer (big)“ mit BLEU 28,4 (Englisch–Deutsch) und 41,8 (Englisch–Französisch) | – noch nicht geprüft | – |
|
| Eine Excel-Datei (pandas-Testdatei, feste Fassung) wird zur Tabelle mit den genauen Zellwerten — ganze Zahlen, Dezimalzahlen, TRUE/FALSE und Datumsangaben | – noch nicht geprüft | – |
|
| Eine fehlende Datei (HTTP 404) wird als fehlgeschlagen mit Grund gemeldet und nicht berechnet — kein leeres Dokument | – noch nicht geprüft | – |
|
Stichprobe gegen die Originalquelle
Am 12.10.2026 haben wir 20 Ergebniszeilen genommen und 105 Feldwerte einzeln mit der Originalquelle verglichen: 73 stimmten (69,5 %).
20 Tabellenzeilen aus 4 öffentlichen PDFs mit Tabellen (zwei arXiv-Artikel, eine Veröffentlichung des US Census Bureau, eine Steuertabelle der IRS), 5 Zeilen je Dokument zufällig gewählt, am 12.10.2026 mit dem Code der Live-Version (Build 0.1.6) umgewandelt. Jede Zelle dieser Zeilen wurde mit dem Original-PDF verglichen — einer unabhängigen Textauslese (poppler pdftotext) und der gerenderten Seite. Eine Zelle zählt, wenn Quelle oder Ausgabe einen Wert hat; sie gilt als Treffer nur bei identischem Text (abgesehen von Leerraum am Rand). Nach den Reparaturen vom 12.10.2026 (Build 0.1.8) stimmen dieselben 20 Zeilen in 105 von 105 Zellen. Die Reparaturen zielten auf genau diese Zeilen, das ist also keine unabhängige Schätzung; 20 weitere Zeilen aus anderen Tabellen derselben vier Dateien stimmen in 112 von 112 Zellen (vorher 88). Eine neue Stichprobe aus anderen Dokumenten folgt.
| Dokument | Stimmt | Quote |
|---|---|---|
| arXiv 1706.03762v7 (Attention Is All You Need), page 8, Table 2 | 9 / 20 | 45,0 % |
| arXiv 1512.03385v1 (Deep Residual Learning), page 6, Table 3 | 14 / 15 | 93,3 % |
| US Census Bureau, Quarterly Retail E-Commerce Sales, 2nd quarter 2024, page 2, Table 1 | 40 / 40 | 100,0 % |
| IRS, 2023 Instructions for Form 1040 — Tax Table (prior-year archive), page 4 | 10 / 30 | 33,3 % |
Jede Abweichung mit Ursache
| Zeile | Feld | Ausgabe des Actors | Originalquelle | Ursache |
|---|---|---|---|---|
| arXiv 1706.03762v7, p. 8, Table 2, data row 1 | Model | ByteNet[18] | ByteNet [18] | Wortabstände in der Zelle gingen verloren; die Zeichen sind sonst gleich. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 7 | Model | GNMT+RLEnsemble[38] | GNMT + RL Ensemble [38] | Wortabstände in der Zelle gingen verloren; die Zeichen sind sonst gleich. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 7 | Training cost EN-DE | 1.8·1020 1.1·1021 | 1.8 · 10^20 | Die beiden Spalten der Trainingskosten wurden in einer Zelle zusammengelegt, und der hochgestellte Exponent wurde eingeebnet (10^20 wurde zu „1020“). |
| arXiv 1706.03762v7, p. 8, Table 2, data row 7 | Training cost EN-FR | – | 1.1 · 10^21 | Der Wert steht in der Nachbarzelle, die beide Spalten der Trainingskosten enthält. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 8 | Model | ConvS2SEnsemble[9] | ConvS2S Ensemble [9] | Wortabstände in der Zelle gingen verloren; die Zeichen sind sonst gleich. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 8 | Training cost EN-DE | 7.7·1019 1.2·1021 | 7.7 · 10^19 | Die beiden Spalten der Trainingskosten wurden in einer Zelle zusammengelegt, und der hochgestellte Exponent wurde eingeebnet (10^20 wurde zu „1020“). |
| arXiv 1706.03762v7, p. 8, Table 2, data row 8 | Training cost EN-FR | – | 1.2 · 10^21 | Der Wert steht in der Nachbarzelle, die beide Spalten der Trainingskosten enthält. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 9 | Model | Transformer(basemodel) | Transformer (base model) | Wortabstände in der Zelle gingen verloren; die Zeichen sind sonst gleich. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 9 | Training cost EN-DE | 3.3·1018 | 3.3 · 10^18 | Der hochgestellte Exponent wurde eingeebnet (10^18 wurde zu „1018“) — die Zahl liest sich falsch. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 10 | Model | Transformer(big) | Transformer (big) | Wortabstände in der Zelle gingen verloren; die Zeichen sind sonst gleich. |
| arXiv 1706.03762v7, p. 8, Table 2, data row 10 | Training cost EN-DE | 2.3·1019 | 2.3 · 10^19 | Der hochgestellte Exponent wurde eingeebnet (10^18 wurde zu „1018“) — die Zahl liest sich falsch. |
| arXiv 1512.03385v1, p. 6, Table 3, data row 2 | model | GoogLeNet[44] | GoogLeNet [44] | Wortabstände in der Zelle gingen verloren; die Zeichen sind sonst gleich. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 3 | At least | – | 3,100 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 3 | But less than | – | 3,150 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 3 | Single | – | 313 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 3 | Married filing separately | – | 313 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 8 | At least | – | 3,350 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 8 | But less than | – | 3,400 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 8 | Single | – | 338 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 8 | Married filing separately | – | 338 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 11 | At least | – | 3,500 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 11 | But less than | – | 3,550 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 11 | Single | – | 353 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 11 | Married filing separately | – | 353 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 14 | At least | – | 3,650 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 14 | But less than | – | 3,700 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 14 | Single | – | 368 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 14 | Married filing separately | – | 368 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 18 | At least | – | 3,850 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 18 | But less than | – | 3,900 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 18 | Single | – | 388 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
| IRS 2023 Instructions 1040 Tax Table (prior-year archive), p. 4, first block, data row 18 | Married filing separately | – | 388 | Dichte Tabelle ohne Zeilenlinien: In dieser Spalte wurden alle 20 Zeilen des Blocks in eine Zelle der ersten Blockzeile gepackt — der Wert steht in der Ausgabe, aber nicht in seiner Zeile. |
Was das zeigt: Am Prüftag lieferte der Live-Actor für diese Eingaben die bekannten Antworten. Dass jedes Ergebnis stimmt, beweist es nicht. Die Stichprobe gegen die Originalquelle misst die Genauigkeit an echten Ergebniszeilen.