Perceptron DataWöchentliche Prüfung: Research Agent
Jeden Sonntag führt ein automatischer Wachposten die Live-Actors auf Apify mit festen Eingaben aus, deren richtige Antworten bekannt sind, und prüft den Inhalt der Ergebnisse — nicht nur, ob der Lauf gelang. Die Ergebnisse stehen hier so, wie sie sind — Fehlschläge eingeschlossen.
Letzte Prüfung am 12.10.2026: 10 von 10 Fällen bestanden, davon 1 mit Hinweis. Wöchentlich geprüft seit 08.10.2026.
| Fall | Ergebnis | Dauer | Was geprüft wird |
|---|---|---|---|
| Pflichten nach der EU-KI-Verordnung – zitiert aus dem amtlichen Text | ✅ bestanden | 59 s | 5 Quellen, stärkste Evidenz: official |
| DSGVO-Artikel nachschlagen – amtlicher Text mit Quellen | ✅ bestanden | 30 s | 5 Quellen, stärkste Evidenz: official |
| Paragraf im deutschen Recht (BGB, HGB, GG) – amtlicher Text | ✅ bestanden | 34 s | 7 Quellen, stärkste Evidenz: official |
| Preise und Zahlen über unabhängige Seiten abgleichen | ⚠️ bestanden mit Hinweis | 87 s | |
| Wissenschaftliche Belege aus frei zugänglichen Fachartikeln | ✅ bestanden | 3 s | 6 Quellen, stärkste Evidenz: academic |
| Entwicklerantworten aus Stack Overflow, GitHub und Hacker News | ✅ bestanden | 45 s | 4 Quellen, stärkste Evidenz: community |
| Nachrichten dieser Woche als belegter Kontext für Sprachmodelle | ✅ bestanden | 32 s | 7 Quellen, stärkste Evidenz: official |
| RAG-Textabschnitte für Pinecone oder Qdrant mit stabilen IDs | ✅ bestanden | 100 s | 6 Quellen, stärkste Evidenz: academic |
| Websuche-API für KI-Agenten – belegter Kontext in einem Aufruf | ✅ bestanden | 5 s | 7 Quellen, stärkste Evidenz: reference |
| Tiefe Recherche: zweite Suchrunde mit gelernten Begriffen | ✅ bestanden | 49 s | 9 Quellen, stärkste Evidenz: official |
Fehler und Hinweise aus der letzten Prüfung
- ⚠️ bestanden mit Hinweis — Preise und Zahlen über unabhängige Seiten abgleichen: Google antwortete nicht (partial, nicht berechnet) — meist vorübergehend
Frühere Prüfungen
| Datum | Bestanden |
|---|---|
| 12.10.2026 | 10 / 10 |
| 08.10.2026 | 10 / 10 |
Stichprobe gegen die Originalquelle
Am 12.10.2026 haben wir 20 Ergebniszeilen genommen und 116 Feldwerte einzeln mit der Originalquelle verglichen: 108 stimmten (93,1 %).
20 Textstellen aus den Läufen des Wachpostens vom 12.10.2026 (9 Fragen, 20 verschiedene Quellen; je Frage die bestplatzierten Textstellen aus verschiedenen Quellen). Jede wurde mit der zitierten Seite verglichen, am selben Tag mit unabhängigen Werkzeugen geladen (lxml für HTML, pdftotext für PDF; EUR-Lex über das Amt für Veröffentlichungen, Stack Overflow über dessen API). Text: jede Wortfolge der Textstelle muss auf der Seite stehen (Groß-/Kleinschreibung, Satzzeichen und Leerraum egal; in Code zählt die Einrückung). Titel und Überschrift müssen zur Seite passen, die URL muss antworten, das Datum muss eines sein, das die Seite für sich selbst nennt, die Evidenzstufe muss zu den veröffentlichten Definitionen des Actors passen. Nach den Reparaturen vom 12.10.2026 (Build 1.0.14) ergeben dieselben 20 Zeilen 115 von 116 richtigen Feldern. Die Reparaturen zielten auf genau diese Zeilen, das ist also keine unabhängige Schätzung; eine neue Stichprobe mit neuen Zeilen folgt.
| Feld | Stimmt | Quote |
|---|---|---|
| text | 18 / 20 | 90,0 % |
| title | 19 / 20 | 95,0 % |
| url | 20 / 20 | 100,0 % |
| evidenceLevel | 19 / 20 | 95,0 % |
| date | 17 / 20 | 85,0 % |
| heading | 15 / 16 | 93,8 % |
Jede Abweichung mit Ursache
| Zeile | Feld | Ausgabe des Actors | Originalquelle | Ursache |
|---|---|---|---|---|
| german-law-bgb-paragraph-official · rank 1 · https://www.gesetze-im-internet.de/bgb/__438.html | date | 2022-01-01 | no date on the page | Die Seite nennt kein Datum; die Datumserkennung las „2022“ aus einer HTML-Element-ID (blaettercontainer_2022). |
| deep-research-regulation-second-round · rank 1 · https://www.enisa.europa.eu/topics/vulnerability-services | date | 2023-02-16 | topic page without own date; 16 Feb 2023 is the first listed publication | Themenseite ohne eigenes Datum; das Datum gehört zur ersten dort verlinkten Veröffentlichung. |
| deep-research-regulation-second-round · rank 2 · https://www.enisa.europa.eu/topics/product-security/vulnerability-services/eu-incident-response-and-cyber-crisis-management/single-reporting-platform-srp/frequently-asked-questions | date | 2026-09-11 | FAQ page without own date; 11 Sep 2026 is a linked press release | FAQ-Seite ohne eigenes Datum; das Datum gehört zu einer dort verlinkten Pressemitteilung. |
| developer-answers-stack-overflow-github · rank 1 · https://stackoverflow.com/questions/79150620/closing-a-httpx-client-results-in-a-runtimeerror-event-loop-is-closed | text | code without the indentation of 'def __new__' (column 0) | def __new__(cls): (indented 4 spaces) | Wörter stimmen, aber in Codeblöcken verlor die erste Zeile nach einer Leerzeile ihre Einrückung — Python-Code ändert so seine Bedeutung. |
| news-this-week-cited-llm-context · rank 1 · https://www.taipeitimes.com/News/feat/archives/2026/10/08/2003865586 | evidenceLevel | commercial | news (Taipei Times is a newspaper) | Taipei Times ist eine Zeitung; die Domain fehlt in der Nachrichtenliste des Actors, daher die Rückfallstufe commercial. |
| scientific-evidence-open-access-papers · rank 2 · https://exonpublications.com/index.php/exon/article/download/intermittent-fasting-methods-health-benefits-risks/1604/ | text | OpenAlex abstract of the book 'Intermittent Fasting: Education for the Public' | PDF of the chapter 'Intermittent Fasting: Methods, Health Benefits, and Risks' with a different abstract | Die Textstelle ist die Buchzusammenfassung aus OpenAlex (steht auf der DOI-Seite); die zitierte URL ist OpenAlex' PDF-Link, ein Kapitel mit anderer Zusammenfassung. |
| scientific-evidence-open-access-papers · rank 2 · https://exonpublications.com/index.php/exon/article/download/intermittent-fasting-methods-health-benefits-risks/1604/ | title | Intermittent Fasting: Education for the Public | Intermittent Fasting: Methods, Health Benefits, and Risks | Titel aus dem OpenAlex-Eintrag, das zitierte PDF trägt einen anderen Titel (gleiche Ursache wie beim Text). |
| scientific-evidence-open-access-papers · rank 2 · https://exonpublications.com/index.php/exon/article/download/intermittent-fasting-methods-health-benefits-risks/1604/ | heading | Intermittent Fasting: Education for the Public | not in the cited PDF | Überschrift ist der OpenAlex-Titel (gleiche Ursache wie beim Text). |
Was das zeigt: Am Prüftag lieferte der Live-Actor für diese Eingaben die bekannten Antworten. Dass jedes Ergebnis stimmt, beweist es nicht. Die Stichprobe gegen die Originalquelle misst die Genauigkeit an echten Ergebniszeilen.