Hinweis: Dieser Beitrag wurde mit künstlicher Intelligenz erstellt.
Worum geht’s?
Surge AI hat unter dem Namen „Dayjob: Tax“ eine Benchmark veröffentlicht, die prüft, wie gut KI-Agenten Aufgaben aus der professionellen Steuerpraxis lösen. Nach Angaben von Surge AI besteht sie aus 50 realistischen Aufgaben, darunter individuelle Steuererklärungen und internationale Steuerfälle. Dafür stehen laut Surge AI 1.789 Dokumente bereit, etwa PDFs, Excel-Arbeitsblätter und handschriftliche Quittungen.
Das Ergebnis fällt ernüchternd aus: Laut Surge AI kam das beste getestete Modell auf eine Bestehensquote von 10.8 %. Die meisten Bearbeitungen hätten demnach einer professionellen Prüfung nicht standgehalten.
Hintergrund & Einordnung
Nach Darstellung von Surge AI geht die Benchmark über das Beantworten fest vorgegebener Fragen hinaus. Die Agenten sollten selbstständig Probleme erkennen und fundierte Entscheidungen treffen, ohne dass ihnen jeder Schritt vorgegeben wurde. Dazu gehört, Widersprüche in den Unterlagen zu bemerken und Punkte aufzugreifen, die Kunden gar nicht angesprochen haben.
Die Hürde ist bewusst hoch gesetzt. Surge AI arbeitet mit einer 95%-Rubrik für das Bestehen. Das soll widerspiegeln, ob ein Ergebnis so verlässlich wäre, dass es in der Kommunikation mit Kunden verwendet werden könnte. Als Fehlerbeispiele nennt Surge AI einen Agenten, der in mehreren Versuchen eine Frist übersah, von der ein Anspruch auf Steuererleichterungen abhängen könnte. Ein anderer Agent habe wiederholt falsche Annahmen zum familiären Status von Kunden getroffen. Das Quellenmaterial lag nur gekürzt vor, weitere Details konnten daher nicht berücksichtigt werden.
Was bedeutet das?
- Nach den Angaben von Surge AI reicht das reine Abarbeiten von Dokumenten für die Steuerberatung nicht aus. Entscheidend sind Urteilsvermögen und das Erkennen unausgesprochener Probleme.
- Die strenge 95%-Rubrik von Surge AI zeigt, dass für den Einsatz in der Kundenkommunikation sehr hohe Verlässlichkeit nötig wäre. Fehler bei Fristen oder persönlichen Verhältnissen können spürbare Folgen haben.
- Für Kanzleien und Unternehmen spricht das Ergebnis dafür, KI-Agenten vorerst als Unterstützung mit menschlicher Prüfung zu betrachten. Eine Aussage über andere Aufgabentypen oder spätere Modellgenerationen lässt sich daraus nicht ableiten.
Quellen
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments (Surge AI)
Top AI scores 10.8% on tax work, exposing professional judgment gap (aigovernance.com)
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments (Beitrag auf daily.dev) (daily.dev)
Dayjob: Tax – Benchmark-Seite (Surge AI)
Nachrichtenbeitrag zur Dayjob-Tax-Benchmark (OpenAI Hub)
LinkedIn-Beitrag: Dayjob Tax – Benchmarking AI agents on professional activity (LinkedIn)
Surge Dayjob Tax Benchmark – Kurzüberblick (AI-TLDR)
Surge AI Dayjob Tax Benchmark: 50 Tax Assignments – Blogbeitrag (explainx.ai)
Hacker-News-Diskussion zu Dayjob: Tax (Beitrag 50275626) (Hacker News)
Hacker-News-Diskussion zu Dayjob: Tax (Beitrag 50282067) (Hacker News)
Dieser Artikel wurde mit KI erstellt und basiert auf den angegebenen Quellen sowie den Trainingsdaten des Sprachmodells.
Weiterführender Artikel: Die Zukunft der KI