9 LLMs im Test: Welches KI-Modell hilft bei welchem Teil der Doktorarbeit?

Offenlegung: Dieser Artikel wurde AI-Assisted verfasst (gemäß Dev.to-Richtlinie). Alle Benchmark-Daten, Prompts, Modellausgaben und Bewertungen stammen aus tatsächlich durchgeführten API-Aufrufen. Die Struktur und Formulierung des Artikels selbst wurden von mir zusammen mit Claude entworfen und anschließend manuell überarbeitet.

Warum dieser Benchmark überhaupt nötig war

Ob und wie KI in einer Doktorarbeit eingesetzt werden darf, hängt von Hochschule, Fach und Verlag ab. Meine praktische Frage ist: Welches Modell hilft bei welchem Teil der Arbeit, wenn ich Fakten, Sprache und Offenlegung selbst prüfe?

Ähnlichkeitsprüfungen und KI-Erkennung beantworten unterschiedliche Fragen. Dieser Benchmark hat keines der genannten Erkennungssysteme getestet:

• Similarity Index (klassische Textüberschneidung mit bestehenden Quellen)
• AI Detection Score (Wahrscheinlichkeit maschineller Erzeugung)

Viele deutsche Promovierende konzentrieren sich auf den ersten Wert und übersehen den zweiten. Das ist riskant: Elsevier, Springer Nature und die großen deutschen Fachverlage fragen bei der Einreichung mittlerweile explizit nach dem Einsatz von KI, und einige Fakultäten (vor allem in Jura, Medizin und BWL) prüfen aktiv auf „AI-Geschmack" in eingereichten Qualifikationsarbeiten.

Also habe ich einen Benchmark mit 9 Modellen, 11 Aufgaben und 89 geplanten Testpositionen angelegt. Im Hauptlauf wurden acht Positionen übersprungen; Fehler und leere Antworten wurden teils erneut getestet. Die gesammelten Ausgaben bewertete anschließend ein zweites Modell (deepseek-v4.1-flash) nach acht Dimensionen auf einer AI-ness-Skala von 1 bis 10. Diese Modellbewertung ist kein Turnitin-Ergebnis.

Dieser Artikel fasst die Ergebnisse so zusammen, dass ihr sie direkt in euren Schreibworkflow übernehmen könnt — welches Modell für welchen Kapiteltyp, was es kostet und welche Fallen ihr umgehen solltet.

Die getesteten Modelle

Modell-ID	Zuordnung
claude-opus-5-5	Anthropics Flaggschiff
claude-sonnet-5-5	Anthropics Mittelklasse
kimi-k3.1-pro	Moonshot, Long-Context-Spezialist
gpt-5	OpenAI, Allzweck mit Reasoning
gpt-5.3-codex	OpenAI, Code-Spezialist
deepseek-v4-pro	DeepSeek, Preis-Leistung-König
qwen3.8-max	Alibaba, strukturierte Ausgaben
doubao-seed-2-1-turbo	ByteDance, lange Ausgaben
glm-5.3-prime	Zhipu AI

Alle Modelle wurden über einen OpenAI-kompatiblen Aggregator (Crazyrouter) angesprochen, damit ich nicht neun separate Konten, neun Billing-Dashboards und neun verschiedene Base-URLs verwalten muss. Die Ergebnisse gelten natürlich auch, wenn ihr die offiziellen APIs der einzelnen Anbieter direkt nutzt — die Unterschiede liegen im Modell selbst, nicht im Transportweg.

Die 11 Aufgaben

Die Aufgabenliste orientiert sich an einem typischen Promotionsworkflow:

1. Forschungsfrage brainstormen
2. Gliederung der Dissertation entwerfen
3. Englisches Abstract strukturiert zusammenfassen
4. Langes PDF (~5000 Wörter) auf 10 Faktenfragen beantworten
5. Umschreibung einer rohen Methodik-Passage in Fachsprache
6. Englisches Lektorat einer Methodik-Passage
7. 250-Wörter-Abstract aus Stichpunkten erzeugen
8. Chinesisch-Englisch-Übersetzung eines Fachabsatzes
9. Ableitung der Varianz-Kovarianz-Matrix des OLS-Schätzers
10. pandas-Skript für eine Datenanalyse (t-Test, Cohen's d, Boxplot)
11. Antwortschreiben an einen kritischen Gutachter

Für jede Aufgabe wurde dieselbe Prompt-Variante an alle Modelle geschickt. Die gesamte Testdatei wurde zusammen mit Logs und Metriken aufbewahrt.

Das Gesamtergebnis

Rang	Modell	AI-ness	Verdikt für Einreichung
1-2	Claude Opus 5.5	4/10	Einreichungsreif für Abstract, Lektorat, Response Letter
1-2	Kimi K3.1 Pro	4/10	Einreichungsreif für Literaturarbeit und Review
3-4	Claude Sonnet 5.5	5/10	Für Code und Diskussionen; Prosa nachpolieren
3-4	GPT-5	5/10	Für Ableitungen und Grundgerüste
5	DeepSeek V4 Pro	6/10	Nur deutsche/chinesische Entwürfe, niemals Englisch
6-7	Qwen 3.8 Max	8/10	Nur interne Dokumente
6-7	Doubao Seed 2.1 Turbo	8/10	Nur interne Dokumente
—	GLM 5.3 Prime	5/10 ⚠	Lieferte auf 6 von 11 Aufgaben leere Antworten, nicht wertbar
—	Codex 5.3	3/10 ⚠	Nur Code-Aufgabe, keine Prosa

Die wichtigsten Einzelergebnisse

Kimi K3.1 Pro ist der einzige echte Langkontext-Spezialist

Für die Faktenfrage-Aufgabe habe ich jedem Modell ein 5000-Wörter-arXiv-Paper (die komplette Introduction) übergeben und zehn konkrete Fragen gestellt: Was ist die Forschungsfrage? Wie groß war die Stichprobe? Welche zwei Kernkomponenten hat die Architektur? In welchem Abschnitt findet sich die Ablationsstudie?

Kimi K3.1 Pro beantwortete alle zehn korrekt und konnte jede Antwort einer konkreten Textstelle zuordnen. Sogar das Verhältnis „Textinteraktion 70 % vs. Sprachinteraktion 30 %" wurde wörtlich aus dem Paper wiedergegeben.

GPT-5 lieferte bei exakt derselben Aufgabe eine leere Antwort und beendete den Versuch wegen des Ausgabelimits. Auch bei anderen Aufgaben gab es im Hauptlauf leere Antworten, von denen mehrere später erfolgreich nachgetestet wurden. Für diese konkrete Langtextaufgabe war Kimi die verlässlichere Wahl; ein allgemeines Urteil über GPT-5 folgt daraus nicht.

Opus 5.5 schreibt englische Abstracts, die wie Mensch klingen

Das englische Abstract verlangt besondere fachliche und sprachliche Prüfung. Ich ließ Opus aus zehn Stichpunkten ein 250-Wörter-Abstract im IMRaD-Format erzeugen. Das Ergebnis:

• 247 Wörter (innerhalb der ±20-Toleranz)
• Vier strikt getrennte Absätze (Background, Methods, Results, Conclusion)
• Alle zehn Stichpunkte abgedeckt, nichts dazuerfunden
• Keine KI-typischen Füllwörter wie „delve into", „pivotal", „cutting-edge" oder „novel framework"

Die Übersetzungs-Fingerprint-Bewertung lag bei 3/10, dem niedrigsten Wert im gesamten Test.

Zum Vergleich: DeepSeek V4 Pro produzierte einen Satz wie with a beta coefficient of 0.42 and a significance level of p < .001. Für diesen Kontext wäre β = 0.42, p < .001 knapper. Ob ein Erkennungssystem solche Formulierungen markiert, wurde hier nicht geprüft. Für mein englisches Abstract würde ich die Ausgabe deshalb sorgfältig fachlich redigieren und mit anderen Entwürfen vergleichen.

Qwen und Doubao verraten sich mit „Lieferschein-Sätzen"

Bei der Gliederungsaufgabe öffneten Qwen 3.8 Max und Doubao Seed 2.1 Turbo ihre Antworten so:

Qwen: „Die Gliederung wurde bis zur dritten Ebene detailliert, jedes Kapitel mit einer Einsatz-Zusammenfassung versehen und die Längenverteilung mit einer Gesamtsumme von 100 % angegeben."

Doubao (am Ende): „Pflichtmodul-Prüfung: Literaturüberblick (Kap. 2), theoretischer Rahmen (Kap. 3), ... alle abgedeckt."

Das sind Lieferscheine innerhalb des Dokuments. Menschen schreiben keine Abhakliste ihrer eigenen Anweisungen in den fertigen Text. Diese zwei Sätze allein lassen jede einigermaßen aufmerksame Prüfung sofort schließen: „Das war ein LLM." Bei gleichen Prompts erzielten Opus 4/10 und beide Alternativen 8/10 AI-ness. Das ist die größte Spreizung im gesamten Benchmark.

Qwen und Doubao sind dennoch nützlich — nur eben für interne Anträge, Projektskizzen, Wochenberichte und Foliengerüste. Dort ist der „Lieferschein" ein Feature, kein Bug.

Der Aufgaben-Routing-Vorschlag

const route = {
  topic_brainstorm:       'deepseek-v4-pro',      // günstig, viele Varianten
  literature_review:      'kimi-k3.1-pro',        // Langkontext
  thesis_outline:         'claude-opus-5-5',      // niedrigste AI-ness
  de_methods_draft:       'deepseek-v4-pro',      // Rohtext deutsch
  en_abstract:            'claude-opus-5-5',      // im Test sprachlich stark
  cn_en_translation:      'claude-opus-5-5',      // keine Rückübersetzungsspuren
  math_derivation:        'gpt-5',                // sauberer Schrittablauf
  data_analysis_script:   'claude-sonnet-5-5',    // folgsam, kein Bibliothekswechsel
  reviewer_response:      'claude-opus-5-5',      // passender Ton
  internal_proposal:      'qwen3.8-max',          // „Lieferschein"-Format erwünscht
  weekly_report:          'doubao-seed-2-1-turbo',
};

Zusammengefasst: Claude Opus 5.5 + Kimi K3.1 Pro + DeepSeek V4 Pro decken etwa 95 % einer Dissertation ab. Alle anderen Modelle sind Spezialfälle.

Kostenübersicht

Die protokollierten Aufrufe und Nachtests ergeben nach den verwendeten Listenpreisen eine Schätzung von 3,04 USD. Die Verteilung:

Modell	Kosten (11 Aufgaben)
Claude Opus 5.5	1,73 $
GPT-5	0,35 $
Claude Sonnet 5.5	0,29 $
Qwen 3.8 Max	0,20 $
Doubao Seed 2.1 Turbo	0,18 $
Kimi K3.1 Pro	0,11 $
DeepSeek V4 Pro	0,10 $
GLM 5.3 Prime	0,08 $
Codex 5.3	0,01 $

Opus ist etwa 19× so teuer wie DeepSeek pro Aufruf. Für eine realistische Dissertation mit 80 % deutschem Entwurfstext durch DeepSeek + 20 % kritischen englischen Passagen durch Opus landet man bei etwa 5-10 USD für die gesamte Schreibarbeit — deutlich günstiger als ein einstündiges Fremdlektorat und mit vergleichbarer Qualität.

Setup-Hinweise für die eigene Nutzung

Kurzskizze der Aufrufstruktur (OpenAI-kompatibel):

async function callModel(apiKey, modelId, prompt, maxTokens = 4500) {
  const res = await fetch('https://api.crazyrouter.com/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': `Bearer ${apiKey}`,
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: modelId,
      messages: [
        { role: 'user', content: prompt },
      ],
      max_tokens: maxTokens,
      stream: false,
    }),
  });
  return (await res.json()).choices?.[0]?.message?.content ?? '';
}

Drei Dinge, die ich auf die harte Tour gelernt habe:

1. Reasoning-Modelle lehnen temperature häufig ab. Kimi K3.1 Pro gibt bei temperature: 0.3 ein 400 provider_rejected zurück. Einfach weglassen.
2. max_tokens enthält Reasoning-Tokens. Wenn ihr einen kleinen Wert (z. B. 1500) setzt, geben GPT-5, Kimi und manchmal DeepSeek leere Antworten zurück — das Budget wird komplett vom internen Reasoning verbraucht. 4500 ist ein guter Standardwert.
3. Parallelität pro Modell, nicht global. Ein Worker pro Modell, innerhalb des Workers seriell — das begrenzt gleichzeitige Anfragen an einzelne Anbieter. Der Hauptlauf dauerte 35,6 Minuten; Nachtests kamen hinzu.

Die offiziellen Anbieter-APIs tun es natürlich genauso — der Aggregator spart hier nur das Multi-Konto-Management. Details zur Integration findet ihr in der Crazyrouter-Dokumentation oder im Multi-Model-Guide.

Zum Schluss: zwei Dinge, die man im Kopf behalten sollte

AI-ness ≠ Plagiat oder Detektorergebnis. Der Wert hier ist eine Einschätzung eines zweiten Modells und sagt nichts Verlässliches über Turnitin aus. Quellen, Zitate und die Regeln der eigenen Hochschule bleiben getrennt zu prüfen.

Der letzte Durchgang gehört dem Menschen. Opus hinterlässt am Ende seiner Antworten gelegentlich eine Checkliste („Vor Einreichung bitte prüfen: ..."). Kimi rechnet die Prozentsummen gern noch einmal nach. GPT-5 kopiert Prompt-Klammerhinweise in den Fließtext. DeepSeek bricht gelegentlich mitten im Satz ab. Sonnet schreibt Halbsymbol-Interpunktion in deutschen Text. Alle diese Spuren sind maschinell einfach zu entfernen — aber jemand muss sie bemerken. Dieser Jemand sollt ihr sein.

---

Wer selbst Benchmarks fährt und von diesen Ergebnissen abweichende Beobachtungen hat: Kommentare willkommen. Besonders interessant sind Fälle, in denen Sonnet oder GPT-5 niedrigere AI-ness-Werte erreicht haben als Opus — diese Diskussion ist noch nicht abgeschlossen.