10 Sprachmodelle im Vergleich. Alle bekommen denselben Satz und denselben Prompt. 100 Sätze aus dem DEplain-web-sent Datensatz (Einfache Sprache, A2-Niveau).
TextSpur nutzt ein Sprachmodell, um Live-Untertitel auf Wunsch in Einfache Sprache zu übersetzen. Dieser Benchmark prüft, welche Modelle als Einfache-Sprache-Übersetzer geeignet sind: Jedes Modell vereinfacht dieselben 100 Sätze mit demselben Prompt.
Bewertet werden die Ergebnisse mit SARI (Qualität der Vereinfachung), BERTScore (Bedeutungstreue), der Flesch-Lesbarkeit und der Antwortzeit. Alle Beispielsätze lassen sich unten im Detail vergleichen.