TheModelDesk

Chain-of-Thought-Prompting zeigte, dass große Sprachmodelle komplexe Reasoning-Probleme durch schrittweise Zwischenüberlegungen lösen können. Dieses Verfahren beruhte jedoch auf einem einzelnen Lösungsweg – enthielt dieser einen Fehler, war auch die Antwort wahrscheinlich falsch. Self-Consistency adressiert diese Limitation, indem es mehrere unabhängige Lösungspfade durch dasselbe Problem generiert und die Antwort auswählt, die über diese vielfältigen Pfade am häufigsten auftritt. Das Modell selbst bleibt unverändert; nur die Dekodierungsstrategie unterscheidet sich, ohne zusätzliches Training, Fine-Tuning oder Supervision zu erfordern.

Forscher aus Google Research präsentierten diese Arbeit auf der ICLR 2023 und zeigten erhebliche Verbesserungen über arithmetische, Common-Sense- und symbolische Reasoning-Aufgaben hinweg. Die Technik ist vom menschlichen Problemlösen inspiriert: Bei schwierigen Fragen betrachten Menschen typischerweise mehrere Ansätze, bevor sie sich auf die überzeugendste Antwort einigen. Self-Consistency wendet dieses Prinzip auf Sprachmodelle an und nutzt ihre vorhandenen Reasoning-Fähigkeiten effizienter.

Die Bedeutung des Papers liegt darin zu zeigen, dass Leistungsgewinne nicht aus größeren Modellen entstehen müssen. Stattdessen führt intelligentere Nutzung der bereits vorhandenen Fähigkeiten zu besserem Reasoning. Diese Arbeit markierte einen Wandel in der LLM-Forschung zu Test-Time-Reasoning-Strategien und beeinflusste nachfolgende Entwicklungen in Verifikation, suchbasierter Inferenz und Reasoning-orientierten Sprachmodellen.