TheModelDesk

El prompting de cadena de pensamiento demostró que los grandes modelos de lenguaje podían resolver problemas complejos de razonamiento trabajando a través de pasos intermedios. Sin embargo, este enfoque se basaba en un único camino de razonamiento: si ese camino contenía un error, la respuesta final probablemente sería incorrecta. La auto-consistencia aborda esta limitación generando múltiples caminos de razonamiento independientes a través del mismo problema y seleccionando la respuesta que aparece con mayor frecuencia entre estas trayectorias diversas. El modelo en sí permanece sin cambios; solo la estrategia de decodificación difiere, sin requerir entrenamiento adicional, ajuste fino ni supervisión.

Investigadores de Google Research presentaron este trabajo en ICLR 2023, mostrando mejoras sustanciales en tareas de razonamiento aritmético, sentido común y simbólico. La técnica se inspira en cómo los humanos resuelven problemas: frente a preguntas difíciles, las personas típicamente consideran múltiples enfoques antes de elegir la respuesta más convincente. La auto-consistencia aplica este principio a modelos de lenguaje, aprovechando de manera más eficaz las capacidades de razonamiento que ya poseen.

La importancia de este artículo radica en demostrar que las mejoras de rendimiento no necesariamente provienen de modelos más grandes. En cambio, un razonamiento mejor surge de un uso más inteligente de las capacidades existentes. Este trabajo marcó un cambio en la investigación de LLM hacia estrategias de razonamiento en tiempo de decodificación e influyó en desarrollos posteriores en verificación, inferencia basada en búsqueda y modelos de lenguaje orientados al razonamiento.