¿Qué es la temperatura en un LLM?

Scrapeless Agent Browser proporciona un navegador en la nube para automatización web.

La temperatura en un LLM es un parámetro de decodificación que cambia las probabilidades relativas utilizadas al muestrear el siguiente token. Los valores positivos más bajos concentran la probabilidad en los candidatos con puntuaciones más altas. Los valores más altos aplanan la distribución y permiten que se seleccionen con más frecuencia candidatos menos probables. La temperatura cambia el comportamiento de selección; no añade conocimiento al modelo.

Esa distinción importa cuando configuras un asistente en producción. Un lenguaje más variado puede ayudar con la lluvia de ideas, mientras que un formato consistente puede importar más para la extracción. Ninguno de estos objetivos puede reducirse a un número universalmente mejor. Elige una configuración mediante la evaluación de tu modelo real, los prompts y la tarea.

Cómo cambia la temperatura las probabilidades de los tokens

La temperatura reescala las puntuaciones de los tokens antes de que se calcule la distribución de muestreo. En la formulación común, el logit de cada candidato se divide por una temperatura positiva y los resultados pasan por softmax. Con un valor de uno, la temperatura no reescala los logits. Un valor por debajo de uno hace que las diferencias de puntuación existentes sean más pronunciadas; un valor por encima de uno reduce su efecto relativo.

Imagina una elección hipotética del siguiente token en la que un candidato tiene una puntuación más alta que otro. Bajar la temperatura incrementa la ventaja relativa del token con mayor puntuación. No introduce una comprobación de evidencia ni decide si ese token es verdadero. El mecanismo opera sobre la continuación predicha por el modelo, que puede favorecer una afirmación segura pero no respaldada.

El investigación sobre decodificación de texto neuronal distingue los objetivos de entrenamiento del comportamiento de generación y examina por qué las elecciones de decodificación afectan a la calidad del texto. Para el diseño de aplicaciones, la consecuencia útil es sencilla: evalúa salidas completas. Un cambio a nivel de token puede alterar una oración posterior, la selección de herramientas o la decisión de detenerse de maneras que un solo ejemplo no revelará.

Lo que una temperatura baja puede y no puede hacer

Una temperatura baja generalmente reduce la variación del muestreo al favorecer continuaciones probables. Esto puede ser útil cuando la tarea requiere etiquetas estables, extracción concisa o redacción consistente. Sigue siendo una configuración de generación probabilística y no una garantía de corrección, y su efecto depende de cómo el modelo y el sistema de servicio implementen la decodificación.

Un valor expuesto como cero suele tratarse como un caso especial de decodificación en lugar de una división literal por cero. Revisa la interfaz del modelo seleccionado antes de confiar en ese comportamiento. Incluso una política de selección codiciosa no debería describirse como una promesa de salidas idénticas en todas las condiciones de despliegue. Las actualizaciones del modelo y los detalles del servicio pueden afectar la reproducibilidad independientemente de los controles de muestreo visibles.

Para una tarea hipotética de extracción de productos, una configuración más baja puede hacer que el formato de salida sea más estable mientras devuelve repetidamente la moneda equivocada. La corrección consiste en mejorar la gestión de evidencia y la validación. Bajar aún más la temperatura no puede proporcionar una moneda que la entrada haya omitido. Mantén los valores faltantes explícitos en lugar de animar al modelo a completarlos a partir de la expectativa.

Por qué una temperatura más alta no es una garantía de creatividad

Una temperatura más alta aumenta la probabilidad de seleccionar continuaciones de menor probabilidad, lo que puede producir salidas más variadas. Esa variedad puede ayudar a explorar nombres, formulaciones alternativas o posibles interpretaciones. También puede generar texto irrelevante o inconsistente. Decide qué significa variación útil antes de medir si una configuración la mejora.

Una evaluación de lluvia de ideas podría recompensar ideas que difieren de manera significativa mientras satisfacen las restricciones. Una evaluación de resumen factual podría penalizar afirmaciones no respaldadas incluso cuando la prosa es atractiva. Esas tareas necesitan rúbricas diferentes. Contar cuántas palabras únicas aparecen es un sustituto débil de evaluar si la salida es útil.

La investigación sobre temperatura y rendimiento en la resolución de problemas encuentra un comportamiento dependiente de la tarea y del modelo en lugar de una regla universal de exactitud. Evita tratar una temperatura más baja como una configuración de verdad o una temperatura más alta como una configuración de inteligencia. Evalúa el comportamiento real que te importa y conserva la evidencia de la elección.

Temperatura frente a top-p y otros controles

La temperatura reescala las puntuaciones relativas, mientras que top-p restringe el muestreo a un conjunto de tokens cuya probabilidad acumulada alcanza un umbral. Estos controles afectan a partes diferentes del proceso de selección. Su comportamiento combinado depende del orden y de los detalles implementados por la interfaz del modelo.

Un límite de longitud de salida aborda un problema distinto: cuánta cantidad de texto se puede generar. Una restricción de formato aborda la estructura de salida aceptable. Una instrucción de sistema describe el comportamiento deseado. Cambiar uno de estos controles no hace que los demás sean redundantes. Una respuesta de baja temperatura todavía puede ser demasiado larga, inválida para un analizador posterior o no respaldada por la fuente.

Al diagnosticar un problema, cambia un control a la vez. Si reescribes el prompt, sustituyes el material recuperado y cambias el muestreo simultáneamente, un resultado mejorado no te dirá qué intervención ayudó. Registra la entrada, la identidad del modelo, la configuración y la decisión de puntuación para cada evaluación para que la comparación siga siendo interpretable.

Elige una configuración con una evaluación repetible

La selección de temperatura debe comenzar con un conjunto de evaluación específico de la tarea y una definición del comportamiento aceptable. Incluye solicitudes ordinarias y casos difíciles, como entrada ambigua, evidencia faltante, fuentes en conflicto y documentos inusualmente largos. Conserva las mismas entradas de evaluación en todas las configuraciones candidatas.

Ejecuta cada configuración en múltiples solicitudes e inspecciona tanto la calidad como la variación. Un muestreo repetido puede revelar inestabilidad que una sola respuesta exitosa oculta. Establece el número de ejecuciones según el costo de la decisión y la variación observada, en lugar de presentar un requisito universal arbitrario. Conserva los ejemplos fallidos en el registro; filtrarlos haría que la configuración pareciera más sólida de lo que es.

Para extracción estructurada, puntúa por separado la exactitud de los campos, el manejo de valores faltantes y la validez de la salida. Para redacción, evalúa el cumplimiento de las restricciones y la diversidad útil. Para un agente, evalúa los argumentos de las herramientas y las condiciones de finalización. Una configuración que mejora la variedad de la prosa puede hacer que una tarea de selección de herramientas sea menos predecible, así que prueba esas superficies de manera independiente cuando la aplicación permita configuraciones separadas.

Separa los problemas de muestreo de los problemas de evidencia

Un problema de muestreo se refiere a la variación en cómo el modelo elige una respuesta; un problema de evidencia se refiere a si la información necesaria está disponible y es confiable. Diagnostica primero la evidencia cuando una respuesta contiene un hecho actual no fundamentado. Una temperatura diferente no puede actualizar el conocimiento almacenado del modelo.

El flujo de trabajo de búsqueda web en tiempo real se ocupa de la adquisición de material de fuente actual. Tu aplicación aún necesita inspeccionar ese material y decidir qué respalda la respuesta. El acceso al navegador y las configuraciones de decodificación operan en capas diferentes, así que evalúa cada capa según sus propias responsabilidades.

El contexto adicional puede introducir distracciones así como información. Experimentos sobre contexto irrelevante en tareas de modelos de lenguaje muestran por qué la selección de contexto merece atención por separado. Antes de ajustar el muestreo para corregir respuestas inconsistentes, comprueba si el prompt mezcla evidencia relevante con navegación no relacionada, contenido duplicado o instrucciones en conflicto de páginas recuperadas.

Configura agentes según el tipo de decisión

Un agente puede realizar varios tipos de decisiones del modelo, y una temperatura compartida puede afectarlas de manera diferente. Redactar una consulta de búsqueda, elegir una herramienta, extraer un precio y redactar una explicación final no tienen requisitos idénticos. Cuando tu arquitectura lo permita, evalúa configuraciones para cada tipo de decisión en lugar de asumir que una sola configuración sirve para toda la tarea.

Mantén las restricciones de ejecución fuera del muestreo. Una lista permitida de herramientas, la validación de argumentos y el límite de gasto deben seguir siendo efectivos independientemente del texto que genere el modelo. Si un agente propone una acción no permitida, el tiempo de ejecución debe rechazar esa acción. Un muestreo más conservador puede reducir algunas propuestas no deseadas, pero no debe cargar con la responsabilidad del control de acceso.

Para tareas basadas en navegador, Agent Browser proporciona la superficie de interacción. La configuración del modelo pertenece a la aplicación que lo rodea. Compara por separado los costos de las llamadas al modelo y el trabajo del navegador, usando Scrapeless pricing para este último en lugar de tratar todos los cargos de tiempo de ejecución como tokens.

Registra los límites de tu resultado

Una recomendación de temperatura debe indicar el alcance de la evaluación que la respalda. Registra la configuración del modelo, el conjunto de tareas, la versión del prompt y los criterios de calidad. Si cualquiera de esos cambia, comprueba si la configuración sigue cumpliendo los mismos requisitos antes de tratar el resultado anterior como vigente.

Evita presentar una evaluación estrecha como una regla general para todos los modelos de lenguaje. Dos sistemas pueden exponer un parámetro con el mismo nombre mientras difieren en soporte, valores predeterminados e interacción con otros controles. Una nota de ingeniería útil indica qué se evaluó y qué casos de fallo permanecen. No necesita afirmar que un valor es universalmente el más seguro o el más creativo.

La conclusión

La temperatura controla la distribución utilizada para el muestreo de tokens. Elígela midiendo el comportamiento que tu aplicación necesita, e investiga por separado la evidencia faltante o la mala validación. Comienza con una rúbrica de tarea clara, compara configuraciones candidatas con entradas fijas y conserva los ejemplos que explican por qué la configuración elegida encaja.