O que a temperatura realmente faz
Quando um LLM gera uma resposta, ele produz uma distribuição de probabilidade sobre possíveis próximos tokens a cada passo. A temperatura escala essa distribuição antes da amostragem.
Uma temperatura de 0 faz o modelo sempre escolher o token de maior probabilidade, produzindo output determinístico. Uma temperatura de 1 amostra proporcionalmente à probabilidade do modelo. Uma temperatura acima de 1 achata a distribuição e aumenta a aleatoriedade, tornando tokens menos prováveis mais competitivos.
A intuição correta é pensar em temperatura como um controle de quanto o modelo se permite explorar além da resposta mais óbvia. Baixa: converge. Alta: diverge.
Zero não significa output idêntico toda vez
Temperatura 0 torna o modelo determinístico no sentido matemático, mas prompts idênticos ainda podem produzir outputs ligeiramente diferentes entre chamadas de API separadas. Isso acontece por causa de diferenças de aritmética de ponto flutuante entre hardware e batching. Servidores de inferência processam múltiplos requests em lotes e a ordem de operações pode variar.
Para a maioria das aplicações de produção, temperatura 0 produz output suficientemente consistente. Mas se você está contando com repetibilidade absoluta para testes ou conformidade, precisa de uma camada adicional de validação de output, não apenas confiar no parâmetro de temperatura.
Como escolher uma temperatura para seu caso de uso
Tarefas de extração e classificação se beneficiam de temperatura baixa, tipicamente 0 a 0.3. Você quer que o modelo identifique consistentemente a entidade, rotule o sentimento, ou extraia o campo. Exploração criativa não é desejada aqui.
Respostas a perguntas factuais se beneficiam de 0 a 0.5. O modelo deve recuperar e formatar informação, não inventar variações dela.
Respostas de suporte ao cliente se beneficiam de 0.3 a 0.5. Suficiente para variar a formulação naturalmente entre interações e não soar robótico, enquanto mantém a substância consistente e dentro dos limites aprovados.
Geração aberta, como copy de marketing ou brainstorming criativo, se beneficia de temperatura mais alta, 0.7 a 1.0. O objetivo aqui é justamente explorar o espaço de possibilidades, não convergir para uma resposta canônica.
Temperatura e alucinação
Temperatura mais alta aumenta a criatividade mas também aumenta a taxa de erros factuais. O mecanismo é direto: o modelo amostra de tokens menos prováveis, que podem incluir informações incorretas mas plausíveis. A probabilidade de desviar para território factualmente errado sobe conforme a temperatura sobe.
Para aplicações onde precisão factual importa, temperatura baixa não é uma defesa suficiente. Ela reduz a taxa em que o modelo se desvia para território incorreto, mas não elimina a alucinação. O modelo ainda pode estar altamente confiante sobre algo incorreto.
A abordagem correta é temperatura baixa mais recuperação de fontes de verdade mais avaliação de output. Cobrimos o quadro completo em alucinação em produção.
Outros parâmetros de amostragem
Temperatura não é o único controle. Top-p, também chamado de nucleus sampling, define um limiar de massa de probabilidade e amostra apenas dos tokens principais que atingem cumulativamente esse limiar. Se top-p é 0.9, o modelo considera apenas os tokens cujas probabilidades somam 90% do total antes de amostrar. Isso corta as caudas longas de tokens muito improváveis.
Top-k limita o conjunto de candidatos aos k tokens mais prováveis em absoluto, independente de qual seja a distribuição. Valores baixos de top-k podem fazer o output parecer repetitivo se os top tokens forem todos semanticamente similares.
A maioria dos casos de uso de produção precisa apenas de temperatura e pode deixar top-p e top-k nos padrões do provedor. Configurar múltiplos parâmetros simultaneamente sem uma razão clara para cada um produz interações imprevisíveis e torna o debugging mais difícil. Quando algo vai mal, você não sabe qual parâmetro foi o responsável.
A implicação para avaliação
Se você avalia seu sistema com temperatura 0 e implanta com temperatura 0.7, sua avaliação diz pouco sobre o comportamento em produção. As duas configurações produzem distribuições de output fundamentalmente diferentes.
A variância introduzida por temperatura mais alta significa que você precisa de mais amostras de avaliação para obter uma estimativa estável de precisão. Com temperatura 0, cada prompt produz um output. Com temperatura 0.7, você precisa amostrar múltiplas vezes por prompt para estimar a distribuição de qualidade real.
Execute suas avaliações exatamente na temperatura que você vai implantar, e use amostras suficientes para que o intervalo de confiança na sua métrica de precisão seja estreito o suficiente para ser útil. Cobrimos a metodologia completa em evals de LLM.
O que configurar se você não sabe
Para qualquer tarefa que exija precisão factual, output estruturado ou formatação consistente: comece em 0.2. Execute seu conjunto de avaliação nessa temperatura, depois tente 0.0 e 0.4 e compare os resultados. A diferença costuma ser mais clara do que você espera.
Para qualquer tarefa que exija variedade de linguagem natural, empatia no tom ou output criativo: comece em 0.7. Valide que a variância que você está obtendo é do tipo certo, não simplesmente que o output muda.
A resposta certa é aquela que sua avaliação confirma, não aquela que soa intuitiva. Times que definem temperatura baseados em "sentimento" durante o desenvolvimento e só medem em produção costumam descobrir que a intuição estava errada, e a descoberta acontece com usuários reais.
Publicado originalmente em studiolabsai.com. A Studio Labs constroi IA de producao para times enterprise. Agende uma call.
Top comments (0)