Temperature

Temperature применяется к logits перед softmax: logits/T. При T=0 модель детерминистично выбирает наиболее вероятный токен (greedy decoding). При T=1 — стандартное распределение вероятностей. T>1 сглаживает распределение, увеличивая шанс редких токенов. Для фактических ответов рекомендуется T=0-0.3, для креативного письма T=0.7-1.0. Связанные параметры: top_p (nucleus sampling), top_k (ограничение выбора k токенами).