Amostragem (top-p, top-k)
Amostragem é como um modelo escolhe cada próximo token da sua lista de candidatos: a temperatura remodela as chances, top-p e top-k enxugam a lista, e juntos definem quão previsível ou ousada é a saída.
A cada passo, um modelo não produz uma palavra: produz uma probabilidade para cada token do seu vocabulário. Amostragem é a regra que transforma essa lista em uma escolha. A regra mais simples, pegar sempre o token mais provável, dá um texto repetitivo e sem vida; a geração real sorteia na lista ao acaso, ponderando por essas probabilidades, e os ajustes decidem quão amplo é o sorteio.
Top-k mantém apenas os k tokens mais prováveis e sorteia entre eles; top-p mantém o menor conjunto cujas probabilidades somam p — digamos 0,9 —, então a lista encolhe quando o modelo está confiante e se alarga quando não está. A temperatura é aplicada antes dos dois: abaixo de 1 ela afia as chances rumo aos favoritos, acima de 1 as achata. Os runtimes locais expõem os três, normalmente com padrões sensatos como temperatura 0,7 e top-p 0,9.
Escolha os ajustes pela tarefa. Código, extração e tudo o que uma máquina confere pedem temperatura baixa e top-p apertado; brainstorming e ficção pedem o contrário. Uma seed torna uma execução amostrada repetível — mesma seed, mesmos ajustes, mesmos tokens —, o que importa quando você compara com justiça duas quantizações de um mesmo modelo.
Onde você vê isso no radar
Ajustes de amostragem mudam o que um modelo diz, não o que ele precisa: memória e compatibilidade são as mesmas a temperatura 0 e 1,2. É por isso que o buscador pergunta sobre hardware e contexto, nunca sobre amostragem.
Conferir o que cabe, sejam quais forem os ajustes →Termos relacionados