Atualização editorial em : atribuições e orientações corrigidas com fontes; a data da publicação original foi preservada.
Obter respostas diferentes para a mesma pergunta não demonstra, por si só, uma capacidade emergente. Para discutir essa hipótese, é preciso dizer qual tarefa foi avaliada, quais modelos foram comparados e como o resultado foi pontuado. A versão anterior deste artigo confundia variação de saída com emergência e trazia um exemplo de API sem sustentação; esse código foi retirado.
Duas leituras da pesquisa
Wei e colaboradores definem capacidades emergentes, no trabalho de 2022, como habilidades ausentes em modelos menores e presentes em modelos maiores, cujo desempenho não se prevê simplesmente extrapolando o dos menores. Esse é um recorte sobre escala e desempenho, não uma definição de qualquer resposta surpreendente. Pesquisa: Emergent Abilities of Large Language Models.
Schaeffer, Miranda e Koyejo apresentam uma explicação alternativa em 2023: mantendo fixas as saídas de uma tarefa e família de modelos, a escolha de métricas não lineares ou descontínuas pode produzir a aparência de uma mudança abrupta. O trabalho investiga o efeito da medição; não autoriza concluir que toda capacidade emergente foi refutada. Pesquisa: Are Emergent Abilities of Large Language Models a Mirage?.
Exemplo reproduzível: duas notas para as mesmas respostas
O exemplo abaixo isola a regra de pontuação. Há quatro alvos sintéticos de quatro letras, como ABCD. No cenário A, a resposta é AB??; no B, ABC?; no C, ABCD. Os demais alvos seguem a mesma construção. A, B e C são conjuntos inventados, não modelos de tamanhos diferentes.
Correspondência exata conta apenas respostas inteiramente iguais ao alvo. Acerto por posição soma os caracteres corretos e divide pelo total de posições. São caracteres ASCII, não tokens de um LLM nem unidades de significado. O ponto de interrogação representa erro, sem tratamento especial no cálculo.
| Cenário sintético | Posições corretas | Respostas exatas |
|---|---|---|
| A | 8/16 = 50% | 0/4 = 0% |
| B | 12/16 = 75% | 0/4 = 0% |
| C | 16/16 = 100% | 4/4 = 100% |
A melhora parcial de A para B desaparece na coluna de respostas exatas. O salto nessa coluna ocorre quando todas as letras acertam. Isso decorre das respostas construídas e da regra de pontuação, sem precisar supor qualquer mudança em um modelo.
O programa confere cobertura e identidade dos itens, recusa comprimentos diferentes e não normaliza texto silenciosamente. O núcleo executado é:
const assert = require('node:assert/strict');
function medir(alvos, respostas) {
assert.ok(Array.isArray(alvos) && alvos.length > 0, 'Alvos devem ser uma lista nao vazia.');
assert.ok(Array.isArray(respostas), 'Respostas devem ser uma lista.');
assert.equal(respostas.length, alvos.length, 'Cobertura de respostas incompleta.');
const porId = new Map();
for (const alvo of alvos) {
assert.ok(alvo && typeof alvo.id === 'string' && alvo.id.trim(), 'Id invalido.');
assert.ok(typeof alvo.texto === 'string' && /^[A-Z]+$/.test(alvo.texto), 'Alvo exige letras ASCII maiusculas.');
assert.ok(!porId.has(alvo.id), 'Id de alvo repetido.');
porId.set(alvo.id, alvo.texto);
}
const vistos = new Set();
let exatas = 0, posicoesCorretas = 0, posicoes = 0;
for (const resposta of respostas) {
assert.ok(resposta && porId.has(resposta.id), 'Id de resposta desconhecido.');
assert.ok(!vistos.has(resposta.id), 'Id de resposta repetido.');
vistos.add(resposta.id);
const alvo = porId.get(resposta.id);
assert.ok(typeof resposta.texto === 'string' && /^[A-Z?]+$/.test(resposta.texto), 'Resposta invalida.');
assert.equal(resposta.texto.length, alvo.length, 'Comprimentos diferentes.');
exatas += Number(resposta.texto === alvo);
posicoes += alvo.length;
for (let i = 0; i < alvo.length; i++) {
posicoesCorretas += Number(resposta.texto[i] === alvo[i]);
}
}
return { itens: alvos.length, exatas, posicoes, posicoesCorretas,
fracaoExata: exatas / alvos.length, fracaoPorPosicao: posicoesCorretas / posicoes };
}
module.exports = { medir };
Arquivos completos: cálculo, dados sintéticos, execução e testes. Na raiz do projeto, os comandos são:
node exemplos/metricas-exatas/executar.js
node --test exemplos/metricas-exatas/test.js
Na correção editorial, Codex executou o exemplo offline com Node.js: os resultados foram os da tabela e os cinco testes passaram. Os testes cobrem as contas, associação por identificador, preservação das entradas, denominadores e rejeição de dados inválidos. Não houve chamada de modelo ou API paga.
O que pedir antes de aceitar uma conclusão sobre emergência
Como roteiro de leitura, procure as saídas avaliadas, a definição da tarefa, a métrica e o tamanho da amostra. Verifique se a mesma conclusão se mantém com outra pontuação adequada à tarefa. Uma resposta parcialmente correta pode ser útil numa busca, mas inaceitável em um identificador que precisa coincidir por inteiro. Trocar a métrica exige justificar o que ela mede, não escolher a que produz a curva desejada.
Em uma comparação real, também seria necessário registrar versões, instruções, procedimento de amostragem e incerteza dos resultados. Essa comparação não foi realizada aqui.
Limites
O exemplo demonstra uma propriedade de duas regras sobre dados artificiais. Não reproduz os experimentos dos artigos científicos, não mede escala, inteligência ou qualidade semântica e não comprova nem refuta emergência em LLMs. Trata-se de análise baseada em fontes e de uma execução didática por Codex, não de experiência pessoal de Anderson Damasio.