Atualização editorial em : atribuições e orientações corrigidas com fontes; a data da publicação original foi preservada.

Obter respostas diferentes para a mesma pergunta não demonstra, por si só, uma capacidade emergente. Para discutir essa hipótese, é preciso dizer qual tarefa foi avaliada, quais modelos foram comparados e como o resultado foi pontuado. A versão anterior deste artigo confundia variação de saída com emergência e trazia um exemplo de API sem sustentação; esse código foi retirado.

Duas leituras da pesquisa

Wei e colaboradores definem capacidades emergentes, no trabalho de 2022, como habilidades ausentes em modelos menores e presentes em modelos maiores, cujo desempenho não se prevê simplesmente extrapolando o dos menores. Esse é um recorte sobre escala e desempenho, não uma definição de qualquer resposta surpreendente. Pesquisa: Emergent Abilities of Large Language Models.

Schaeffer, Miranda e Koyejo apresentam uma explicação alternativa em 2023: mantendo fixas as saídas de uma tarefa e família de modelos, a escolha de métricas não lineares ou descontínuas pode produzir a aparência de uma mudança abrupta. O trabalho investiga o efeito da medição; não autoriza concluir que toda capacidade emergente foi refutada. Pesquisa: Are Emergent Abilities of Large Language Models a Mirage?.

Exemplo reproduzível: duas notas para as mesmas respostas

O exemplo abaixo isola a regra de pontuação. Há quatro alvos sintéticos de quatro letras, como ABCD. No cenário A, a resposta é AB??; no B, ABC?; no C, ABCD. Os demais alvos seguem a mesma construção. A, B e C são conjuntos inventados, não modelos de tamanhos diferentes.

Correspondência exata conta apenas respostas inteiramente iguais ao alvo. Acerto por posição soma os caracteres corretos e divide pelo total de posições. São caracteres ASCII, não tokens de um LLM nem unidades de significado. O ponto de interrogação representa erro, sem tratamento especial no cálculo.

Cenário sintéticoPosições corretasRespostas exatas
A8/16 = 50%0/4 = 0%
B12/16 = 75%0/4 = 0%
C16/16 = 100%4/4 = 100%

A melhora parcial de A para B desaparece na coluna de respostas exatas. O salto nessa coluna ocorre quando todas as letras acertam. Isso decorre das respostas construídas e da regra de pontuação, sem precisar supor qualquer mudança em um modelo.

O programa confere cobertura e identidade dos itens, recusa comprimentos diferentes e não normaliza texto silenciosamente. O núcleo executado é:

const assert = require('node:assert/strict');

function medir(alvos, respostas) {
  assert.ok(Array.isArray(alvos) && alvos.length > 0, 'Alvos devem ser uma lista nao vazia.');
  assert.ok(Array.isArray(respostas), 'Respostas devem ser uma lista.');
  assert.equal(respostas.length, alvos.length, 'Cobertura de respostas incompleta.');
  const porId = new Map();
  for (const alvo of alvos) {
    assert.ok(alvo && typeof alvo.id === 'string' && alvo.id.trim(), 'Id invalido.');
    assert.ok(typeof alvo.texto === 'string' && /^[A-Z]+$/.test(alvo.texto), 'Alvo exige letras ASCII maiusculas.');
    assert.ok(!porId.has(alvo.id), 'Id de alvo repetido.');
    porId.set(alvo.id, alvo.texto);
  }
  const vistos = new Set();
  let exatas = 0, posicoesCorretas = 0, posicoes = 0;
  for (const resposta of respostas) {
    assert.ok(resposta && porId.has(resposta.id), 'Id de resposta desconhecido.');
    assert.ok(!vistos.has(resposta.id), 'Id de resposta repetido.');
    vistos.add(resposta.id);
    const alvo = porId.get(resposta.id);
    assert.ok(typeof resposta.texto === 'string' && /^[A-Z?]+$/.test(resposta.texto), 'Resposta invalida.');
    assert.equal(resposta.texto.length, alvo.length, 'Comprimentos diferentes.');
    exatas += Number(resposta.texto === alvo);
    posicoes += alvo.length;
    for (let i = 0; i < alvo.length; i++) {
      posicoesCorretas += Number(resposta.texto[i] === alvo[i]);
    }
  }
  return { itens: alvos.length, exatas, posicoes, posicoesCorretas,
    fracaoExata: exatas / alvos.length, fracaoPorPosicao: posicoesCorretas / posicoes };
}

module.exports = { medir };

Arquivos completos: cálculo, dados sintéticos, execução e testes. Na raiz do projeto, os comandos são:

node exemplos/metricas-exatas/executar.js
node --test exemplos/metricas-exatas/test.js

Na correção editorial, Codex executou o exemplo offline com Node.js: os resultados foram os da tabela e os cinco testes passaram. Os testes cobrem as contas, associação por identificador, preservação das entradas, denominadores e rejeição de dados inválidos. Não houve chamada de modelo ou API paga.

O que pedir antes de aceitar uma conclusão sobre emergência

Como roteiro de leitura, procure as saídas avaliadas, a definição da tarefa, a métrica e o tamanho da amostra. Verifique se a mesma conclusão se mantém com outra pontuação adequada à tarefa. Uma resposta parcialmente correta pode ser útil numa busca, mas inaceitável em um identificador que precisa coincidir por inteiro. Trocar a métrica exige justificar o que ela mede, não escolher a que produz a curva desejada.

Em uma comparação real, também seria necessário registrar versões, instruções, procedimento de amostragem e incerteza dos resultados. Essa comparação não foi realizada aqui.

Limites

O exemplo demonstra uma propriedade de duas regras sobre dados artificiais. Não reproduz os experimentos dos artigos científicos, não mede escala, inteligência ou qualidade semântica e não comprova nem refuta emergência em LLMs. Trata-se de análise baseada em fontes e de uma execução didática por Codex, não de experiência pessoal de Anderson Damasio.