Durante anos, avaliar inteligência artificial parecia relativamente simples. Criávamos uma prova, o modelo respondia, contávamos os acertos. Setenta por cento. Depois oitenta. Depois noventa e cinco.

Até que surgiu um problema curioso: os modelos começaram a ficar bons demais nas provas que criamos para avaliá-los.

À primeira vista, isso parece uma ótima notícia. E é. Mas cria uma pergunta que considero muito mais interessante: o que acontece quando nossa capacidade de construir e corrigir a prova evolui mais lentamente do que a capacidade da IA de respondê-la?

Podemos estar entrando em uma fase em que o gargalo da inteligência artificial não será apenas construir modelos melhores. Será descobrir se eles realmente ficaram melhores. E, na medicina, isso pode se tornar particularmente importante.

Imagine uma prova extremamente difícil. A primeira geração de modelos acerta metade. A seguinte, setenta por cento. Depois oitenta e cinco. Depois noventa e cinco. Até chegarmos a:

Tecnicamente, B teve desempenho superior. Mas essa diferença significa alguma coisa? Provavelmente não.

Chegamos ao que chamamos de saturação do benchmark. O nome parece técnico, mas a ideia é conhecida de qualquer professor: se todos os melhores alunos tiram 10, a prova deixou de conseguir distinguir quem sabe mais. O problema não está nos alunos. Está na prova.

Foi justamente por isso que, à medida que os modelos melhoraram, começaram a surgir avaliações progressivamente mais difíceis e mais próximas de tarefas reais. Na medicina, vimos isso na edição anterior: saímos de provas de múltipla escolha e passamos a avaliar raciocínio, segurança, comunicação, anamnese e tarefas clínicas.

Mas existe outra maneira de resolver o problema. Em vez de perguntar "que nota cada modelo merece?", podemos colocar dois modelos frente a frente.

Imagine duas respostas para o mesmo caso clínico. As duas são boas. Dar uma nota absoluta é difícil: resposta A vale 8,3? Resposta B vale 8,6? Qual a diferença real entre esses dois números?

Agora coloque as duas lado a lado. Você pode perceber imediatamente: "B é melhor porque reconheceu uma contraindicação importante que A ignorou."

Isso é avaliação comparativa, e nós a fazemos naturalmente. É muito mais fácil decidir "A ou B?" do que "qual nota exata A merece?". Por isso avaliações comparativas continuam tão importantes, tanto para humanos quanto para sistemas de IA.

Mas existe uma armadilha.

Imagine:

B é melhor. Então devemos utilizá-lo? Não necessariamente.

Suponha que, para aquela aplicação, tenhamos definido previamente um limiar de segurança mínima aceitável de 99,9% (um número hipotético, para ilustrar). Nesse caso, "B é melhor que A" continua verdadeiro. Mas nenhum dos dois é bom o suficiente.

Essa distinção é fundamental. Uma avaliação comparativa responde: qual é melhor? Uma avaliação absoluta precisa responder: é bom o suficiente para aquilo que quero fazer? Na medicina, precisamos das duas.

É parecido com comparar dois testes laboratoriais. Um pode ser mais preciso que o outro, e ainda assim nenhum deles ter desempenho suficiente para a decisão clínica que queremos tomar.

Imagine que os modelos continuem melhorando. A resposta A é excelente. A resposta B também. Ambas analisam dezenas de estudos, reconhecem nuances, consideram diagnósticos que você nem tinha colocado inicialmente no diferencial.

Pedimos então a um médico: qual resposta é melhor?

Ele lê. Relê. E responde: não sei.

Não porque as respostas sejam ruins, mas porque podem ter ultrapassado sua capacidade de diferenciá-las.