Imagine dois médicos fazendo uma prova.

O primeiro acerta 95 questões em 100. O segundo acerta 92.

Se essa fosse toda a informação disponível, provavelmente concluíríamos que o primeiro teve melhor desempenho.

Agora imagine que eu lhe conte quais foram os erros.

O primeiro errou cinco questões relativamente pouco relevantes. O segundo errou oito questões simples e, em uma delas, deixou de reconhecer uma situação potencialmente fatal.

A comparação muda.

Em medicina, não importa apenas quantas vezes erramos. Importa como erramos.

Essa distinção está se tornando um dos problemas mais importantes da inteligência artificial médica.

Quando os grandes modelos de linguagem começaram a demonstrar conhecimento médico, precisávamos de alguma maneira de medir isso. A solução era natural: usamos provas.

Benchmarks como o MedQA, construídos a partir de questões de exames médicos, permitiram comparar modelos e acompanhar sua evolução. A lógica era semelhante à avaliação de um estudante: pergunta, alternativas, resposta correta.

Isso foi extremamente útil. Mas os modelos começaram a ficar muito bons nas provas. E surgiu a pergunta: o que exatamente estamos medindo?

Pense em um plantão. O paciente não chega com uma vinheta perfeitamente organizada e cinco alternativas. Ele diz: "Doutor, estou com uma dor estranha no peito."

Agora começa a medicina.

Você precisa descobrir quando começou, como é a dor, se irradia, se há dispneia, quais são os fatores de risco, como está o ECG e quais informações ainda estão faltando.

Resolver um caso clínico pronto não é a mesma coisa que descobrir o caso clínico.

O MedHELM, publicado na Nature Medicine, parte da ideia de que benchmarks médicos tradicionais capturam apenas uma pequena parte do trabalho médico.

Em vez de perguntar apenas "quanto de medicina o modelo sabe?", organiza a avaliação em categorias como apoio à decisão clínica, geração de notas clínicas, comunicação com pacientes, pesquisa médica e administração. São 22 subcategorias e 121 tarefas.

A mudança é importante: saímos de "este modelo sabe medicina?" para "o que exatamente este modelo consegue fazer em medicina?"

Imagine um modelo extraordinário para resumir prontuários. Isso significa que ele deveria prescrever medicamentos? Não.

Outro pode ser excelente em comunicação com pacientes. Isso significa que deveria interpretar uma biópsia renal? Também não.

A pergunta correta é outra: qual modelo é adequado para esta tarefa, nesta população, neste contexto e com este nível de risco?

É parecido com medicamentos. Não perguntamos "qual é o melhor remédio?". Perguntamos para qual doença, em qual paciente, em qual dose e em qual contexto.

O CRAFT-MD aproxima a avaliação da dinâmica médico-paciente. Em vez de entregar toda a história pronta, cria pacientes simulados com quem a IA precisa conversar.

É como comparar uma prova escrita com uma prova prática. Uma coisa é responder uma questão sobre insuficiência cardíaca. Outra é entrar em uma sala e descobrir, pela conversa, quais informações são relevantes.

Medicina não é apenas responder perguntas. É saber quais perguntas fazer.

Dois modelos podem chegar ao mesmo diagnóstico por caminhos muito diferentes.

O MedR-Bench avalia recomendação de exames, diagnóstico, tratamento e dimensões do raciocínio clínico. Isso revela uma diferença importante: saber o diagnóstico não significa necessariamente saber praticar medicina.