Imagine que seu hospital esteja avaliando dois assistentes de inteligência artificial para apoio à decisão clínica.

Há um detalhe curioso: os dois usam exatamente o mesmo modelo de linguagem. Mesmo fornecedor, mesma versão.

Você faz cem perguntas clínicas a cada um. Os resultados são muito diferentes. Um reconhece contraindicações, cita a diretriz correta e diz "faltam dados" quando faltam. O outro responde com fluência, mas inventa uma referência e ignora um potássio elevado que estava no prontuário.

Mesmo cérebro. Resultados opostos. Como isso é possível?

A resposta está em tudo aquilo que foi construído ao redor do modelo. E a única maneira de enxergar essa diferença antes que ela chegue ao paciente tem nome: evals.

Acredito que entender evals será uma das competências mais importantes para quem pretende trabalhar seriamente com IA na medicina.

O nome parece mais complicado do que a ideia. Eval vem de evaluation: é uma maneira estruturada de testar se um sistema de IA faz aquilo que esperamos que ele faça.

Pense em um novo exame laboratorial. Não basta o fabricante dizer "nosso equipamento é excelente". Queremos saber: qual a precisão? Qual a acurácia? Quais são os interferentes? Em que população foi validado? Em quais situações falha? Os resultados são reprodutíveis? Existe um intervalo em que não podemos confiar no resultado?

Com IA deveria acontecer algo parecido. Um eval é uma tentativa de transformar "parece que funciona" em "temos uma maneira sistemática de medir se funciona".

Essa diferença é enorme.

Como vimos nas duas edições anteriores, a primeira geração de avaliações de LLMs era essencialmente uma prova: pergunta, resposta, comparação com o gabarito. Um ponto se acertou, zero se errou. Isso produziu benchmarks como MMLU e MedQA, fundamentais para comparar modelos e acompanhar a evolução da tecnologia.

Mas os problemas que entregamos aos modelos também ficaram mais complexos. Hoje um sistema pode consultar documentos, buscar informações, usar calculadoras, chamar APIs, analisar imagens, escrever código, executar várias etapas e decidir qual ferramenta utilizar.

Nesse momento, perguntar apenas "a resposta final estava correta?" começa a ser insuficiente.

Quando usamos ChatGPT, Claude ou Gemini diretamente, é natural pensar que IA e modelo são a mesma coisa. Mas aplicações profissionais estão ficando muito mais complexas.

Imagine um assistente clínico. O médico pergunta: "Qual seria a melhor conduta para este paciente?" Antes de responder, o sistema pode ler o prontuário, identificar medicamentos, buscar a guideline adequada, consultar a literatura, calcular um score, verificar contraindicações, produzir uma recomendação e checar a própria resposta.

O modelo é apenas uma parte desse sistema. Todo o conjunto de componentes que envolve e direciona o modelo é chamado de harness.

Pense no harness como o hospital ao redor do médico. Um excelente médico trabalhando sozinho, sem prontuário, laboratório, radiologia ou acesso à literatura, tem determinada capacidade. Coloque o mesmo médico em um centro de excelência com prontuário estruturado, laboratório, PACS, protocolos, farmácia clínica, segunda opinião, discussão multidisciplinar e sistemas de segurança.

O médico é o mesmo. O sistema ao redor dele mudou. É aproximadamente isso que o harness faz com um modelo de IA, e é o que explica os dois assistentes do início desta edição.

A mudança parece óbvia depois que percebemos. Não basta avaliar o modelo. Precisamos cada vez mais avaliar o modelo somado ao harness.

Dois sistemas usando exatamente o mesmo modelo podem ter desempenhos completamente diferentes. Um pode ter boa recuperação de evidências, ferramentas adequadas, checagem de segurança, boa memória e regras de escalonamento. Outro pode simplesmente enviar um prompt ao modelo.

Mesmo cérebro. Ambientes completamente diferentes.