Imagine uma criança nascendo em 2040.

Antes mesmo de deixar a maternidade, já existem informações sobre sua gestação, parto, antecedentes familiares e primeiros exames. Pode existir também seu genoma.

Nos primeiros anos serão acrescentados crescimento, desenvolvimento, vacinas, infecções e medicamentos. Depois virão exames laboratoriais, imagens, consultas e internações.

Relógios e outros sensores poderão registrar sono, atividade física, frequência cardíaca e diversas variáveis fisiológicas. Aos poucos, é provável que se somem camadas que hoje ainda usamos pouco na prática clínica: proteômica, metabolômica e microbioma.

Quando essa pessoa chegar aos 50 anos, poderá ter acumulado milhões de pontos de dados relacionados à sua saúde.

A pergunta é: o que faremos com tudo isso? Vamos simplesmente construir prontuários cada vez maiores?

Talvez estejamos fazendo a pergunta errada.

Abra o prontuário eletrônico de um paciente complexo e tente compreender rapidamente o que está acontecendo.

A história clínica está em um lugar. Os exames laboratoriais, em outro. As imagens estão em outro sistema. O anatomopatológico aparece como laudo. Medicamentos ficam em outra tela. Informações genéticas, quando existem, provavelmente estão armazenadas em outro lugar. Dados de relógios e outros dispositivos muitas vezes nem chegam ao prontuário.

Construímos uma medicina cada vez mais rica em dados. Mas esses dados continuam organizados principalmente de acordo com onde foram produzidos, e não de acordo com o indivíduo que representam.

Para nós, médicos, isso é particularmente estranho. Porque não cuidamos de uma creatinina. Nem de uma tomografia. Nem de um genoma.

Cuidamos de uma pessoa.

A inteligência artificial começa a oferecer uma maneira diferente de organizar esse problema.

Imagine que eu entregue a você três cartões:

Mesmo sem pensar muito, você colocaria os dois primeiros próximos e o terceiro mais distante. Por quê? Porque você entende o significado.

Para um computador isso não é tão simples. Sistemas de busca tradicionais dependiam muito das palavras utilizadas. Modelos modernos aprenderam a transformar palavras, frases, documentos e outras informações em uma espécie de impressão digital matemática do significado.

Tecnicamente, chamamos essa representação de embedding.

O número isolado não nos diz muita coisa. O interessante acontece quando colocamos milhões dessas representações em um espaço matemático: informações relacionadas tendem a ficar próximas.

É como construir um gigantesco mapa em que informações são organizadas não alfabeticamente, mas de acordo com o que significam.

Em 2021, pesquisadores apresentaram o CLIP. Imagine mostrar para uma criança milhões de imagens acompanhadas de suas descrições. Depois de exemplos suficientes, ela começa a entender quais descrições combinam com quais imagens.

O CLIP fez algo semelhante em enorme escala, utilizando 400 milhões de pares de imagens e textos. Depois do treinamento, uma imagem e uma frase com significado relacionado passaram a ocupar regiões próximas de um espaço matemático compartilhado.

Informações completamente diferentes podem ser traduzidas para uma representação computacional compartilhada.

Em 2023, o ImageBind ampliou o princípio para texto, imagem e vídeo, áudio, profundidade, informação térmica e movimento.

CLIP e ImageBind não são modelos médicos. O importante é o princípio.

Pense em como fazemos medicina: integramos história, exame físico, laboratório, imagem, anatomopatológico e evolução. No mundo da IA, chamamos de multimodalidade a capacidade de integrar diferentes formas de informação para construir uma representação mais completa.

Se conseguimos fazer isso com texto, imagem, áudio e outros sinais, por que não fazer com os diferentes dados de um paciente?