Novos padrões para testes clínicos de Inteligência Artificial ajudarão a identificar a propaganda enganosa e o sensacionalismo
Health Innovation por Einstein

Novos padrões para testes clínicos de Inteligência Artificial ajudarão a identificar a propaganda enganosa e o sensacionalismo

As diretrizes garantem que a pesquisa de Inteligência Artificial (IA) médica esteja sujeita ao mesmo escrutínio que o desenvolvimento de medicamentos e testes de diagnóstico.

A notícia: um consórcio internacional de médicos especialistas introduziu os primeiros padrões oficiais para testes clínicos que envolvem Inteligência Artificial (IA). A mudança chega em um momento em que o sensacionalismo em torno da IA médica está no auge, com afirmações exageradas, e não verificadas, sobre a eficácia de certas ferramentas, ameaçando comprometer a confiança das pessoas na IA em geral.

O que significa: divulgados na Nature Medicine, no British Medical Journal e no Lancet, os novos padrões abrangem dois conjuntos de diretrizes sobre como os ensaios clínicos devem ser conduzidos e relatados, os mesmos que já estão em uso em todo o mundo para o desenvolvimento de medicamentos, testes de diagnóstico e outras intervenções médicas. Os pesquisadores de IA agora terão que descrever as habilidades necessárias para usar uma ferramenta de IA, o ambiente em que ela é avaliada, detalhes sobre como os humanos interagem com ela, análise de casos de erro e muito mais.

Por que é importante: os ensaios clínicos randomizados são a forma mais confiável de demonstrar a eficácia e segurança de um tratamento ou técnica clínica. Eles sustentam a prática médica e a política de saúde. Mas sua confiabilidade depende de os pesquisadores seguirem diretrizes rígidas sobre como seus testes devem ser conduzidos e como relatá-los. Nos últimos anos, muitas ferramentas novas de IA foram desenvolvidas e descritas em publicações médicas, mas sua eficácia tem sido difícil de comparar e avaliar porque a qualidade dos projetos dos estudos varia. Em março de 2020, um estudo do BMJ alertou que pesquisas ruins e afirmações exageradas sobre a eficácia da IA na análise de imagens médicas representavam um risco para milhões de pacientes.

Ápice do sensacionalismo: a falta de padrões comuns também permitiu que empresas privadas se gabassem sobre a eficácia de sua IA sem enfrentar o escrutínio aplicado a outros tipos de intervenção médica ou diagnóstico. Por exemplo, a empresa de saúde digital Babylon Health, sediada no Reino Unido, foi criticada em 2018 por anunciar que seu chatbot de diagnóstico estava “no mesmo nível dos médicos humanos”, com base em evidências que os críticos argumentaram ser enganosas.

A Babylon Health está longe de ser a única. Os desenvolvedores têm afirmado que as IAs médicas superam ou se equiparam à capacidade humana há algum tempo, e a pandemia acelerou essa tendência, à medida que as empresas competem para fazer suas ferramentas se destacarem. Na maioria dos casos, a avaliação dessas IAs é feita internamente e em condições favoráveis.

Promessa futura: isso não quer dizer que a IA não possa vencer os médicos humanos. Na verdade, a primeira avaliação independente de uma ferramenta de diagnóstico de IA que superou os humanos em detectar câncer em mamografias foi publicada em 2020. O estudo descobriu que uma ferramenta feita pela Lunit AI, e usada em alguns hospitais na Coreia do Sul, teve um desempenho semelhante ao do grupo de radiologistas ao qual foi testada em comparação. Era ainda mais precisa quando combinada com um médico humano. Ao fazer a separação do bom e do ruim, os novos padrões tornarão esse tipo de avaliação independente mais fácil, levando a uma IA médica melhor e mais confiável.

Contextos brasileiro e mundial: segundo o médico e consultor de Big Data Analytics do Hospital Israelita Albert Einstein Adriano José Pereira, o boom mundial de desenvolvimento de IA levou a consequências indesejadas do emprego dos algoritmos na prática médica e assistencial. Atualmente, já existe consenso de que intervenções direta ou indiretamente originadas de modelos preditivos e prescritivos precisam ser validadas clinicamente. Nesse caso, os ensaios clínicos, assim como aqueles previstos para o desenvolvimento de medicamentos, devem cumprir todas as etapas estabelecidas para a comprovação: de segurança em voluntários sadios (fase I); da eficácia inicial, mecanismo e outros aspectos (fase II); de uma relação risco–benefício positiva em uma amostra maior e mais representativa (fase III). “Desenvolver um algoritmo com ótimas métricas de desempenho na sua capacidade preditiva é apenas o primeiro passo. A validação clínica, por meio da aplicação do método científico, em estudos com delineamento adequado, são indispensáveis para se avaliar a relação risco–benefício de tais intervenções”, afirmou Pereira.