IA na medicina: perigos da tecnologia movem regulamentação nos EUA

Médicos estão adotando inteligência artificial (IA) de formas inovadoras para comunicação com pacientes e auxílio em diagnósticos. Em resposta, o governo dos Estados Unidos está considerando como garantir a segurança dessas ferramentas no sistema de saúde.

Conforme divulgado pelo Wall Street Journal, reguladores federais propuseram um novo sistema de etiquetagem para aplicativos de IA na saúde, visando facilitar para os clínicos a identificação de falhas e limitações dessas ferramentas. A administração Biden sugeriu que esses aplicativos venham com uma “etiqueta nutricional”, revelando como o aplicativo foi treinado, seu desempenho, uso correto e inadequado.

Leia mais:

• IA na saúde mental: como a tecnologia pode revolucionar o atendimento?
• Como a inteligência artificial pode ajudar na saúde mental
• Nova IA impressiona; nem médicos sabiam que resultado era artificial

Essa regra de etiquetagem, que pode ser finalizada antes do final do ano, representa uma das primeiras tentativas concretas de Washington de impor novos requisitos de segurança à inteligência artificial. Empresas de saúde e tecnologia estão se opondo, argumentando que a regra poderia comprometer informações proprietárias e prejudicar a concorrência.

A inteligência artificial no sistema de saúde e seus riscos

A IA já está sendo integrada aos sistemas de saúde. Médicos podem dispensar anotações, pois sistemas de IA capturam informações como sintomas do paciente. Eles também podem revisar prontuários de saúde, comparando-os com muitos outros pacientes, e sugerir diagnósticos ou exames.

No entanto, ferramentas clínicas de IA podem ser falíveis. Algumas tecnologias de anotação geraram relatórios com erros, uso incorreto de terminologia médica e inclusão de medicamentos não prescritos ao paciente. As ferramentas também podem fazer previsões injustas com base na raça ou nível de renda do paciente, perpetuando desigualdades na saúde.

A administração Biden busca maior transparência no software de saúde desenvolvido por gigantes tecnológicos como Google da Alphabet, Amazon.com e Oracle, além de muitas startups.

“É transparência para o usuário do sistema”, disse Micky Tripathi, que dirige um braço do Departamento de Saúde e Serviços Humanos que certifica tecnologia de registros de saúde. “Há resistência a algumas dessas ferramentas devido à sua natureza ‘caixa preta’”.

Embora a transparência seja amplamente apoiada por empresas de tecnologia e administradores de sistemas de saúde, muitos consideram a proposta da etiqueta nutricional excessivamente onerosa e acreditam que poderia suprimir investimentos.

Como os EUA querem regulamentar a IA na medicina

A proposta de etiqueta nutricional foi publicada em abril pelo Escritório do Coordenador Nacional de Tecnologia da Informação em Saúde, parte pouco conhecida do HHS que certifica software de registro eletrônico de saúde. Os requisitos de certificação do ONC funcionam como regulamentações do setor, pois este software geralmente deve ter a aprovação da agência antes de ser adquirido por hospitais e médicos.

Sob a proposta, a etiqueta nutricional de um sistema de IA mostraria como o modelo foi treinado e testado, seus usos pretendidos e medidas de sua “validade e justiça”. A agência não determina a aparência da etiqueta, apenas exige que as informações sejam visíveis para médicos, administradores hospitalares e outros por meio de seu software certificado pelo ONC.

Desenvolvedores de IA podem optar por não divulgar nada, mas os clínicos poderão ver isso também. “Acreditamos que campos em branco seriam muito informativos”, disse Tripathi, líder do ONC.

Para justificar a nova etiqueta, o ONC aponta para evidências de problemas com sistemas de IA amplamente utilizados. Em 2019, por exemplo, pesquisadores documentaram viés racial em um algoritmo usado por hospitais para prever se os pacientes precisariam de ajuda extra no gerenciamento de seus cuidados.

Em outro estudo de 2021, pesquisadores avaliaram um sistema de IA projetado para sinalizar o início da sepse e descobriram que o modelo “prevê mal a sepse”, embora tenha se tornado “um dos sistemas de alerta precoce para sepse mais implementados em hospitais dos EUA”. A proposta do ONC poderia prejudicar startups de IA, especialmente com relação à descrição dos dados de treinamento do sistema de IA, o que poderia ser equivalente a divulgar seu “segredo industrial”.

O post IA na medicina: perigos da tecnologia movem regulamentação nos EUA apareceu primeiro em Olhar Digital.