Viés algorítmico em saúde mental: o caso Obermeyer e o que ele ensina

O algoritmo aprende o que você mede, não o que importa.

Em 2019, um grupo de pesquisadores publicou na revista Science a dissecação de um algoritmo de gestão populacional de saúde usado em larga escala nos Estados Unidos, aplicado a dezenas de milhões de pessoas, e o achado foi tão claro quanto desconfortável. O sistema, desenhado para identificar quais pacientes precisavam de programas de cuidado intensivo, atribuía a pessoas negras e brancas igualmente doentes escores de risco diferentes, e em desfavor das pessoas negras. A causa não foi malícia de quem programou nem uma variável de raça embutida no código. A causa foi uma escolha de medida aparentemente neutra: o algoritmo havia sido otimizado para prever custo de saúde futuro como aproximação de necessidade de saúde. Como o sistema de saúde norte-americano historicamente gasta menos com pacientes negros para o mesmo nível de doença, por barreiras de acesso, o modelo aprendeu que pessoas negras eram menos doentes do que de fato eram. O número que torna a distorção tangível está no próprio estudo: corrigir o viés elevaria a proporção de pacientes negros identificados para cuidado adicional de 17,7 por cento para 46,5 por cento, ou seja, mais que o dobro. A lição estrutural desse caso, anterior a qualquer ferramenta específica, é o que esta peça pretende cravar na prática clínica brasileira.

A continuidade com a discussão anterior desta curadoria é deliberada. A peça precedente ofereceu um questionário operacional de transparência algorítmica para a pessoa profissional aplicar antes de adotar qualquer ferramenta de inteligência artificial em consultório, com perguntas sobre composição da base de treinamento, desempenho em subgrupos populacionais e existência de validação local. O estudo de Obermeyer e colaboradores, publicado na Science em 2019, é a resposta à pergunta natural que aquele questionário levanta: por que insistir tanto nesses detalhes técnicos. A resposta é que o viés algorítmico raramente se anuncia. Ele não aparece como erro óbvio na tela, e sim como uma assimetria silenciosa que reproduz, com a autoridade aparente da matemática, exatamente as desigualdades que já estavam nos dados. Uma ferramenta pode parecer precisa no agregado e ainda assim errar de forma sistemática contra um grupo específico, e a pessoa profissional que confia no escore sem entender o que ele mede assume a responsabilidade técnica por esse erro.

O mecanismo central merece definição precisa, porque dele dependem todas as consequências clínicas. Viés algorítmico, na literatura técnica consolidada por trabalhos como a revisão de Mehrabi e colaboradores publicada na ACM Computing Surveys, não é um fenômeno único, e sim uma família de fenômenos. Há o viés de amostragem, quando a população de treinamento não representa a população de aplicação, situação direta para modelos treinados em corpus estrangeiro e aplicados à clínica brasileira. Há o viés de rótulo, quando a variável que o modelo aprende a prever é uma aproximação imperfeita do que realmente importa, exatamente o erro do caso analisado por Obermeyer, em que custo serviu de proxy para necessidade. Há o viés de medida, quando os próprios instrumentos de coleta operam de modo desigual entre grupos. O ponto que une essas formas é que nenhuma delas exige intenção discriminatória. O viés se instala na escolha técnica, quase sempre invisível para quem apenas consome o resultado final na interface.

A tradução para a saúde mental é onde o risco se aguça, e a literatura tem nome e endereço para isso. Chen, Szolovits e Ghassemi, em artigo dedicado à pergunta sobre se a inteligência artificial pode reduzir disparidades no cuidado médico e de saúde mental, demonstraram com casos concretos que modelos treinados sobre notas clínicas e psiquiátricas reproduzem disparidade por raça, gênero e tipo de cobertura quando essa dimensão não é examinada de forma desagregada. Instrumentos de triagem dimensional, modelos preditivos de risco psicossocial, sistemas de sinalização de não adesão e ferramentas de apoio à documentação clínica operam sobre construtos que já são culturalmente carregados. A expressão de sofrimento psíquico varia por cultura, classe, gênero e raça, e a literatura de avaliação psicológica há décadas alerta para a invariância de medida entre grupos como condição de validade de qualquer instrumento. Um modelo treinado predominantemente em uma população pode subdetectar sofrimento em outra, não porque o sofrimento seja menor, mas porque seus marcadores foram aprendidos a partir de uma expressão específica. Gianfrancesco e colaboradores, em análise publicada no JAMA Internal Medicine, documentaram como dados de prontuário eletrônico, que refletem padrões desiguais de acesso e de registro, propagam essas distorções para qualquer modelo treinado sobre eles.

No Brasil, onde o racismo estrutural produz desigualdade documentada em saúde, importar um modelo sem validação local é importar, junto, o viés que o gerou. A produção nacional já nomeou esse fenômeno. Tarcízio Silva, ao descrever o que chama de necropolítica algorítmica, mostra como sistemas de classificação por escore de risco, alimentados por dados que concentram marcadores de cor e de pobreza, deixam de ser ferramentas neutras e passam a operar a continuidade de um controle desigual, com efeitos materiais sobre segurança e saúde da população negra. Trazer essa leitura para o consultório não é retórica. É reconhecer que um escore de risco psicossocial gerado por uma ferramenta opaca, aplicado a uma população que o modelo nunca viu em quantidade representativa, carrega o mesmo potencial de dano silencioso que o caso norte-americano expôs, agora sobre o corpo de quem o sistema brasileiro de saúde já atende com mais barreira e menos recurso.

A distinção técnica que protege a pessoa profissional é entre desempenho agregado e desempenho estratificado. Uma ferramenta pode exibir métrica global elevada de acurácia e, ainda assim, ter desempenho ruim em um subgrupo que representa fração pequena da base de validação, porque o cálculo agregado dilui o erro local na média. Por isso a literatura de equidade em aprendizado de máquina, sintetizada por autores como Chen, Szolovits e Ghassemi e por Rajkomar e colaboradores em discussão sobre garantia de equidade na saúde publicada nos Annals of Internal Medicine, insiste que toda avaliação de ferramenta clínica reporte desempenho desagregado por grupo, e não apenas o número único de vitrine. Esse mesmo princípio aparece nas diretrizes setoriais que orientam o debate internacional: a Organização Mundial da Saúde, em seu documento de 2021 sobre ética e governança de inteligência artificial para a saúde, coloca a inclusividade e a equidade entre seus princípios centrais, e o Regulamento europeu de inteligência artificial de 2024 exige, para sistemas de alto risco em saúde, governança de dados que examine e mitigue vieses capazes de afetar a saúde e os direitos fundamentais das pessoas. A pergunta que a pessoa profissional deve fazer ao fornecedor não é apenas qual a acurácia, e sim qual a acurácia para mulheres, para pessoas negras, para população de baixa renda, para faixas etárias específicas. A ausência dessa resposta não é detalhe omitido, é sinal de alerta sobre algo que nunca foi medido, e o que não se mede não se pode corrigir.

A integração desse conhecimento à prática clínica brasileira é defensável em movimentos concretos, ancorados no marco regulatório vigente. A Resolução CFP nº 9 de 2024 atribui responsabilidade técnica intransferível à pessoa profissional por cada atendimento mediado por tecnologia, o que significa que delegar uma decisão clínica a uma ferramenta enviesada não transfere a responsabilidade pelo dano, apenas a torna mais difícil de perceber. O próprio Conselho Federal de Psicologia já ofereceu material orientativo específico sobre o tema: em dezembro de 2025, publicou a cartilha "Inteligência Artificial na Psicologia: guia para uma prática ética e responsável" e a cartilha "Chatbots, Inteligência Artificial e sua Saúde Mental", resultado de grupo de trabalho interno, que ajudam a categoria a decidir de forma informada e a proteger quem usa serviços psicológicos. Exija do fornecedor documentação de desempenho desagregado por subgrupo e estudo de validação em população brasileira, e trate a ausência desses dados como contraindicação de adoção, não como pendência menor. Mantenha o juízo clínico como instância revisora de toda saída algorítmica, com atenção redobrada quando o resultado contraria sua impressão clínica formada na escuta direta, porque é exatamente nesse ponto de divergência que o viés silencioso costuma se manifestar. Recorde que apoio algorítmico não substitui avaliação psicológica estruturada, conforme a Resolução CFP nº 31 de 2022 sobre o SATEPSI, e que a fronteira entre apoio operacional legítimo e exercício profissional automatizado é regulatoriamente cravada no país. O algoritmo aprende o que foi medido. Cabe à pessoa profissional saber o que ficou de fora da conta, e responder pela parte que a máquina não viu.

Avisos institucionais para a leitora profissional: este texto é peça de comunicação institucional da Conexão Psicológica e não substitui consulta jurídica especializada em proteção de dados aplicada à saúde mental, parecer técnico do Conselho Regional de Psicologia da jurisdição correspondente, ou análise de conformidade da ferramenta específica em avaliação. Resoluções e cartilhas do CFP, bem como regulações nacionais e internacionais, sofrem atualização periódica e devem ser consultadas em fonte primária no momento da decisão clínica. O tratamento de perfil de saúde mental por ferramenta de inteligência artificial envolve dado pessoal sensível, nos termos dos artigos 11 e 20 da Lei Geral de Proteção de Dados nº 13.709 de 2018, e exige base legal adequada, transparência com a pessoa atendida e revisão humana das decisões.

Curadoria editorial - Conexão Psicológica
Equipe Editorial - Conexão Psicológica · Sobre a equipe