A ferramenta que sabe quando não agir: abstenção, sigilo e decisão humana na IA clínica

Ao avaliar uma ferramenta de inteligência artificial, a pergunta mais comum é o que ela consegue fazer. Demonstrações costumam mostrar o repertório: transcreve, resume, organiza, sinaliza. Raramente mostram o contrário, isto é, o que a ferramenta faz quando recebe algo para o qual não foi pensada.

Este texto propõe inverter a ordem. Para quem atende em consultório próprio, a confiança numa ferramenta depende tanto do que ela faz quanto de como ela se comporta nos pontos em que deveria parar. Chamamos esse comportamento de abstenção: reconhecer o limite, não produzir uma resposta de aparência segura e devolver a decisão a uma pessoa.

Por que parar é uma função, e não uma falha

Um sistema que responde sempre, com o mesmo tom, a qualquer entrada, transmite uma segurança que não tem. O efeito é conhecido: quanto mais fluente e uniforme a resposta, mais fácil é tratá-la como confiável sem examiná-la. Já tratamos dessa dinâmica em <a href="/publicacoes/calibracao-confianca-ia-clinica-teto-70-por-cento-juizo-profissional/">Calibração de confiança em IA clínica</a> e, pelo ângulo da reversão, em <a href="/publicacoes/override-absoluto-ia-clinica-botao-de-reversao-cfp-09-2024/">Override absoluto</a>.

A abstenção é a outra face desse desenho. Em vez de dar à pessoa profissional o poder de desfazer uma sugestão, a ferramenta deixa de fazê-la quando não deveria. Na prática, isso significa que o produto foi construído com uma noção explícita de escopo: para quais materiais, com quais objetivos e sob quais condições foi avaliado, e o que fica fora disso.

Três situações em que abster-se é o comportamento esperado

Entrada fora do escopo. Uma ferramenta pensada para organizar anotações de sessões de adultos recebe o registro de um atendimento de outra natureza, em outro idioma ou com outro formato. O que foi observado sobre o seu desempenho não se estende, sem mais, a esse material. O comportamento esperado é sinalizar que se trata de algo diferente do que ela conhece, e não processar como se fosse igual.

Informação insuficiente ou ambígua. Quando o material é curto, truncado ou contraditório, qualquer síntese preenche lacunas. Uma ferramenta que mostra onde há lacuna entrega mais ao profissional do que uma que a esconde sob um texto bem escrito.

Conteúdo de maior gravidade. Se um trecho sugere situação que exige avaliação cuidadosa, o papel defensável de uma ferramenta é destacar o trecho para revisão humana. Avaliar a situação e decidir o que fazer a partir dela é trabalho de quem atende. Cabe lembrar que um destaque é um aviso de leitura, não uma avaliação, e que a ausência de destaque também não autoriza a conclusão de que nada havia a ver.

O que as normas já separam

O Código de Ética Profissional do Psicólogo (Resolução CFP nº 010/2005) inclui entre os deveres fundamentais prestar serviços de qualidade, utilizando princípios, conhecimentos e técnicas reconhecidamente fundamentados na ciência psicológica, na ética e na legislação profissional (art. 1º, alínea "c"). Quem adota uma ferramenta continua sendo quem responde por essa fundamentação.

O sigilo profissional tem artigo próprio, o art. 9º, que trata do dever de proteger, por meio da confidencialidade, a intimidade das pessoas atendidas. E o art. 10 reconhece que, em situações de conflito entre esse dever e os princípios fundamentais do Código, a quebra de sigilo, quando cabível, é decisão da pessoa psicóloga, que deve basear-se na busca do menor prejuízo. A norma coloca o julgamento em quem atende. Uma ferramenta pode organizar a informação em que esse julgamento se apoia, mas não é a destinatária da decisão.

No plano da proteção de dados, a Lei Geral de Proteção de Dados (Lei nº 13.709/2018) classifica dados referentes à saúde como dados pessoais sensíveis (art. 5º, II) e dedica a eles regras próprias de tratamento (art. 11). O art. 20 garante ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses. O dispositivo trata de decisões exclusivamente automatizadas; num consultório em que a decisão é da pessoa psicóloga, o que ele ilumina é o desenho a evitar, em que uma ferramenta passa a decidir sozinha.

Fora do plano jurídico, o documento da Organização Mundial da Saúde sobre ética e governança da inteligência artificial para a saúde, de 2021, coloca como primeiro princípio a proteção da autonomia humana: as pessoas devem permanecer no controle dos sistemas de saúde e das decisões médicas. É uma orientação, não uma norma brasileira, e serve aqui como referência de direção.

Quatro perguntas para fazer a uma ferramenta

Como proposta editorial nossa, e não como exigência de qualquer norma, sugerimos quatro perguntas a fazer antes de adotar uma ferramenta, ou a qualquer momento em que ela mude:

1. Para que tipo de material e de uso ela foi avaliada, e isso está dito por escrito?
2. O que ela faz quando recebe algo fora desse escopo: avisa, recusa ou processa como se fosse igual?
3. Ela mostra onde a informação é insuficiente, ou preenche a lacuna com texto fluente?
4. Quando destaca algo de maior gravidade, o fluxo devolve a decisão a uma pessoa, ou propõe uma conduta pronta?

Respostas vagas na segunda ou na quarta pergunta indicam que o limite da ferramenta não está desenhado, e, nesse caso, quem o traça é a pessoa profissional, caso a caso, sem apoio do produto. Para um desenho dos limites do apoio operacional, vale ler também <a href="/publicacoes/fronteira-apoio-operacional-ia-ato-privativo-psicologo-cfp-09-2024/">O que não se delega</a>.

Quem decide

A tecnologia mais confiável no consultório é a que ajuda a ver melhor e que sabe indicar onde sua ajuda termina. Esse limite não diminui a ferramenta. É o que permite à pessoa profissional saber, em cada momento, o que está lendo: um apoio ou uma decisão disfarçada de apoio.

A abstenção devolve ao lugar certo aquilo que nunca deixou de ser de quem atende. Ferramentas podem organizar, destacar e lembrar. Quem decide, e responde pelo que decide, continua sendo a pessoa psicóloga.

Curadoria editorial · Conexão Psicológica
Equipe Editorial · Conexão Psicológica · Sobre a equipe