Calibração de confiança em IA clínica: por que 70% não é número arbitrário

Confiança que não bate com o acerto engana.

Um número de confiança só é informação quando corresponde à realidade. Se uma ferramenta de inteligência artificial declara estar noventa por cento confiante em uma hipótese, a única leitura honesta desse número é que, ao longo de muitas afirmações desse tipo, a ferramenta acertará perto de noventa em cada cem. Quando a taxa real de acerto fica bem abaixo disso, a confiança exibida não descreve o mundo, ela apenas decora a interface, e a pessoa profissional que se apoia nesse número decide com uma régua quebrada. A literatura estatística tem nome para essa correspondência entre confiança declarada e frequência empírica de acerto, e o nome é calibração. Antes de discutir teto de confiança, override ou supervisão humana, é preciso fixar este ponto, porque dele depende todo o resto: um número de confiança descalibrado é pior do que nenhum número, pois carrega a autoridade aparente da precisão sem a substância dela.

A continuidade com a discussão anterior desta curadoria é deliberada. As peças precedentes ofereceram um questionário de transparência para aplicar antes de adotar qualquer ferramenta e um estudo de caso sobre como o viés algorítmico se instala em escolhas técnicas aparentemente neutras. A pergunta que naturalmente segue é a do dia a dia: a ferramenta já está na tela, exibindo um número de confiança a cada sugestão, e o que a pessoa profissional faz com esse número. A resposta começa por entender que confiança e acerto são coisas distintas. A pesquisa sobre modelos preditivos modernos é direta a esse respeito. Chuan Guo e colaboradores, em On Calibration of Modern Neural Networks (Proceedings of the 34th International Conference on Machine Learning, 2017, volume 70, páginas 1321 a 1330), mostraram que arquiteturas mais recentes e mais potentes, ao contrário das de uma década antes, tendem a ficar superconfiantes, isto é, a anunciar certeza alta com mais frequência do que o desempenho justifica. Potência preditiva e honestidade da confiança declarada não andam juntas por padrão. Precisam ser medidas separadamente, e a segunda é a que protege a decisão clínica.

O mecanismo merece definição precisa, porque dele dependem as consequências clínicas. Calibração, no sentido estatístico, é a correspondência entre a probabilidade que o sistema declara e a frequência com que ele de fato acerta naquele nível de confiança. Uma ferramenta bem calibrada é aquela em que se pode confiar no próprio nível de confiança. Quando ela diz setenta por cento, está certa em cerca de setenta por cento das vezes em que faz essa afirmação, e quando diz noventa por cento, acerta perto de noventa por cento. Estatísticos avaliam isso com curvas de confiabilidade e com medidas como o escore de Brier, que combinam erro e confiança e penalizam tanto o excesso quanto a falta de certeza declarada. O ponto clínico relevante é que calibração não é o mesmo que acurácia. Um modelo pode acertar muito no agregado e, ainda assim, distribuir mal a sua confiança, sendo arrogante onde deveria hesitar e hesitante onde poderia afirmar. Para a pessoa profissional, a pergunta útil ao fornecedor deixa de ser apenas qual a acurácia da ferramenta, e passa a incluir se a confiança que ela exibe foi validada contra a frequência real de acerto, e em qual população.

É aqui que um teto explícito de confiança deixa de parecer arbitrário. Há plataformas de raciocínio clínico que limitam por desenho a confiança máxima que a camada de inteligência artificial pode exibir em qualquer hipótese, fixando-a em setenta por cento e reservando os trinta por cento restantes do conteúdo clínico final ao preenchimento obrigatório da pessoa profissional. O número não nasce de uma propriedade estatística mágica desse limiar, nasce de uma decisão de bioética cravada em arquitetura: nenhuma saída automatizada deve se apresentar com certeza suficiente para induzir a abdicação do juízo clínico. O teto é uma barreira deliberada contra o efeito documentado por Kate Goddard, Abdul Roudsari e Jeremy Wyatt em revisão sistemática publicada no Journal of the American Medical Informatics Association (2012, volume 19, número 1, páginas 121 a 127), que mapeou frequência, mediadores e mitigadores do automation bias, a tendência de profissionais sob sobrecarga a aceitar sugestões automatizadas sem revisão crítica real, sobretudo quando a sugestão vem acompanhada de uma confiança alta e bem apresentada. Quanto mais convincente o número, maior o risco de delegação silenciosa. O teto inverte essa pressão por desenho.

A literatura nacional acompanha esse alerta. Revisão publicada em periódico brasileiro indexado sobre viés de automação e inteligência artificial na medicina sintetiza o mesmo fenômeno para o contexto do país, descrevendo o viés de automação como a tendência de confiar no resultado de uma ferramenta automatizada acima do próprio julgamento, com redução de vigilância por excesso de confiança no apoio e uma sensação inadequada de segurança na interpretação automatizada. O dado de adoção contextualiza a urgência sem inflá-la: levantamentos recentes indicam que a incorporação de inteligência artificial em estabelecimentos de saúde no Brasil ainda é baixa, o que significa que a maior parte das equipes está justamente agora decidindo se e como adotar essas ferramentas. É o momento exato para fixar o critério antes que o número de confiança vire hábito sem leitura crítica.

A tradução para a saúde mental aguça o argumento. A clínica psicológica opera sobre construtos que já são incertos por natureza, hipóteses diagnósticas que evoluem, sofrimento que se expressa de modos variados, contexto que muda o sentido do sintoma. Uma ferramenta que exibisse confiança altíssima sobre esse material estaria, no mínimo, mal calibrada em relação à própria natureza do objeto, e, no pior caso, treinando a pessoa profissional a tratar como resolvido aquilo que a boa prática mantém deliberadamente em aberto. A confiança calibrada e moderada é, nesse sentido, mais do que correção estatística, é fidelidade à epistemologia da clínica. Uma incerteza honesta exibida por subdomínio, mostrando onde o sistema tem dúvida estruturada e onde arrisca uma hipótese, serve à escuta clínica. Uma certeza inflada, exibida de forma agregada e sedutora, compete com a escuta e tende a vencê-la quando a agenda está cheia e o cansaço é real.

A distinção técnica que protege a pessoa profissional é, portanto, entre desempenho preditivo e honestidade da confiança, e ambos precisam de prova. Uma ferramenta pode ostentar acurácia global elevada e mentir sistematicamente sobre o próprio grau de certeza, e a única forma de saber é exigir do fornecedor a evidência de calibração: a curva de confiabilidade, a medida de erro de calibração, a validação da confiança declarada contra a frequência real de acerto na população em que a ferramenta será usada. A ausência dessa evidência não é detalhe omitido, é sinal de que ninguém mediu se o número de confiança significa algo. E o que não se mede não se pode auditar. Esse mesmo princípio orienta a governança internacional do tema. A Organização Mundial da Saúde, no documento Ethics and governance of artificial intelligence for health (2021), firma a supervisão humana significativa e a preservação da autonomia humana como princípios centrais do uso de inteligência artificial em saúde, o que pressupõe que profissionais disponham da informação necessária para usar esses sistemas de modo seguro, e não que deleguem a eles a decisão. No ano em que o mercado de saúde mental digital passou a cobrar prova de resultado em vez de promessa de transformação, a calibração da confiança é exatamente o tipo de evidência que separa uma ferramenta madura de um painel bonito, e a pessoa profissional brasileira tem todo o direito de exigi-la antes de incorporar o número à sua decisão.

A integração desse conhecimento à prática é defensável em movimentos concretos, ancorados no marco regulatório vigente. A Resolução CFP nº 9, de 18 de julho de 2024, que regulamenta o exercício profissional da Psicologia mediado por tecnologias digitais da informação e da comunicação, mantém na pessoa profissional a responsabilidade de avaliar a adequação do recurso tecnológico à demanda atendida, em conformidade com o Código de Ética Profissional, o que significa que um número de confiança exibido por uma ferramenta nunca transfere a responsabilidade pela decisão, apenas a documenta. Esse marco não está sozinho. Em dezembro de 2025 o Conselho Federal de Psicologia publicou duas cartilhas dedicadas ao tema, uma sobre inteligência artificial na Psicologia como guia para uma prática ética e responsável, e outra sobre chatbots, inteligência artificial e saúde mental, além de posicionamento institucional específico sobre o uso de inteligência artificial na prática psicológica. São os instrumentos orientativos mais recentes e mais diretos para quem avalia uma ferramenta hoje, e a leitura deles é a primeira providência antes de qualquer adoção. Sobre essa base, trate a confiança da inteligência artificial como hipótese a ser interrogada, não como veredicto a ser homologado, e desconfie por princípio de qualquer ferramenta que se mostre muito segura sobre material clínico genuinamente incerto. Exija do fornecedor evidência de calibração na população em que a ferramenta operará, e trate a ausência dessa evidência como contraindicação de adoção. Redobre a atenção justamente quando o número alto coincidir com o cansaço da rotina, porque é nesse encontro que a delegação silenciosa acontece. Recorde que apoio à decisão não substitui avaliação psicológica estruturada, matéria afeita ao Sistema de Avaliação de Testes Psicológicos, e que a fronteira entre apoio operacional legítimo e exercício profissional automatizado é cravada no país, tendo como pano de fundo a própria regulamentação da profissão pela Lei nº 4.119, de 1962. Um teto de confiança bem desenhado devolve à pessoa profissional o espaço que a máquina, por desenho, não deve ocupar. Os trinta por cento que sobram não são lacuna, são o lugar do juízo clínico, e responder por eles é a parte do trabalho que nenhum número calibra no seu lugar.

Avisos institucionais para a leitora profissional e o leitor profissional: este texto é peça de comunicação institucional da Conexão Psicológica e não substitui consulta jurídica especializada, parecer técnico do Conselho Regional de Psicologia da jurisdição correspondente, ou análise de conformidade da ferramenta específica em avaliação. As resoluções e cartilhas do CFP e as regulações nacionais e internacionais sofrem atualização periódica e devem ser consultadas em fonte primária no momento da decisão clínica. Os exemplos numéricos de percentual de confiança têm função ilustrativa do conceito de calibração e não descrevem o desempenho de nenhum produto específico.

Curadoria editorial - Conexão Psicológica
Equipe Editorial - Conexão Psicológica · Sobre a equipe