IA já está em uso. Agora vem o método.

IA crítica e aplicada ao doutorado e à prática

Informática em Saúde Aplicada à Enfermagem

Encontro 5 de 6 · Remoto · 4 horas

Não começaremos por “o que é IA”

21/22
já declararam uso de IA generativa.
Usos diversos
prompts, aplicações, decisão, análise e materiais.
Nova pergunta
como usar com crítica, segurança, ética e método?

O alerta parece convincente

Proposta pedagógica: Caso Marina

Marina está internada em uma unidade clínica. Um modelo sinaliza risco de deterioração. Parte dos registros de enfermagem ainda não foi incorporada, a equipe não conhece a origem do alerta e ninguém sabe dizer quando o modelo foi revisado pela última vez.

O que precisa ser verdadeiro antes de alguém agir?

Enquete: onde está a primeira pergunta?

Proposta pedagógica: escolha um ponto de partida.

  1. Qual algoritmo foi usado?
  2. Qual decisão será apoiada?
  3. Qual métrica ficou melhor?
  4. Quantos dados existem?
  5. Quem responde ao alerta?

O que devemos conseguir fazer hoje?

Proposta pedagógica: objetivos de aprendizagem

  • distinguir usos de IA por finalidade e consequência do erro;
  • testar uma saída com critérios de exatidão, rastreabilidade, privacidade, viés e utilidade;
  • decidir aceitar, revisar ou rejeitar uma saída;
  • elaborar protocolo com dados permitidos, verificação, registro, divulgação e proibição.

Percurso em 240 minutos

Movimento Tempo Estratégia
Problema comum 20 min inventário de usos e consequências
Núcleo comum 100 min privacidade, método, verificação e protocolo
Intervalo 10 min pausa
Clínica de IA 70 min teste controlado e protocolo
Revisão adversarial 30 min aceitar, revisar ou rejeitar
Fechamento 10 min limite e decisão pendente

A tese do encontro

Uma saída plausível não é uma saída verificada.

O rigor depende da finalidade, dos dados e da consequência do erro.

Uso × consequência × verificação

Uso Se houver erro… Verificação mínima proposta
ideação uma possibilidade é perdida comparar alternativas
síntese ou redação uma afirmação pode ser distorcida conferir texto-fonte e citações
análise um padrão pode ser fabricado reproduzir com método independente
material educacional conteúdo incorreto pode ser disseminado revisão especializada
apoio à decisão pessoas podem ser afetadas evidência, supervisão e possibilidade de contestar

Protocolo de uso em sete campos

Proposta pedagógica

  1. finalidade e público;
  2. ferramenta autorizada;
  3. dados permitidos e proibidos;
  4. entrada e saída preservadas;
  5. verificação humana e fontes;
  6. autoria, registro e divulgação;
  7. condição para rejeitar ou interromper.

Teste adversarial: procure antes de confiar

Procure no conteúdo

omissão · contradição · falsa precisão · fonte inexistente · generalização indevida

Procure no processo

dado proibido · ausência de registro · revisor sem competência · uso fora da finalidade

Aceitar · revisar · rejeitar — e justificar.

Aprofundamento opcional · modelos preditivos

Tarefas de ML, partições, métricas, calibração, deriva e governança permanecem disponíveis para projetos que desenvolvem ou avaliam modelos.

Antes do algoritmo: qual decisão?

Pergunta clínica → dados pertinentes → modelo → validação → fluxo → impacto.

Se a previsão estiver correta, o que alguém poderá fazer de modo diferente?

Da decisão à tarefa analítica

Fluxo autoral entre decisão, pergunta, dados, tarefa e avaliação.

Diagrama autoral, CC BY 4.0.

Supervisionado e não supervisionado

Aprendizado O conjunto contém Pergunta típica Tarefas citadas na fonte
supervisionado entradas e saídas prever uma saída classificação, regressão
não supervisionado dados sem soluções explorar estrutura agrupamento, redução dimensional

Tarefa, representação e profundidade

Classificar atribui classes; regredir estima valores; agrupar explora sem solução fornecida. Em aprendizado profundo, representações podem ser aprendidas por múltiplas camadas.

Complexidade do modelo resolve falta de sentido clínico?

Microdecisão: reescreva o problema

Proposta pedagógica: em duplas, transforme “usar IA para reduzir quedas” em:

  1. decisão concreta;
  2. população e momento;
  3. entrada disponível antes da decisão;
  4. ação possível;
  5. erro menos tolerável — com justificativa.

Learning Health System: aprender do cuidado

Um sistema de saúde que aprende conecta informações do tratamento, análise, pesquisa, recomendações e apoio à decisão em um ciclo contínuo.

O ciclo é mais amplo que um modelo.

Aprender exige fechar o ciclo

Ciclo autoral entre cuidado, dados, análise, conhecimento, implementação e avaliação.

Diagrama autoral, CC BY 4.0.

Quem aprende — e quem é aprendido?

O LHS local inclui pacientes, profissionais, pagadores, pesquisadores, analistas, desenvolvedores, organizações, formuladores de padrões e governos.

Quem participa da pergunta, da interpretação e da decisão de parar?

Feedback não é aprendizagem automática

Observar
o resultado e o contexto.
Interpretar
o que mudou e por quê.
Revisar
prática, dado ou modelo.

Big Data: tamanho não é validade

Volume pode exigir armazenamento e processamento distribuídos. Ainda assim, quantidade não responde se os dados representam a população, o tempo e a decisão de interesse.

Os 5 Vs — como perguntas, não troféus

Dimensão Pergunta crítica
volume conseguimos governar e processar?
velocidade a chegada combina com a decisão?
variedade significados e formatos são conciliáveis?
veracidade origem e integridade são conhecidas?
valor o uso melhora uma decisão relevante?

O iceberg da qualidade

Iceberg autoral: escala visível e, abaixo, proveniência, ausência, medição, representação e mudanças.

Diagrama autoral, CC BY 4.0.

Ausência também descreve o processo

Um valor pode faltar ao acaso, por regra do serviço ou porque um exame só é solicitado para determinado grupo. Tratar todas as ausências da mesma forma pode ocultar essa história.

No caso Marina, o registro ausente é falha técnica, tempo de trabalho ou seletividade clínica?

O rótulo é uma construção

Proposta pedagógica: interrogatório do desfecho

  • Quem definiu o evento?
  • Em que janela temporal?
  • Com qual registro ou proxy?
  • Quem ficou sem rótulo?
  • O rótulo existia antes da decisão?

Vazamento: quando a resposta entra pela entrada

Se uma variável só existe depois — ou por causa — do evento que queremos prever, o modelo pode parecer competente sem antecipar a decisão real.

Essa informação existia no momento do uso?

Representação: quem paga pelo desempenho médio?

Dados pouco diversos podem produzir desempenho pior em grupos sub-representados. O problema pode surgir na coleta, limpeza, escolha, avaliação e implementação.

Cartão do conjunto de dados

Canvas autoral com finalidade, população, origem, rótulo, ausências, governança e limites.

Diagrama autoral, CC BY 4.0. Proposta pedagógica, não instrumento validado.

Treino, validação e teste

Separação autoral de treino, validação e teste, com analogia entre dever de casa e exame.

Diagrama autoral, CC BY 4.0.

Generalizar é responder em dados não vistos

Avaliar em dados independentes ajuda a estimar erro de generalização. Ainda é preciso perguntar se o novo contexto é suficientemente semelhante ao contexto de desenvolvimento.

A métrica deve seguir a consequência

Escolher uma métrica é escolher quais erros ganham visibilidade. A prioridade depende do uso: evitar perder casos ou reduzir alertas indevidos pode levar a escolhas diferentes.

Falsos negativos e falsos positivos têm trabalho

Erro Pergunta clínica Pergunta operacional
falso negativo qual oportunidade se perde? quem não será chamado?
falso positivo qual ação desnecessária pode ocorrer? qual fila e qual carga são criadas?

Sensibilidade observa a parcela de positivos corretamente identificada.

Discriminar não é calibrar

Discriminação: separar quem terá e quem não terá o desfecho.

Calibração: alinhar probabilidades previstas às probabilidades observadas.

Para orientar decisão individual, qual delas pode ser dispensada?

Média global pode esconder dano desigual

Proposta pedagógica: sempre abrir o painel por

  • grupos clinicamente e socialmente relevantes;
  • local e período;
  • qualidade e ausência dos dados;
  • consequências e possibilidade de recurso.

Um painel, várias dimensões

Painel autoral com discriminação, calibração, erros, subgrupos, fluxo e impacto.

Diagrama autoral, CC BY 4.0.

Automação pode estreitar a vigilância

Quando usuários passam a depender do sistema, carga de trabalho e confiança excessiva podem reduzir monitoramento crítico — embora o sistema não seja perfeito.

Supervisão humana precisa de condições

Fluxo autoral entre modelo, equipe com competência e autoridade, ação e retorno.

Diagrama autoral, CC BY 4.0.

Explicar para quem — e para quê?

Explicações úteis ao engenheiro podem não ser úteis ao profissional ou paciente. O propósito depende da tarefa, do destinatário e do ambiente; uma explicação imperfeita pode gerar falsa segurança.

O workflow é parte da intervenção

Ter desempenho forte é necessário, mas insuficiente para impacto clínico. É preciso decidir onde apresentar a previsão e avaliar integração, usabilidade e resultados.

Quem recebe o alerta de Marina — e o que acontece depois?

O ciclo de vida continua após implantar

Ciclo autoral entre pergunta, dados, modelo, validação, implantação, monitoramento e decisão de manter, revisar ou retirar.

Diagrama autoral, CC BY 4.0.

Deriva: o contexto muda

Mudanças de população, dados ou prática podem deteriorar discriminação e calibração. Monitorar desempenho ao longo do tempo é parte do uso responsável.

Governança: decidir também quem responde

Participação
profissionais, pacientes e outros interessados.
Responsabilidade
aprovar, monitorar, contestar, corrigir.
Proteção
acesso, segurança, privacidade e recurso.

Diretriz de relato não é selo de qualidade

Proposta pedagógica: use a diretriz adequada para perguntar o que o estudo tornou visível — e o que ainda permanece incerto.

Relato completo ≠ desenho adequado ≠ impacto demonstrado.

Qual diretriz para qual relato?

Mapa autoral de seleção entre MI-CLAIM, TRIPOD+AI, SPIRIT-AI, CONSORT-AI e DECIDE-AI.

Diagrama autoral, CC BY 4.0; escopos verificados nas publicações oficiais.

Protocolos e ensaios com IA

SPIRIT-AI acompanha protocolos de ensaios; CONSORT-AI, relatos de ensaios concluídos. Ambas estendem diretrizes centrais para intervenções com IA.

Proposta pedagógica: procure população, intervenção, interação humano–IA, tratamento de erros e análise planejada.

Modelagem, predição e uso clínico inicial

MI-CLAIM: transparência mínima da modelagem. TRIPOD+AI: relato de modelos de predição clínica. DECIDE-AI: avaliação clínica inicial de sistemas de apoio em ambiente real.

Leitura crítica em sete perguntas

Proposta pedagógica:

  1. Qual decisão e população?
  2. Como dados e rótulos foram produzidos?
  3. A separação evita vazamento?
  4. Quais erros, calibração e subgrupos?
  5. Como entra no workflow?
  6. Quem responde, contesta e monitora?
  7. O que faria revisar ou retirar?

Clínica de IA aplicada ao projeto

70 min de produção

Proposta pedagógica: missão

Testar uma saída sem dados sensíveis, decidir aceitar · revisar · rejeitar e escrever um protocolo de uso defensável.

Escolha um uso real — ou um caso seguro

Proposta pedagógica: usos

  • ideação de pergunta ou produto;
  • síntese de texto fornecido;
  • rascunho de material educacional;
  • explicação de trecho de código ou fórmula;
  • organização de categorias para análise;
  • apoio à decisão como cenário fictício de maior consequência.

Papéis e movimentos do grupo

Papel Pergunta Movimento
autor do uso para que serve? declarar finalidade
verificador o que pode estar errado? conferir saída e fontes
privacidade que dado não pode entrar? auditar entrada e registro
método o processo pode ser reproduzido? revisar protocolo
equidade/usuário quem pode ser prejudicado? testar linguagem e consequência

Registro obrigatório do teste

Proposta pedagógica

  • finalidade e consequência do erro;
  • ferramenta e configuração disponível;
  • entrada sem dados proibidos;
  • saída preservada;
  • fontes ou método de conferência;
  • omissão, erro, viés ou utilidade observada;
  • decisão e justificativa.

Decisão sobre a saída

Proposta pedagógica: frase de saída

“Para a finalidade , decidimos [aceitar / revisar / rejeitar] a saída porque . Antes de reutilizar, precisamos verificar ; este uso será proibido quando .”

Critérios de qualidade do produto

Entregar: finalidade · entrada · saída · verificação · fontes · erro/omissão · decisão · protocolo · situação proibida.

Avaliar: proteção · exatidão · rastreabilidade · método · transparência · proporcionalidade · revisabilidade.

Demonstração: até 5 minutos por grupo

finalidade → entrada → saída → verificação → decisão → regra de uso

Um registro. Uma decisão. Uma verificação ainda necessária.

Revisão adversarial sem antagonismo

Proposta pedagógica: o grupo debatedor pergunta

  1. Que afirmação ainda não foi conferida?
  2. Que dado não deveria ter sido usado?
  3. Que fonte ou etapa não pode ser reproduzida?
  4. Que omissão mudaria a decisão?
  5. Quem precisa revisar antes do uso?
  6. Em que situação este uso deve ser proibido?

Volta ao alerta de Marina

Proposta pedagógica: antes de usar o alerta, a equipe exige origem e tempo dos dados, finalidade, validação independente, análise por grupos, posição no fluxo, canal de contestação, responsável pelo monitoramento e critério de suspensão.

O que ainda não podemos afirmar?

Da saída ao uso responsável

Síntese autoral entre dados situados, modelo avaliado, fluxo governado e aprendizagem revisável.

Diagrama autoral, CC BY 4.0.

Três mensagens para levar

Finalidade
declare para que a IA será usada.
Verificação
plausível não significa conferido.
Registro
torne entrada, saída e decisão auditáveis.

Minuto de saída e leituras

Proposta pedagógica: complete.

“Para usar IA no meu projeto, permitirei ; verificarei ; proibirei ___.”

Leituras verificadas: (World Health Organization 2021; U.S. Food and Drug Administration 2025; Liu et al. 2020; Cruz Rivera et al. 2020; Vasey et al. 2022; Collins et al. 2024; Norgeot et al. 2020).

Referências

Collins, Gary S., Karel G. M. Moons, Paula Dhiman, et al. 2024. “TRIPOD+AI Statement: Updated Guidance for Reporting Clinical Prediction Models That Use Regression or Machine Learning Methods”. BMJ 385: e078378. https://doi.org/10.1136/bmj-2023-078378.
Cruz Rivera, Samantha, Xiaoxuan Liu, An-Wen Chan, et al. 2020. “Guidelines for Clinical Trial Protocols for Interventions Involving Artificial Intelligence: The SPIRIT-AI Extension”. Nature Medicine 26: 1351–63. https://doi.org/10.1038/s41591-020-1037-7.
Liu, Xiaoxuan, Samantha Cruz Rivera, David Moher, et al. 2020. “Reporting Guidelines for Clinical Trial Reports for Interventions Involving Artificial Intelligence: The CONSORT-AI Extension”. Nature Medicine 26: 1364–74. https://doi.org/10.1038/s41591-020-1034-x.
Norgeot, Beau, Giorgio Quer, Brett K. Beaulieu-Jones, et al. 2020. “Minimum Information about Clinical Artificial Intelligence Modeling: The MI-CLAIM Checklist”. Nature Medicine 26: 1320–24. https://doi.org/10.1038/s41591-020-1041-y.
U.S. Food and Drug Administration. 2025. “Good Machine Learning Practice for Medical Device Development: Guiding Principles”. https://www.fda.gov/medical-devices/software-medical-device-samd/good-machine-learning-practice-medical-device-development-guiding-principles.
Vasey, Baptiste, Myura Nagendran, Bruce Campbell, et al. 2022. “Reporting Guideline for the Early-Stage Clinical Evaluation of Decision Support Systems Driven by Artificial Intelligence: DECIDE-AI”. Nature Medicine 28: 924–33. https://doi.org/10.1038/s41591-022-01772-9.
World Health Organization. 2021. Ethics and Governance of Artificial Intelligence for Health: WHO Guidance. World Health Organization. https://www.who.int/publications/i/item/9789240029200.