A Evolução Proativa da Gestão de Riscos em TI.

A história do desenvolvimento de sistemas e soluções de tecnologia da informação pode ser contada como uma sucessão de respostas a desafios. Por décadas, muitas organizações construíam sistemas, colocavam em produção e só então lidavam com os riscos que emergiam na operação. O padrão era conhecido: corrigir depois, remendar depois, aprender depois.

Há, porém, um fio condutor que conecta as principais mudanças nas práticas modernas: a migração progressiva do modelo reativo para o modelo proativo. Primeiro veio o Security by Design. Depois, o Privacy by Design. Agora, com a inteligência artificial assumindo papel central como infraestrutura de processos organizacionais, chegamos a uma nova fronteira: o Trustworthy by Design.

O ponto de partida: a lógica do remendo

Por muito tempo, a segurança foi tratada como um problema a ser resolvido após a entrega. Times de desenvolvimento priorizavam funcionalidade, desempenho e prazo; controles de segurança eram adicionados posteriormente, como camadas externas, frequentemente desconectadas da arquitetura original. O resultado era previsível: superfícies de ataque extensas, vulnerabilidades estruturais e um custo de correção muito maior do que o custo de prevenção.

Com o amadurecimento da gestão de risco, frameworks passaram a reforçar a necessidade de integrar requisitos e controles desde o início do ciclo de vida. O NIST Risk Management Framework (SP 800-37) descreve um processo estruturado que incorpora atividades preparatórias e etapas como categorização e seleção de controles ao longo de todo o ciclo de vida dos sistemas de informação, promovendo uma abordagem contínua e não reativa.

Primeira onda: Security by Design

O Security by Design consolida-se como resposta direta à fragilidade do modelo reativo. A premissa é simples: requisitos de segurança devem ser tratados com o mesmo rigor que requisitos funcionais, desde a concepção da solução.

Na prática, isso significa realizar análise de ameaças (threat modeling) na fase de design, definir controles de segurança como parte da arquitetura, incorporar testes de segurança ao pipeline de desenvolvimento e garantir que vulnerabilidades sejam identificadas antes, e não depois, da entrada em produção.

O Secure Software Development Framework (SSDF), publicado pelo NIST na Special Publication 800-218, organiza essas práticas em quatro grupos fundamentais: preparar a organização (Prepare the Organization), proteger o software (Protect the Software), produzir software bem protegido (Produce Well-Secured Software) e responder a vulnerabilidades (Respond to Vulnerabilities). A lógica é clara: a segurança deve ser integrada em cada fase do ciclo de vida, não como checklist de entrega final.

A série ISO/IEC 27034 complementa esse entendimento ao definir processos estruturados para gestão de segurança de aplicações, reforçando a necessidade de incorporar segurança ao processo de desenvolvimento organizacional (disponível mediante licença junto à ISO).

O Security by Design foi um avanço decisivo. Mas, com o crescimento exponencial do volume de dados pessoais tratados por sistemas digitais, tornou-se evidente que segurança, sozinha, não era suficiente. Proteger dados contra acesso não autorizado é diferente de garantir que o uso desses dados respeite os direitos dos indivíduos.

Segunda onda: Privacy by Design

O Privacy by Design (PbD) surge como resposta a esse limite. Desenvolvido por Ann Cavoukian, então Comissária de Proteção de Dados de Ontário, no Canadá, ainda nos anos 1990, o conceito ganhou reconhecimento internacional em 2010, com a adoção da “Resolution on Privacy by Design” na 32ª Conferência Internacional de Comissários de Proteção de Dados e Privacidade, realizada em Jerusalém. A resolução reconheceu a importância de incorporar princípios de privacidade ao design, operação e gestão dos sistemas organizacionais.

O PbD é fundamentado em sete princípios que estabelecem um novo paradigma de desenvolvimento:

• Ser proativo e preventivo, não reativo e corretivo
• Adotar privacidade como configuração padrão
• Incorporar privacidade ao design, não como camada adicional
• Buscar funcionalidade plena: soma positiva, não soma zero
• Garantir proteção de ponta a ponta, ao longo de todo o ciclo de vida
• Assegurar visibilidade e transparência
• Manter o foco no usuário e no respeito à sua privacidade

O quarto princípio é particularmente relevante: ele rompe com a falsa dicotomia entre privacidade e inovação. Conforme o Guia de Privacidade desde o Design da Agência Espanhola de Proteção de Dados (AEPD), “garantir a privacidade é, em si, inovação, e introduz uma nova disciplina tecnológica: a engenharia de privacidade.” Privacidade deixa de ser obstáculo e passa a ser elemento de qualidade e engenharia.

Do ponto de vista regulatório, o GDPR (Artigo 25) elevou o Privacy by Design e o Privacy by Default à condição de obrigação legal. As EDPB Guidelines 4/2019 (European Data Protection Board), que interpretam o Artigo 25 com autoridade normativa, detalham os requisitos técnicos e organizacionais que os controladores devem adotar desde as fases mais iniciais de design. No Brasil, a LGPD segue a mesma lógica ao exigir, no Artigo 46, que medidas de segurança sejam adotadas desde a fase de concepção do produto ou serviço.

O NIST reforça essa convergência ao publicar o NIST Privacy Framework, explicitamente projetado para ser utilizado em conjunto com o Cybersecurity Framework, reconhecendo que riscos de privacidade e de segurança são relacionados, mas distintos, e exigem abordagens igualmente distintas.

O novo desafio: a IA como amplificador de riscos

Se o Security by Design responde a riscos de segurança e o Privacy by Design responde a riscos de privacidade, a inteligência artificial introduz uma terceira categoria de riscos, qualitativamente diferente das anteriores.

O NIST AI Risk Management Framework (AI RMF 1.0), publicado no documento NIST AI 100-1, articula essa diferença com precisão: os sistemas de IA apresentam riscos únicos porque podem ser treinados em dados que mudam ao longo do tempo, afetando a funcionalidade e a confiabilidade do sistema de maneiras difíceis de compreender. Além disso, são inerentemente sociotécnicos: seus riscos não emergem apenas da tecnologia, mas da interação entre tecnologia, contexto de uso, comportamento humano e fatores sociais.

Isso representa uma ruptura com o paradigma anterior. Um sistema de software convencional, bem desenhado do ponto de vista de segurança e privacidade, tende a se comportar de forma determinística e auditável. Um sistema de IA pode produzir resultados inesperados, perpetuar vieses presentes nos dados de treinamento, tomar decisões opacas e gerar impactos que extrapolam o contexto de uso original.

Casos reais ilustram esse novo perfil de risco. Sistemas automatizados de triagem de locatários foram associados a milhões em ações judiciais por altas taxas de erro. Um sistema de monitoramento de benefícios desemprego em Michigan incorretamente acusou milhares de cidadãos de fraude. O padrão que emerge desses casos é revelador: quando os problemas surgem, não é apenas o incidente isolado que é avaliado, mas o sistema inteiro, incluindo as práticas de segurança, privacidade, auditoria, documentação e testes que o cercavam.

Terceira onda: Trustworthy by Design

É nesse contexto que emerge o Trustworthy by Design, a extensão natural e necessária das duas ondas anteriores para o universo da inteligência artificial.

O AI RMF 1.0 define confiabilidade (trustworthiness) não como uma propriedade binária, mas como um conjunto de características que devem ser desenvolvidas, equilibradas e gerenciadas ao longo de todo o ciclo de vida. O framework as articula da seguinte forma:

Válido e confiável (Valid and Reliable)

Validade é definida pela ISO 9000:2015 como a confirmação, por evidência objetiva, de que os requisitos para um uso específico foram atendidos. Confiabilidade é definida pela ISO/IEC TS 5723:2022 como a capacidade de um item de executar como necessário, sem falha, por um determinado intervalo de tempo, sob determinadas condições. No AI RMF, essas duas características formam a base de todas as demais, pois um sistema inválido ou não confiável não pode ser considerado confiável em nenhum outro aspecto.

Seguro (Safe)

O AI RMF orienta que empregar considerações de segurança desde o início, especialmente nas fases de planejamento e design, pode prevenir falhas ou condições que tornariam o sistema perigoso. O monitoramento em tempo real e a capacidade de intervenção humana ou desligamento são práticas complementares indispensáveis.

Seguro e resiliente (Secure and Resilient)

Segundo o AI RMF, sistemas de IA podem ser considerados seguros quando conseguem manter confidencialidade, integridade e disponibilidade por meio de mecanismos que impedem acesso e uso não autorizados. Resiliência é a capacidade de manter funções e estrutura diante de mudanças internas e externas, incluindo degradação segura e gradual quando necessário (ISO/IEC TS 5723:2022). O framework explicita que o NIST Cybersecurity Framework e o Risk Management Framework são referências aplicáveis aqui, evidenciando a continuidade com as ondas anteriores.

Responsável e transparente (Accountable and Transparent)

O AI RMF estabelece que a confiabilidade da IA depende da responsabilização, e a responsabilização pressupõe transparência. O framework diferencia três conceitos: transparência responde à pergunta “o que aconteceu no sistema”; explicabilidade responde a “como a decisão foi tomada”; e interpretabilidade responde a “por que a decisão foi tomada e o que ela significa”. Sistemas explicáveis podem ser auditados e monitorados com mais eficácia.

Explicável e interpretável (Explainable and Interpretable)

Explicabilidade e interpretabilidade ajudam operadores, usuários e gestores a compreender a funcionalidade e a confiabilidade do sistema, incluindo seus resultados. Sistemas com essas características permitem identificar erros, documentar comportamentos e estabelecer bases para governança e auditoria.

Com privacidade aprimorada (Privacy-Enhanced)

O AI RMF referencia explicitamente o NIST Privacy Framework neste ponto, reconhecendo que valores de privacidade, como anonimato, confidencialidade e controle, devem orientar as escolhas de design, desenvolvimento e implantação de sistemas de IA. A privacidade-por-design, portanto, é absorvida como requisito dentro do Trustworthy by Design, e não substituída por ele.

Justo, com vieses prejudiciais gerenciados (Fair, with Harmful Bias Managed)

O NIST identifica três categorias de viés em IA: sistêmico, computacional/estatístico e cognitivo-humano. Cada categoria pode ocorrer na ausência de qualquer intenção discriminatória. O framework alerta que sistemas com vieses mitigados não são necessariamente justos: sistemas com previsões equilibradas entre grupos demográficos podem ainda ser inacessíveis a pessoas com deficiência ou agravar disparidades preexistentes.

A continuidade estrutural entre as três ondas

O que une Security by Design, Privacy by Design e Trustworthy by Design não é apenas a terminologia comum. É uma mesma lógica estrutural, replicada e ampliada em cada ciclo:

Prevenção sobre correção

Endereçar riscos na fase de design é sempre mais eficiente do que corrigi-los após a implantação. O custo cresce exponencialmente à medida que os problemas avançam no ciclo de vida. O AI RMF é explícito: a gestão de riscos de IA é um componente-chave do desenvolvimento e uso responsável de sistemas de IA.

Integração ao ciclo de vida completo

Nenhuma das três abordagens funciona como checklist de entrega final. Todas exigem que os requisitos correspondentes sejam tratados como requisitos não funcionais desde a concepção, percorrendo design, desenvolvimento, implantação, operação e evolução do sistema.

Responsabilidade compartilhada

A confiabilidade não é responsabilidade exclusiva de quem constrói o sistema. O AI RMF distribui responsabilidades entre todos os atores ao longo do ciclo de vida: designers, desenvolvedores, implantadores, operadores, usuários finais e até partes afetadas que não interagem diretamente com o sistema.

Governança como função transversal

Assim como a ISO/IEC 27001 trata a governança de segurança da informação como uma disciplina organizacional, o AI RMF define a função GOVERN como transversal, informando e sendo infundida nas demais funções (MAP, MEASURE e MANAGE). Governança conecta decisões técnicas a valores, princípios e estratégia organizacional.

O que Trustworthy by Design exige na prática

A adoção de uma abordagem de Trustworthy by Design implica mudanças em três dimensões, conforme estruturado pelo AI RMF:

Dimensão organizacional

A função GOVERN do AI RMF estabelece que organizações precisam cultivar e implementar uma cultura de gestão de riscos de IA que parta da liderança sênior. Isso inclui definir papéis e responsabilidades claros para cada ator ao longo do ciclo de vida, conectar aspectos técnicos do design e desenvolvimento aos valores e princípios organizacionais, e incorporar processos de avaliação de impacto potencial das decisões sobre IA.

Dimensão técnica

O AI RMF estrutura as funções MAP, MEASURE e MANAGE para operacionalizar a gestão de riscos de IA. Isso inclui processos formalizados de Teste, Avaliação, Verificação e Validação (TEVV) ao longo de todo o ciclo de vida; rastreabilidade de dados de treinamento; documentação de decisões de design; e mecanismos de intervenção humana quando sistemas se desviam do comportamento esperado ou produzem resultados com impacto adverso.

Dimensão ética e social

O AI RMF é explícito ao afirmar que sistemas de IA são inerentemente sociotécnicos. Isso impõe a consideração, já nas fases de design, dos impactos sobre indivíduos, grupos e comunidades afetados, inclusive aqueles que não interagem diretamente com o sistema. A ISO/IEC 42001:2023, norma de gestão de sistemas de inteligência artificial, formaliza esses requisitos em um sistema de gestão estruturado, complementando o que o AI RMF aborda como framework de risco (disponível mediante licença junto à ISO).

Conclusão: proatividade como princípio fundamental

A trajetória do Security by Design ao Trustworthy by Design não é linear, mas cumulativa. Cada nova camada amplia o escopo do que precisa ser considerado e eleva o nível de responsabilidade de quem desenvolve e implanta tecnologia.

A postura reativa não produz sistemas mais rápidos: produz sistemas mais arriscados. A abordagem proativa permite construir soluções mais robustas, sustentáveis e alinhadas com expectativas técnicas, legais e sociais.

Assim como o Security by Design e o Privacy by Design foram progressivamente incorporados a marcos regulatórios e normativos, tornando-se padrões esperados de diligência técnica e legal, é razoável esperar trajetória semelhante para o Trustworthy by Design. As pressões regulatórias em curso na União Europeia (AI Act), nos Estados Unidos e em outros países, combinadas com a crescente evidência dos danos causados por sistemas de IA mal concebidos, apontam nessa direção.

O Trustworthy by Design não é apenas uma evolução técnica. É uma mudança de paradigma: o reconhecimento de que sistemas que tomam decisões com impacto real sobre pessoas precisam ser projetados, desde o início, para serem confiáveis. Não como aspiração. Como requisito.

Referências normativas e documentais

NIST AI 100-1 — Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST, 2023.

https://doi.org/10.6028/NIST.AI.100-1

NIST SP 800-37 Rev. 2 — Risk Management Framework for Information Systems and Organizations. NIST, 2018.

https://doi.org/10.6028/NIST.SP.800-37r2

NIST SP 800-218 — Secure Software Development Framework (SSDF) Version 1.1. NIST, 2022.

https://doi.org/10.6028/NIST.SP.800-218

NIST Privacy Framework Version 1.0. NIST, 2020.

https://www.nist.gov/privacy-framework

NIST Cybersecurity Framework 2.0. NIST, 2024.

https://doi.org/10.6028/NIST.CSWP.29

Guía de Privacidad desde el Diseño. Agencia Española de Protección de Datos (AEPD).

https://www.aepd.es/guias/guia-privacidad-desde-diseno.pdf

Guidelines 4/2019 on Article 25 — Data Protection by Design and by Default. European Data Protection Board (EDPB), 2020.

https://edpb.europa.eu/our-work-tools/our-documents/guidelines/guidelines-42019-article-25-data-protection-design-and_en

ISO/IEC 27001:2022 — Information Security Management Systems. ISO. Disponível mediante licença junto à ISO.

ISO/IEC 27034 — Application Security. ISO. Disponível mediante licença junto à ISO.

ISO/IEC 42001:2023 — Artificial Intelligence Management System. ISO. Disponível mediante licença junto à ISO.

ISO/IEC TS 5723:2022 — Trustworthiness — Vocabulary. ISO. Disponível mediante licença junto à ISO.

ISO 9000:2015 — Quality Management Systems — Fundamentals and Vocabulary. ISO. Disponível mediante licença junto à ISO.

The Liabilities of Artificial Intelligence Are Increasing. LegalTech News Staff. LegalTech News.

Nota: As referências à ISO citadas neste documento são normas internacionais disponíveis mediante licença. Os documentos do NIST referenciados são de acesso público e gratuito nos endereços indicados.

Como este artigo foi produzido

Este artigo foi desenvolvido com apoio de ferramentas de inteligência artificial como assistentes editoriais. Todas as etapas substantivas foram conduzidas pelo autor: definição do tema, orientação da abordagem, validação das fontes, revisão crítica e ajuste do conteúdo. As evidências e referências foram verificadas individualmente. O uso de IA aqui é consistente com o que defendo em minhas aulas e artigos: tecnologia como ferramenta de amplificação do conhecimento humano, não como substituta da análise e do julgamento.

O tema discutido neste artigo é abordado também em meus cursos de gestão de riscos de IA na TIexames, no Instituto Mauá de Tecnologia (IMT) e em turmas fechadas para empresas.