Estudo de diversos autores publicado indica que auditoria de IA que se limita a “acesso de caixa-preta” — ou seja, apenas enviar entradas e observar saídas — não é suficiente para garantir que os sistemas sejam auditados de forma rigorosa.
As auditorias de IA estão se tornando cada vez mais importantes para governança, regulação e transparência. No entanto, o grau de acesso concedido aos auditores (por exemplo, apenas consultas de entrada/saída versus acesso aos pesos do modelo ou ao processo de treinamento) impacta fortemente quão eficaz é a auditoria.
Os autores definem quatro níveis de acesso:
- “Caixa-preta” (black-box): apenas entradas e saídas.
- “Cinza” (grey-box): acesso parcial aos mecanismos internos.
- “Caixa-branca” (white-box): acesso completo ao modelo — pesos, ativações, gradientes, fine-tuning.
- “Fora-da-caixa” (outside-the-box): acesso a informações de desenvolvimento e implantação — dados de treinamento, código, documentação, hiperparâmetros, relatórios internos.
A análise mostra que auditorias que usam apenas acesso caixa-preta enfrentam sérias limitações: É praticamente impossível cobrir todos os possíveis inputs e saídas de sistemas altamente complexos, o que torna difícil detectar falhas raras ou modos de falha emergentes. Sem acesso interno, não é possível separar componentes do sistema ou entender “por que” algo ocorreu.
Em contrapartida, auditorias com acesso caixa-branca ou fora-da-caixa oferecem vantagens substanciais: há técnicas de ataque (adversariais) mais efetivas, interpretação de mecanismos internos, fine-tuning para revelar capacidades ocultas ou perigosas no modelo. No nível fora-da-caixa, a auditoria obtém dados de trenamento, metodologia, documentação, informações de implantação — o que permite traçar riscos ao seu desenvolvimento e ao uso social.
As duas conclusões principais do estudo são:
- É essencial haver transparência sobre o tipo de acesso concedido à auditoria e o método usado — de outra forma, os resultados da auditoria podem ser mal interpretados.
- Auditorias com acesso caixa-branca ou fora-da-caixa permitem um nível muito maior de escrutínio do que as realizadas apenas com acesso caixa-preta. Quando se demanda maior rigor — especialmente para sistemas de alto risco — essas formas mais profundas de acesso deveriam ser usadas.
Por que isso importa para a auditoria de IA
Com o avanço acelerado de sistemas de IA generativa, modelos de grande escala e sua adoção em contextos sensíveis (saúde, finanças, justiça, segurança), a necessidade de auditorias externas confiáveis torna-se crítica. Reguladores em diferentes países já incorporaram auditorias como peça central de políticas de governança de IA. Se as auditorias forem apenas de caixa-preta, há risco de que vulnerabilidades sérias persistam sem detecção, ou que a confiança pública nos sistemas seja mal fundamentada.
O Estudo completo está disponível em: https://arxiv.org/abs/2401.14446
Quer saber mais sobre auditoria de IA? Auditoria