Um dos primeiros e mais conhecidos incidentes de IA (ou, mais precisamente, Machine Learning – ML) ocorreu na Amazon, em 2014, e foi revelado pela Reuters.
A empresa utilizava um sistema de ML para auxiliar na triagem de currículos e seleção de candidatos, buscando automatizar parte do processo de recrutamento. No entanto, os engenheiros perceberam que o sistema passou a avaliar mulheres de forma sistematicamente pior do que candidatos homens.
Como um sistema projetado para tornar o processo mais eficiente acabou reproduzindo discriminação de gênero?
Após investigação, descobriu-se que o modelo havia sido treinado com currículos dos dez anos anteriores, período em que a maioria dos contratados da Amazon eram homens. Assim, o algoritmo aprendeu, implicitamente, que “bons candidatos” eram, em geral, do sexo masculino.
A empresa tentou corrigir o problema, buscando tornar o programa neutro em relação aos termos de gênero. No entanto, sem uma solução que garantisse a eliminação completa de novos vieses, o projeto acabou sendo encerrado definitivamente.
Esse incidente reforça a importância da qualidade e representatividade dos dados de treinamento. O desempenho de um modelo de IA depende diretamente da origem e da qualidade dos dados que o alimentam.
Entre as principais boas práticas para garantir dados de qualidade estão:
- Remover duplicações e corrigir erros;
- Unificar formatos e padronizar informações;
- Garantir diversidade e representatividade nos dados;
- Evitar overfitting e ampliar classes minoritárias para reduzir vieses.
Além da qualidade dos dados de treinamento, a realização de testes durante o desenvolvimento e após a implementação, bem como processos contínuos de auditoria e monitoramento, são boas práticas fundamentais para prevenir a ocorrência de vieses e outros problemas em sistemas de IA.
Essas medidas ajudam a evitar discriminação algorítmica e viés em sistemas automatizados, que reduzem a precisão dos resultados e podem gerar prejuízos tanto para usuários quanto para a sociedade.
Estudar e acompanhar incidentes reais envolvendo IA é essencial para compreendermos, na prática, seus riscos e desenvolvermos mecanismos eficazes de mitigação.
Este é o primeiro caso da nossa série sobre Incidentes de IA — em breve, traremos novos exemplos e aprendizados.