O EVMbench é um benchmark aberto criado pela OpenAI, em parceria com a Paradigm e OtterSec, que tem como objetivo medir de forma objetiva a capacidade de agentes de inteligência artificial em lidar com vulnerabilidades de smart contracts rodando em máquinas virtuais de blockchain como a Ethereum Virtual Machine (EVM).
Smart contracts são programas que gerenciam grandes quantias de valores em blockchains públicas, e falhas de segurança nesses códigos podem levar a perdas financeiras substanciais. Ferramentas tradicionais de auditoria nem sempre identificam todos os riscos, por isso a avaliação de IA em tarefas de segurança tornou-se um foco de pesquisa relevante.
O EVMbench foi construído a partir de um conjunto de 120 vulnerabilidades reais, extraídas de 40 auditorias de código — muitas delas vindas de competições públicas como Code4rena — e inclui também cenários de segurança de projetos como a blockchain de pagamentos Tempo.
Ao padronizar avaliações e abrir ferramentas e dados ao público, os desenvolvedores e pesquisadores podem colaborar para melhorar defensivamente a segurança de contratos inteligentes, enquanto aumentam a conscientização sobre os riscos associados ao uso indevido dessas tecnologias.
