Auditorias de IA das big techs ainda podem ver só o que as empresas quiserem

Seis das maiores empresas de inteligência artificial do mundo prometeram à Casa Branca permitir que agentes externos revisem seus sistemas mais avançados. Nvidia, OpenAI, Anthropic, Google, Meta e xAI assinaram, em 29 de setembro, um acordo descrito por Donald Trump como “moralmente vinculante”.

Na prática, porém, o texto não define quem escolhe os auditores, o que eles poderão examinar nem se os resultados serão divulgados. Também não há punição prevista para o descumprimento, o que deixa a iniciativa dependente da boa vontade das próprias companhias.

Controle continua com as empresas

O principal ponto de crítica é que cada empresa pode selecionar seu próprio auditor e limitar o acesso ao material. Isso reduz o alcance de qualquer revisão, já que um sistema de IA treinado pode equivaler a um arquivo enorme de números, muitas vezes caríssimo de produzir e sensível do ponto de vista de segurança.

O texto lembra o caso da Enron, no qual a empresa pagou a Arthur Andersen para auditar seus livros e também para outros serviços. Depois do colapso, o Congresso dos Estados Unidos respondeu com a lei Sarbanes-Oxley, que tirou das empresas parte do controle sobre a escolha do auditor e criou um órgão para fiscalizar esses profissionais.

Testes já mostraram limites

A coluna também cita que compromissos voluntários semelhantes, firmados em 2023, tiveram adesão fraca. Em uma avaliação posterior de 16 empresas, a média de cumprimento foi de 53%, e oito companhias tiraram nota zero no item que tratava de ajudar terceiros a encontrar e relatar problemas.

Segundo o texto, já existem métodos para testar modelos sem entregar cópias completas nem revelar perguntas de antemão. Em um exemplo recente, a Google DeepMind disse ter feito o primeiro teste duplo-cego de um modelo de IA, com hardware lacrado, para manter em sigilo tanto o sistema quanto as consultas usadas na avaliação.