Dev apaga 168 mil linhas de comentários e o agente nem percebe
Roberto Aranda removeu todos os comentários de uma cópia do código e pediu ao mesmo agente as mesmas tarefas nas duas versões, três vezes cada. Todos os testes passaram e as notas de um juiz de IA ficaram praticamente iguais, com ou sem comentários.
Como replicar
- Faça uma cópia do repositório com uma variável alterada (ex.: sem comentários).
- Rode as mesmas tarefas com o mesmo agente nas duas versões, várias vezes.
- Compare testes e notas de um avaliador para decidir com dados.
Prompt para copiar
Quero testar se [prática, ex.: comentários/AGENTS.md] ajuda o agente neste repositório. Monte um experimento: 5 tarefas reais, duas versões do repositório, 3 execuções por tarefa e versão. Gere um script que rode tudo, colete testes passando, tempo e tokens, e um relatório comparando as versões.
Troque o que está entre [colchetes]. Funciona com Claude, ChatGPT, Grok, Gemini ou o agente que você usa.