Depois das conversas numa outra thread aqui no subreddit, e depois de ler muitos artigos e ver muitos vídeos sobre o assunto, decidi reservar algum tempo para experimentar usar agentes para criar código.
Depois de tentar instalar e usar o Kiro, que era o IDE deste género que me pareceu mais atrativo, e de descobrir que este, aparentemente, só podia ser usado mediante convite, acabei por me "contentar" com o Cursor e uma conta pro.
Como era a minha primeira tentativa "hands-on" decidi-me por uma aplicação muito simples formada por um frontend, um backend e uma base de dados usada pela backend. O frontend consistia numa página web com três tabs. A primeira tab tinha uma pequena form em que o utilizador escrevia o nome e seleccionava o seu super heroi favorito de entre o top 10 da Marvel e DC (eu sei que é silly, mas foi o que me ocorreu na altura). A segunda página tinha uma tabela onde se podia consultar os dados submetidos, apagar linhas, e ordenar e filtrar colunas. O clique numa linha fazia aparecer um popup com uma curta descrição do superheroi seleccionado. A terceira página mostrava um mapa e uma tabela com as cidades base de cada um dos super herois que aparecia na dropdown da primeira página. Quer os pontos do mapa quer as linhas da tabela eram clicáveis e faziam aparecer um pequeno resumo do lugar da cidade no mundo ficcional do super heroi em questão.
Antes de mais, estou ciente que usar AI para uma coisa tão simples é um bocado overkill e que existem por aí ferramentas muito mais eficientes para agilizar a criação da aplicação descrita acima. Mas lembrem-se que a minha intenção era testar os agentes.
Comecei por escrever estes requisitos numa bullet lista num ficheiro chamado plan.md. Disse-lhe expressamente que a aplicação devia ser desenvolvida em typescript usando react no frontend e node no backend, uma base de dados MongoDB e usar SCSS para os estilos. O backend e o frontend deviam ser postos em contentores docker diferentes, e devia criar um ficheiro do docker compose que lançasse tudo, incluindo a DB. Deixei tudo o resto para ele escolher. Depois, coloquei o IDE em modo de Plan, escolhi a opção Auto (que supostamente selecciona automaticamente o melhor modelo para cada task em questão) e gerei o plano de desenvolvimento da aplicação. Revi este plano e, como me pareceu tudo bem, mandei-o avançar com geração do código.
A geração do código foi relativamente rápida. Primeira coisa que reparei é que ele escolheu o Vite como bundler. Depois, pedi-lhe para ele correr linters sobre os ficheiros gerados. Ele escolheu o ESLint para o typescript, Hadolint para as Dockerfiles e o yamllint para o docker-compose. Também o fiz correr o npm audit. Estes verificadores encontraram vários problemas, de versões de bibliotecas com vulnerabilidades, a vulnerabilidades/problemas no código e passando por uso de coisas deprecated. Disse-lhe para aplicar as devidas correcções e ele assim fez. Quando corri estes verificadores outra vez, já quase não havia problemas. Só houve uma biblioteca que ele não foi capaz de actualizar porque partia funcionalidade no código.
Foi então que o fiz correr a aplicação e a fui testar num browser. A form e a tabela de consulta de submissões estavam a funcionar bem, mas o mapa não. Ele tinha escolhido o Leaflet e o wrapper react-leaflet para implementar o mapa. Como eu já tive problemas antes com essa biblioteca para mapas, não me espantou a dificuldade dele. Como eu estava a testar as capacidades da AI, não quis tocar no código, pelo que me limitei a explicar-lhe o que se estava a passar, a passar-lhe e a deixá-lo criar o código de debugging que ele precisava. Ao fim de mais de uma hora disto, o mapa ficou a funcionar.
Passei para a geração dos testes. Pedi-lhe que criasse testes unitários, de integração e E2E. Para os testes unitários e de integração, escolheu usar o Jest, para os E2E, escolheu o Playwright. Achei estranho ele ter escolhido o Jest quando já estava a usar o Vite como bundler e perguntei-lhe o porquê dessa escolha. Concordou comigo que o Vitest seria a melhor escolha neste projecto e disse-lhe para fazer a devida alteração.
A geração dos testes e adaptar o código para passar nestes testes foi provavelmente o processo mais demorado a seguir ao do mapa. Passou um bom bocado a escrever e reescrever o código e os testes. Diria uns 45 ou 50 minutos.
Finalmente, olhei para o código. Achei a organização dos ficheiros peculiar, mas talvez simplesmente seja um standard a que não estou habituado. Podia ter-lhe pedido para reorganizar mais a meu gosto, mas não me dei ao trabalho. Assim que comecei a abrir o código em si, descobri que ele escreveu muito mais do que era necessário para uma aplicação tão simples. Os testes, então, tinham um tamanho absurdo e completamente desnecessário. Fui ver o test coverage e, para minha surpresa, a do frontend estava abaixo de 70% e do backend abaixo do 50%. Instruí-o para não aceitar nada abaixo dos 90% e ele lá refez os testes (que ficaram ainda maiores) até chegar lá.
Apesar de lhe ter dado, no ficheiro de plano, a instrução de que o código devia ser legível para humanos, ele criou alguns ficheiros enormes de difícil navegação. Por outro lado, eu disse-lhe para comentar bem o código e ele assim fez. Por alguma razão, ele ignorou o ponto no plano que lhe pedia para gerar a documentação como html e pdf, mas depois de uma prompt insistente, lá o fez.
Também reparei em algumas opções estranhas dele. Por exemplo, ele guardou a descrição dos superherois e das cidades usadas nas tabelas hard coded no frontend em vez de na BD do backend. Tive de lhe dar instruções expressas para o fazer.
Por outro lado, teve alguns momentos de brilhantismo. Sem eu lhe pedir, na página com o mapa e tabela, ele fez com que a cidade ficasse centrada no mapa sempre que eu clicava nela na tabela sem eu lhe pedir o fazer. A maneira como ele extrapolou a localização de algumas cidades ficcionais foi deliciosa. Por exemplo, como não sabia onde ficava a Atlântida do Aquaman, colocou-a no centro do Atlântico :D.
Dito tudo isto, vou passar para a pergunta chave -> Poupei tempo ao usar a AI em vez de fazer eu o código? É difícil de dizer. Como eu disse, ele gerou muito mais código do que acho que seria necessário para esta aplicação. Se fosse a escrever o mesmo código à mão não tenho dúvidas que levaria mais tempo. Porém, se escrevesse o código à minha maneira, muito provavelmente que conseguia fazer tudo em menos tempo. Claro que esta aplicação é um exemplo estupidamente simples. Tenho de tentar um projecto mais complexo, que envolva trabalho mais moroso, para poder avaliar melhor. Mas isso fica para outra altura, porque o fim de semana já acabou.
