A IA provou ser incapaz de substituir os programadores

A capacidade da inteligência artificial (IA) de escrever código de forma independente foi avaliada por especialistas da empresa OpenAI. O estudo foi publicado no servidor de pré-impressão arXiv .

Engenheiros da OpenAI, que desenvolve e dá suporte ao chatbot ChatGPT, falaram sobre como a IA pode substituir programadores com sucesso. Eles testaram três modelos de inteligência artificial para escrever códigos de computador e corrigir os erros dos outros. Descobriu-se que as competências de IA não são suficientes para substituir nem mesmo programadores novatos.

A equipe testou seu modelo básico o1 e o modelo principal GPT-4o, bem como o Claude 3.5 Sonnet da Anthropic. Eles usaram o benchmark SWE-Lancer, que é baseado em 1.400 tarefas de programação do site freelancer Upwork. Os modelos tiveram que completar as tarefas sem acesso à internet - de acordo com jornalistas do Futurism, eles não podiam ficar online e "copiar" a solução.

Os engenheiros notaram que os modelos das peças estavam com erros porque não conseguiam entender o contexto - "isso levou a decisões incorretas ou insuficientemente abrangentes". O Claude 3.5 Sonnet teve o melhor desempenho, mas a maioria das respostas do modelo estavam incorretas. Pesquisadores da OpenAI concluíram que a IA não pode substituir especialistas em TI atualmente. Jornalistas do Futurism lembraram que o CEO da OpenAI, Sam Altman, prometeu que até o final de 2025, surgiriam modelos que resolveriam com eficiência problemas de programação no nível básico.

Em meados de fevereiro, o CEO da OpenAI, Sam Altman, anunciou o modelo gratuito GPT-5. Ele também prometeu que modelos futuros seriam apoiados pelo raciocínio.