A recente enxurrada de anúncios da OpenAI demonstra o ritmo frenético em que a companhia está trabalhando. A empresa revelou grandes novidades sobre o Sora, o ChatGPT Search, o ChatGPT no WhatsApp, a disponibilidade massiva do o1 e o recém-lançado o3 como grandes protagonistas. Tudo parece estar indo às mil maravilhas para a empresa dirigida por Sam Altman, mas há algo que provavelmente está tirando seu sono: o GPT-5.
GPT-5 e Orion
A empresa vem trabalhando há meses em seu próximo grande modelo de linguagem, com o codinome Orion, mas que, teoricamente, será o GPT-5. Espera-se que o salto em desempenho em relação ao GPT-4 seja significativamente maior do que o que vimos do GPT-4 para o GPT-4o, mas aí é que está o problema. Por enquanto, isso não está acontecendo.
Como aponta o The Wall Street Journal, esse projeto não para de sofrer atrasos — por exemplo, a Microsoft esperava ter acesso a ele em meados de 2024. Há algo ainda pior: seu desenvolvimento está gerando um custo colossal que não para de crescer. Estima-se que cada rodada de treinamento dure cerca de seis meses e custe US$ 500 milhões. Segundo o jornal, Altman já indicou no passado que o treinamento do GPT-4 custou mais de US$ 100 milhões.
Treinamentos que não chegam a dar certo
O Orion foi treinado com enormes quantidades de dados não apenas uma, mas duas vezes. Apesar disso, os problemas não pararam de surgir: no segundo ciclo de treinamento, os engenheiros perceberam que o conjunto de dados não era tão diverso quanto pensavam. A OpenAI perdeu muito dinheiro e tempo para recomeçar esse processo e não está claro se esse segundo treinamento foi corrigido com dados mais ricos e úteis.
Os pesquisadores parecem ter ficado decepcionados com o desempenho do modelo, segundo fontes próximas ao projeto. Embora o Orion tenha um desempenho melhor do que o modelo atual, seus resultados não justificam o enorme custo de desenvolvimento e execução.
Ilya Sutskever, cofundador da OpenAI que deixou a empresa há alguns meses, declarou em novembro que treinar modelos de IA com mais GPUs e mais dados já não faz tanta diferença. As expectativas em torno do GPT-5 se somam aos esforços de outras empresas que, teoricamente, também estão desenvolvendo chatbots cada vez mais potentes. A sensação é de que a IA generativa, pelo menos desse tipo, está estagnando.
Altman e o perigo das promessas
Em julho de 2023, Altman afirmou que o GPT-5 poderia chegar no final de 2024 ou início de 2025. Ele chegou a prometer que o novo modelo representaria "um salto significativo" em todo tipo de tarefas e temáticas. A expectativa é que o GPT-5 se torne uma ferramenta tanto científica quanto cotidiana, além de cometer menos erros do que o GPT-4/ChatGPT.
Gerando dados de qualidade
A OpenAI se deparou com um problema: já não havia muitos dados de qualidade disponíveis para treinar o modelo. Diante disso, a empresa decidiu criá-los do zero. Para isso, contratou pessoas para escrever novos programas, resolver problemas matemáticos e depois "conversar" com o Orion para explicar esses resultados. Essas explicações são teoricamente valiosas para o desenvolvimento de um LLM, pois podem servir como um "mapa" que ajude os modelos a solucionar problemas semelhantes no futuro. Não basta apenas fornecer o resultado — é essencial entender o processo que levou até ele.
Agentes de IA e chatbots que "raciocinam" ao resgate
Apesar dessas dificuldades, tanto a OpenAI quanto seus concorrentes estão apostando em duas grandes tendências que podem revitalizar esse setor. A primeira é a dos agentes de IA, que realizarão tarefas de forma autônoma. A segunda é a dos modelos que "raciocinam" e, mesmo demorando mais para responder, conseguem fornecer respostas mais corretas. A esperança é que essas novas abordagens acabem substituindo, pelo menos em parte, os chatbots atuais.
Este texto foi traduzido/adaptado do site Xataka Espanha.
Ver 0 Comentários