Recentemente, a Meta realizou um evento no qual nos contou sobre seus óculos de realidade aumentada Orion e Meta Quest 3S. Mas ele também aproveitou para apresentar o Llama 3.2, a nova versão de seu LLM que agora também está muito focada em conquistar nossos celulares. LLM, da sigla para Large Language Model ("Grande Modelo de Linguagem", em tradução livre), é um modelo de aprendizado de máquina treinado para aprender a partir de enormes bases de dados.
Em uma entrevista comentando esses lançamentos, Mark Zuckerberg falou sobre um tópico importante: porque eles estão investindo dinheiro em IA como se não houvesse amanhã.
A IA tinha limites
Em uma entrevista recente com o YouTuber Cleo Abram, Mark Zuckerberg explicou como em arquiteturas de IA exploradas anteriormente você poderia alimentar o sistema com uma certa quantidade de dados, mas em algum momento não importava se você o alimentava com mais dados ou usava mais recursos para treiná-lo: você chegava a um impasse e ele não avançava mais.
Isso não acontece mais
Com sistemas baseados na arquitetura "Transformer", esse impasse parece não ser alcançado. Nos últimos anos, esses sistemas não param de ser alimentados com mais e mais dados e as infraestruturas de treinamento e inferência não param de crescer, mas não importa: os modelos continuam melhorando. Como diz Zuckerberg, "ainda não encontramos o limite".
Llama continuará crescendo
O CEO da Meta ressaltou que "isso nos leva a essa dinâmica em que poderíamos treinar o Llama 3 com entre 10 e 20 mil GPUs, depois treinar o Llama 4 com mais de 100 mil e com o Llama 5 poderíamos escalar ainda mais, e aí surge uma questão interessante, que é até onde podemos ir".
Eles podem estar errados
Zuckerberg, no entanto, está ciente de que eles podem estar errados. "É inteiramente possível que em algum momento cheguemos ao limite", mas ele acredita que não chegaremos a isso tão cedo. Ele está claramente apostando nisso, mas admite que não tem certeza do que pode acontecer. Claro, por enquanto está claro: eles continuarão investindo dinheiro sem parar.
É o que todos eles fazem
O discurso de Zuckerberg reforça a situação atual. Não apenas a da Meta, mas a de todas as grandes empresas de tecnologia, que investiram somas absolutamente enormes de dinheiro confiando que os modelos de IA são de fato o futuro.
Qualificações
Yann LeCun, chefe de IA da Meta, também compartilhou esse quadro no X. Um usuário perguntou a ele o que ele achava a respeito e a resposta esclareceu que LLMs "puros e auto-regressivos" são "um beco sem saída" se estivermos procurando por IA de nível humano, mas "ainda são muito úteis no curto prazo". Para ele, toda essa infraestrutura pode ir além de simplesmente espremer os modelos atuais de IA generativa.
Zuck diz isso porque ele tem que dizer
As palavras de Mark Zuckerberg não são nada surpreendentes: ele tem que defender sua aposta na IA como fez antes com a aposta no metaverso. Com isso, perdeu e continua perdendo uma fortuna real, mas a Meta foi a única que confiou no conceito. Agora eles mudaram e deixaram o metaverso em segundo plano – apesar de ainda estarem trabalhando no setor –, mas a diferença é que seu claro comprometimento com a IA não é só deles: é uma indústria inteira. Isso não quer dizer que toda a indústria não possa estar errada, é claro: o próprio Zuckerberg aponta isso nesses comentários.
Ver 0 Comentários