Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Andrej Karpathy
Construção @EurekaLabsAI. Anteriormente Diretor de IA @ Tesla, equipe fundadora @ OpenAI, CS231n/PhD @ Stanford. Eu gosto de treinar grandes redes neurais profundas.
Estou a ser acusado de exagerar o [site de que todos ouviram falar demais hoje]. As reações das pessoas variaram muito, desde "como é que isto é interessante de alguma forma" até "já acabou".
Para adicionar algumas palavras além de apenas memes em tom de brincadeira - obviamente, quando olhamos para a atividade, é muito lixo - spams, fraudes, desordem, as pessoas do cripto, ataques de injeção de prompts de privacidade/segurança altamente preocupantes, e muito disso é explicitamente promovido e posts/comentários falsos projetados para converter atenção em compartilhamento de receita publicitária. E isto claramente não é a primeira vez que os LLMs foram colocados em um loop para conversar entre si. Portanto, sim, é um incêndio de lixo e eu definitivamente não recomendo que as pessoas executem essas coisas em seus computadores (eu executei o meu em um ambiente de computação isolado e mesmo assim fiquei assustado), é um faroeste demais e você está colocando seu computador e dados privados em alto risco.
Dito isso - nunca vimos tantos agentes LLM (150.000 atm!) conectados através de um bloco de notas global, persistente e centrado em agentes. Cada um desses agentes é bastante capaz individualmente agora, eles têm seu próprio contexto, dados, conhecimento, ferramentas, instruções, e a rede de tudo isso em tal escala é simplesmente sem precedentes.
Isso me traz novamente a um tweet de alguns dias atrás
"A maioria do barulho é de pessoas que olham para o ponto atual e pessoas que olham para a inclinação atual.", que na minha opinião novamente chega ao cerne da variação. Sim, claramente é um incêndio de lixo agora. Mas também é verdade que estamos bem em território desconhecido com automações de ponta que mal entendemos individualmente, quanto mais uma rede que possivelmente atinge números de ~milhões. Com a capacidade crescente e a proliferação crescente, os efeitos de segunda ordem das redes de agentes que compartilham blocos de notas são muito difíceis de antecipar. Não sei realmente se estamos a obter um "skynet" coordenado (embora claramente se encaixe nas primeiras etapas de muito sci-fi sobre a ascensão da IA, a versão de bebê), mas certamente o que estamos a obter é uma completa bagunça de um pesadelo de segurança informática em escala. Também podemos ver todo tipo de atividade estranha, por exemplo, vírus de texto que se espalham entre agentes, muito mais ganho de função em jailbreaks, estados de atratores estranhos, atividade altamente correlacionada como botnets, delírios/psicose tanto de agentes quanto humanos, etc. É muito difícil de dizer, o experimento está a correr ao vivo.
Resumindo, talvez eu esteja "exagerando" o que você vê hoje, mas não estou a exagerar redes grandes de agentes LLM autônomos em princípio, disso tenho certeza.
154
Uma narrativa convencional que você pode encontrar é que a IA está muito avançada para que uma nova startup focada em pesquisa possa competir e executar melhor do que os incumbentes da IA. Este é exatamente o sentimento que ouvi frequentemente quando a OpenAI começou ("como vocês, poucos, poderiam competir com o Google?") e 1) estava muito errado, e então 2) estava muito errado novamente com uma nova rodada de startups que agora estão desafiando a OpenAI, e na minha opinião, ainda continua a estar errado hoje. Escalar e melhorar localmente o que funciona continuará a criar avanços incríveis, mas com tanto progresso desbloqueado tão rapidamente, com tanta poeira levantada no processo, e ainda com uma grande lacuna entre os LLMs de fronteira e a prova de exemplo da mágica de uma mente funcionando com 20 watts, a probabilidade de descobertas de pesquisa que resultem em melhorias mais próximas de 10X (em vez de 10%) na minha opinião ainda parece muito alta - bastante alta para continuar a apostar e procurar.
A parte complicada, claro, é criar as condições onde tais descobertas possam ser feitas. Eu acho que tal ambiente raramente se forma, mas @bfspector e @amspector100 são brilhantes, com uma compreensão (rara) de pilha completa dos LLMs de cima (matemática/algoritmos) para baixo (megakernels/relacionados), eles têm um ótimo olho para talento e acho que serão capazes de construir algo muito especial. Parabéns pelo lançamento e estou ansioso para ver o que vocês vão criar!

Flapping Airplanes29/01, 01:30
Anunciando Aviões que Batem!
Levantámos $180M da GV, Sequoia e Index para montar uma nova guarda em IA: uma que imagina um mundo onde os modelos podem pensar ao nível humano sem ingerir metade da internet.
156
Top
Classificação
Favoritos
