avatar
✯

Seguindo0Seguidores (X)888Publicações44Curtidas158
avatar

Na noite passada, disse que publicaria o estudo sobre se a polinização entre modelos realmente ajuda a abrir a autopesquisa. Aqui está, e minha resposta é não: a marca do modelo por trás do trabalho em que você se baseia não altera se sua submissão vence. O que importa parece mais com aquilo que @sreeramkannan apontou desde o início: muitas pessoas coordenando-se em uma única fronteira pública. A pergunta surgiu da resposta de @0xkydo ao post de Sreeram “anons batem Anthropic em 2x”, que chamou isso de “um bom estudo de caso de como a polinização cross-modal pode produzir melhores resultados”. É uma boa pergunta, e o artigo em https://t.co/zVaWaF5HEj faz uma observação semelhante em prosa: platôs continuavam sendo quebrados por pessoas usando diferentes modelos e ferramentas. Ninguém havia verificado isso contra os dados, então eu fiz. A configuração básica foi: congelei a API pública Yukon para 10 leaderboards, incluindo https://t.co/zVaWaF5HEj, que contém 30.687 submissões pontuadas. Para cada submissão, registrei a empresa por trás do modelo declarado e determinei qual submissão anterior ela baseou-se, usando os registros de atribuição de @yukonresearch, a linha “Base:” nas notas e diff de código. Depois perguntei: quando você se baseia no trabalho de alguém, é mais provável que seja promovido se o trabalho deles foi feito com um modelo de outra empresa do que o seu? Escrevi toda a análise e carimbei o tempo com OpenTimestamps antes de vincular qualquer resultado aos dados, para que o método não pudesse se desviar em direção a uma resposta. A primeira coisa que os dados mostram é que a construção cross-company é o caso normal, não um evento especial. Dois terços das etapas em que alguém se baseia no trabalho de outra pessoa mudam de fornecedor (imagem 2), principalmente entre modelos da Anthropic e da OpenAI em ambas as direções. Os números brutos até inclinam-se ligeiramente para o outro lado: 6,1% das submissões que se basearam em um modelo de outra empresa foram promovidas, contra 7,6% que se basearam em um modelo da mesma empresa. Mas taxas brutas misturam quem submeteu, quando e de qual ponto inicial. Então o teste real compara cada participante consigo mesmo, no mesmo estágio do leaderboard. Feito desse jeito e combinado nos 10 leaderboards, as chances de promoção são cerca de 2% maiores para construção cross-company, e os dados excluem qualquer efeito além de aproximadamente 18% menor ou 28% maior (imagem 1). Todas as nove versões alternativas da análise que pré-defini antes me deram a mesma resposta. Isso supera a barreira que estabeleci para considerar o efeito negligenciável na média. Uma ressalva honesta: comecei com uma barra mais rigorosa, e um teste de poder pré-registrado me levou a uma barra mais ampla antes de ver qualquer resultado; sob a barra mais rigorosa, isso seria indeterminado. A parte que achei mais divertida é o circuito de 843 qubits do post de @sreeramkannan (imagem 3). É realmente um passo cross-modelo. A submissão de @jieyilong com GPT-5 em 843 qubits e 11,95M Toffolis começa, segundo sua própria nota, no circuito Claude Opus 5.5 de gnuchev com 843 qubits e 13,01M, que por sua vez se baseou em dois circuitos BitWonka do mesmo dia. Então a polinização acontece — e nesse único passo produziu o número que todos citaram. O que os dados dizem é que, na média, entre milhares de passos, a mistura de fornecedores não é o que separa os passos que vencem dos que não vencem. Claro, é possível que isso seja mais restrito do que parece. É uma média, e um único leaderboard ainda pode diferir. Ele só vê o trabalho que foi submetido. Confia no modelo declarado por cada pessoa, e algumas pessoas executam vários fornecedores sob um único rótulo. E trata-se de modelos, não de pessoas: o ponto do artigo em https://t.co/zVaWaF5HEj de que diferentes participantes quebram platôs é uma afirmação separada, e nada aqui contesta isso. Minhas próprias opiniões: - Em leaderboards abertos, qual modelo da empresa fez sua submissão pai não altera suas chances de promoção, na média. - A construção cross-vendor já é o padrão: dois terços das construções sobre o trabalho de outras pessoas mudam de fornecedor. - A vantagem do enxame aberto provavelmente vem da coordenação em si — muitas pessoas independentes reiniciando a partir de um melhor público — e não da mistura de marcas de modelos. - Para testar a versão causal, plataformas precisariam registrar todas as tentativas e todos os modelos dos agentes, não apenas uma linha declarada por submissão. Artigo no Zenodo: https://t.co/h9lRYlJYoB

avatar

Hoje, estou encerrando minha startup, Sturbon. Infelizmente, você não escolhe uma decisão como essa. Você não acorda uma manhã e decide fechar algo que carregou por três anos. Você é forçado a fazê-lo. Em agosto, publiquei que minha startup havia sido aceita em um fundo, e deixei por isso mesmo. O que nunca disse publicamente é que pouco depois, fomos aceitos em um segundo. Juntos, esses dois fundos nos colocaram diante de mais de US$ 42 mil em financiamento. Ambos, desde então, falharam, por razões que não tinham nada a ver conosco. Então, deixe-me dizer o que era o Sturbon, já que nunca tive a chance de fazê-lo. O Sturbon era suporte em saúde mental para jovens na África que se sentem sozinhos. A maioria dos adolescentes que enfrentam dificuldades aqui nunca diz uma palavra a ninguém. Eles querem ajuda, mas não há lugar para onde enviá-los. Terapia custa dinheiro que suas famílias não têm, e na maioria das escolas, o assunto nunca é mencionado. Trabalhamos nisso de três maneiras. A primeira foi aconselhamento gratuito, sem taxas e sem sala de espera. A segunda foi mentoria: cada jovem era pareado com alguém que já havia passado pela mesma experiência e saído do outro lado, porque conselhos têm outro impacto quando vêm de alguém que viveu isso. A terceira foi a ação nas escolas, onde íamos às salas de aula e falávamos abertamente sobre o assunto, para que o aluno quieto no fundo soubesse que isso tem um nome e que ajuda existe. Não era uma empresa no início. Começou em 2023 na minha comunidade como um projeto chamado Save the Youth, sem dinheiro e sem plano além de simplesmente aparecer. Nos dois anos seguintes, expandiu-se lentamente, mas steady. Em três anos, tudo pago com meu próprio dinheiro, alcançamos mais de 100 jovens em diversos estados e passamos mais de 150 horas em aconselhamento com eles. Este ano tornou-se Sturbon, e o plano era colocar tudo isso em um aplicativo. Um jovem poderia abri-lo e entrar em contato com um conselheiro e um mentor pelo celular, sem precisar que nós estivéssemos fisicamente em sua cidade. O financiamento iria levar esse aplicativo aos estados já atendidos, treinar e pagar nossos primeiros mentores, e expandir as visitas às escolas além do que eu conseguia sozinho. Essa é a parte que acabou. O trabalho que veio antes disso foi real, e ainda conta. Não vou escrever as frases comuns sobre o que me ensinou dirigir uma empresa (quase). Na verdade, estou feliz por ter acontecido. Alguém leu isso e disse sim a isso, duas vezes. Vou manter isso. Obrigado a todos que deram seu tempo para isso, e a todos que responderam quando perguntei se agora eu era um fundador de startup haha. Por seis semanas, fui. Mas o título nunca foi o ponto. O que me importa é construir coisas que funcionam e colocar minhas mãos em problemas maiores do que eu. É isso que vou voltar a fazer. Ultimamente, a maioria das minhas horas foi dedicada ao código aberto (sim, darkblooommm), ao lado de pessoas da Eigen das quais aprendi muito. Mais sobre isso em breve. Foi uma boa jornada. De volta à construção.

avatar

Eu conduzi o Parallel Research de novembro de 2024 a outubro de 2025. 35 posts sobre internos do Solana, escalabilidade, MEV e TEEs. 84.864 visualizações, 124 inscritos, US$ 1.000 em receita antes de encerrar e deixar a escrita de pesquisas por um tempo. No mês passado, me deparei com o Zcash e decidi mergulhar profundamente; então procurei algo para ler sobre as Propostas de Melhoria do Zcash primeiro. Não havia nada. Trinta e três ZIPs estão em rascunho. Eu acabei de descobrir que os detentores de moedas acabaram de votar 2,4 milhões de ZEC em três deles. Se você quiser saber no que votou, suas opções são a especificação bruta ou uma trilha de comentários pelo GitHub, fórum e notas de reuniões/chamadas. Então comecei a escrever um explicador por ZIP... e... planejo cobrir mais de 12 até agora. Ps: apenas uma missão secundária divertida & eu também conheço a série nerd. Os dois primeiros já estão no ar: - ZIP 318 - ZIP 2005 cc: @ZcashLabs https://t.co/jVnCp3qVSX

avatar

Todos os componentes estão no lugar agora, é hora de decolar. Anúncio em breve.

avatar

rede tsk tsk, por que hojeyy. Já volto

avatar

Tenho tantas ideias malucas que quero testar neste livestream. Muito animado.

avatar

Eu cheguei ao mundo com sonhos maiores do que minhas circunstâncias.

avatar

Isso me fez sorrir muito quando vi isso, me fez o dia. @asciidotdev está na YC!!!

avatar

pensando em um mestrado... me formo em 2027. acabei de fazer as contas sobre a pós-graduação. Para uma entrada em janeiro de 2028, a inscrição fecha em abril de 2027. Isso é 7 meses a partir de agora. Merda. E para um mestrado com pesquisa, você precisa de um orientador que já tenha concordado em financiá-lo antes de se inscrever. Então, a verdadeira data limite é anterior à data oficial. Ainda não escolhi uma universidade. (não definido) Se você fez um mestrado em Ciência da Computação no Canadá/EUA, com quem você trabalhou?

avatar

mantenha-se sólido, você nunca ouve uma árvore crescer 🌴 crescimento silencioso!!