Alpha Arena revela falhas no trading de IA: modelos ocidentais perdem 80% do capital em uma semana

O mercado é o teste supremo para a IA.

Autor: Juan Galt

Tradução: AididiaoJP, Foresight News

A IA consegue negociar criptomoedas? Jay Azhang, engenheiro de computação e profissional do setor financeiro de Nova York, está testando essa questão através do Alpha Arena. O projeto coloca os mais poderosos modelos de linguagem de grande porte para competir entre si, cada um com um capital de 10 mil dólares, para ver qual consegue lucrar mais negociando criptomoedas. Entre os modelos estão Grok 4, Claude Sonnet 4.5, Gemini 2.5 pro, ChatGPT 5, Deepseek v3.1 e Qwen3 Max.

Agora você deve estar pensando: "Uau, que ideia genial!" E pode se surpreender ao saber que, no momento em que este artigo foi escrito, três dos cinco AIs estavam em situação de prejuízo, enquanto Qwen3 e Deepseek, dois modelos open source chineses, lideravam.

É isso mesmo: as IAs mais poderosas do Ocidente, fechadas, operadas por gigantes como Google e OpenAI, perderam mais de 8.000 dólares em pouco mais de uma semana, o que representa 80% de seu capital de negociação em criptomoedas, enquanto suas contrapartes open source do Oriente estão lucrando.

A negociação de maior sucesso até agora? Qwen3 manteve-se lucrativo e consistentemente rentável apenas com uma simples posição long de 20x em bitcoin. Grok 4, sem surpresa, passou a maior parte do tempo da competição em uma posição long de 10x em dogecoin, tendo liderado junto com Deepseek em determinado momento, mas agora está perto de um prejuízo de 20%. Talvez Elon Musk devesse postar um meme de dogecoin para ajudar Grok a sair dessa situação.

Enquanto isso, o Gemini do Google está implacavelmente pessimista, vendendo a descoberto todos os criptoativos negociáveis, uma posição que ecoa sua política geral sobre criptomoedas nos últimos 15 anos.

No final, ele conseguiu cometer todos os erros possíveis durante uma semana inteira, o que também exige certa habilidade, especialmente considerando que Qwen3 simplesmente ficou long em bitcoin. Se esse é o melhor nível que uma IA fechada pode oferecer, talvez a OpenAI devesse continuar fechada para evitar que soframos perdas.

O novo benchmark da IA

A ideia de colocar modelos de IA para competir entre si na arena de negociação de criptomoedas traz insights muito profundos. Primeiro, a IA não pode obter as respostas para os testes de negociação de criptomoedas durante o pré-treinamento, pois são imprevisíveis — um problema enfrentado por outros benchmarks. Em outras palavras, muitos modelos de IA recebem algumas respostas dos testes durante o treinamento, então naturalmente se saem bem nos testes. Mas algumas pesquisas mostram que pequenas alterações nesses testes podem causar grandes mudanças nos resultados dos benchmarks de IA.

Essa controvérsia levanta uma questão: qual é o teste supremo de inteligência? Segundo Elon Musk, criador do Grok 4 e entusiasta do Homem de Ferro, prever o futuro é a medida definitiva de inteligência.

E temos que admitir: não há futuro mais incerto do que o preço de curto prazo das criptomoedas. Nas palavras de Azhang: "Nosso objetivo com o Alpha Arena é tornar o benchmark mais próximo do mundo real, e o mercado é perfeito para isso. Eles são dinâmicos, competitivos, abertos e sempre imprevisíveis. Eles desafiam a IA de uma forma que benchmarks estáticos não conseguem. O mercado é o teste supremo para a IA."

Essa visão sobre o mercado está profundamente enraizada nos princípios libertários que deram origem ao bitcoin. Economistas como Murray Rothbard e Milton Friedman apontaram, há mais de cem anos, que o mercado é fundamentalmente imprevisível para governos centrais, e que apenas indivíduos que assumem riscos reais podem tomar decisões econômicas racionais.

Em outras palavras, o mercado é a coisa mais difícil de prever porque depende das opiniões e decisões pessoais de indivíduos inteligentes em todo o mundo, sendo assim o melhor teste para a inteligência.

Azhang menciona em sua descrição do projeto que instruir a IA a negociar não é apenas sobre lucro, mas também sobre retorno ajustado ao risco. Esse aspecto do risco é crucial, pois uma única negociação ruim pode apagar todos os retornos anteriores, como visto no colapso da carteira do Grok 4.

Existe ainda outra questão: esses modelos realmente aprendem com suas experiências negociando criptomoedas? Isso não é tecnicamente fácil, pois o pré-treinamento de modelos de IA é extremamente caro. Eles podem ser ajustados com seu próprio histórico de negociações ou com o histórico de outros, e talvez até mantenham as negociações recentes na memória de curto prazo ou na janela de contexto, mas isso só os leva até certo ponto. O modelo de IA de negociação ideal pode ter que realmente aprender com sua própria experiência — uma tecnologia recentemente anunciada no meio acadêmico, mas que ainda está longe de se tornar um produto. O MIT os chama de modelos de IA auto-adaptativos.

Como sabemos que isso não é apenas sorte?

Outra análise sobre o projeto e seus resultados até agora é que pode ser indistinguível de um "passeio aleatório". Um passeio aleatório é como jogar um dado para cada decisão. Como isso seria em um gráfico? Na verdade, existe um simulador que você pode usar para responder a essa pergunta; visualmente, não parece muito diferente.

A questão da sorte no mercado também foi descrita em detalhes por intelectuais como Nassim Taleb em seu livro "Antifrágil". Ele argumenta que, do ponto de vista estatístico, é perfeitamente normal e possível que um trader — como o Qwen3 — tenha sorte durante uma semana inteira! Isso pode fazer parecer que ele tem habilidades de raciocínio superiores. Taleb vai além: ele acredita que há tantos traders em Wall Street que é fácil para um deles ter sorte por 20 anos seguidos, construir uma reputação lendária e ser considerado um gênio por todos ao redor — até que a sorte acabe.

Portanto, para que o Alpha Arena gere dados valiosos, ele realmente precisa funcionar por um longo tempo, e seus padrões e resultados precisam ser replicados de forma independente, envolvendo riscos de capital real, antes que possa ser considerado diferente de um passeio aleatório.

No fim das contas, até agora, é interessante ver modelos open source e de baixo custo como o DeepSeek superando seus concorrentes fechados. O Alpha Arena tem sido uma ótima fonte de entretenimento até agora, já que se tornou viral no X.com na semana passada. Ninguém sabe para onde vai; teremos que ver se a aposta de seu criador — dar 50 mil dólares em criptomoedas para cinco chatbots apostarem — vai valer a pena no final.