Sandbox para avaliação de LLM: 1.000 soluções escritas por um modelo por cerca de um centavo

Benchmarks de código têm um segredo sujo: para pontuar um modelo, é preciso executar o que ele escreveu. Um pass@k sobre algumas centenas de problemas com dez soluções cada são milhares de programas recém-gerados — e você nunca faria curl | bash com nenhum deles vindo de um desconhecido.

A maioria começa no notebook com um subprocess.run e um timeout. Funciona até uma solução escrever um arquivo de 40 GB, criar processos até travar a máquina ou ler silenciosamente o seu diretório pessoal. A solução não é um timeout mais esperto. É executar as soluções num lugar com o qual você não se importa.

A configuração que funciona

Uma sandbox é uma microVM Firecracker com Python 3.12, Node.js 22 e bash, iniciada em cerca de um segundo e apagada quando você termina. A internet de saída funciona, a de entrada não, e não há nada seu lá dentro.

A armadilha é tratar uma sandbox como uma chamada de função. Cada uma é cobrada por no mínimo 60 segundos e leva um segundo para iniciar, então uma sandbox por solução é lento e caro. Em vez disso, coloque o harness lá dentro:

from eqvps import Sandbox

with Sandbox.create(tariff="standard", ttl=4 * 3600) as sb:
    sb.upload("/root/harness.py", open("harness.py").read())
    sb.upload("/root/samples.jsonl", open("slice_03.jsonl").read())
    task = sb.exec("python3 /root/harness.py /root/samples.jsonl > /root/results.jsonl",
                   background=True)
    task.wait(poll_interval=10)
    results = sb.download_text("/root/results.jsonl")

Lá dentro, harness.py executa cada solução num subprocesso com seu próprio timeout curto e registra pass, fail ou timeout. Uma solução que se comporta mal mata o próprio subprocesso, não a execução. Se uma solução conseguir quebrar a própria sandbox, você perde uma fatia, recria a sandbox e continua.

Os arquivos vão até 5 MB por transferência, então divida datasets grandes em fatias — algo que você quer de qualquer forma para o paralelismo.

Throughput, com honestidade

Uma conta pode ter até 20 sandboxes, mas 2 comandos executam ao mesmo tempo. Uma tarefa em segundo plano conta enquanto roda. Então uma avaliação rápida tem a forma de duas sandboxes, cada uma processando sua fatia em segundo plano, e não vinte sandboxes brigando por dois espaços.

Para benchmarks de código típicos, isso é mais que suficiente: a maioria das soluções termina em menos de um segundo, e uma sandbox processa milhares por hora. Se você precisa avaliar muitos modelos ao mesmo tempo contra uma suíte enorme, vai bater no teto. Nesse ponto, um VPS com o seu próprio isolamento é a ferramenta melhor.

A regra de CPU que você deve conhecer

As sandboxes são feitas para trabalho em rajadas. Uma sandbox mantida acima de 90% de CPU por mais de 15 minutos é tratada como abuso — uma sandbox efêmera é parada. Avaliações normais, que alternam execuções rápidas com a contabilidade dos resultados, nem chegam perto. Um benchmark que queima CPU no máximo por horas (compilar um projeto grande por solução, testes de estresse numéricos) chega. Para isso, contrate um VPS por mês: o plano AI agent oferece 4 vCPU e 4 GB por $10.

Quanto custa uma execução

Você paga por segundo os vCPU e a RAM do plano, mínimo de 60 segundos, a partir de um saldo pré-pago.

As chamadas ao modelo que geram essas soluções vão custar mais do que a execução — normalmente uma ordem de grandeza a mais.

Chaves e reprodutibilidade

Se o harness chama a API de um modelo de dentro da sandbox — por exemplo, para pontuação no estilo LLM-as-judge —, passe a chave como variável de ambiente da sandbox. Os valores são armazenados criptografados, nunca vão para logs, e a API devolve apenas os nomes das variáveis.

Para reprodutibilidade, fixe as versões dos pacotes no seu harness e registre o plano da sandbox junto com os resultados. Toda sandbox inicia a partir da mesma imagem limpa, o que tira dos seus números a variável "funcionava no meu notebook". Sinceramente, só isso já justifica a mudança.

Comece pela página de sandboxes e pela documentação das sandboxes. Contas novas recebem $1 de tempo de sandbox — o suficiente para uma primeira avaliação com alguns milhares de soluções no plano small. A referência do SDK cobre tarefas em segundo plano e transferência de arquivos, e limites e cobrança das sandboxes traz a tabela completa de cotas.

Relacionado: sandbox para agentes de IA e sua primeira tarefa de agente numa sandbox.