Sandbox kwa tathmini ya LLM: endesha suluhisho 1,000 zilizoandikwa na modeli kwa takriban senti moja

Vipimo vya msimbo vina siri chafu: ili kupima modeli lazima uendeshe kile ilichoandika. Mzunguko wa pass@k juu ya matatizo mia kadhaa yenye suluhisho kumi kila moja ni maelfu ya programu mpya zilizozalishwa — na usingewahi kuendesha curl | bash hata moja kati yao kutoka kwa mgeni.

Watu wengi huanza kwenye kompyuta ndogo kwa subprocess.run na kikomo cha muda. Hilo linafanya kazi hadi suluhisho moja liandike faili ya GB 40, lizalishe michakato hadi mashine ikwame, au lisome kimya kimya saraka yako ya nyumbani. Suluhisho si kikomo cha muda chenye ujanja zaidi. Ni kuendesha suluhisho mahali ambapo hakukuhusu.

Usanidi unaofanya kazi

Sandbox ni microVM ya Firecracker yenye Python 3.12, Node.js 22 na bash, inayowaka ndani ya takriban sekunde moja na kufutwa unapomaliza. Intaneti ya kutoka inafanya kazi, ya kuingia haifanyi, na hakuna kitu chako ndani yake.

Mtego ni kuichukulia sandbox kama mwito wa fanksheni. Kila moja hutozwa angalau sekunde 60 na huchukua sekunde moja kuwaka, kwa hiyo sandbox moja kwa kila suluhisho ni polepole na ni upotevu. Badala yake, weka harness ndani:

from eqvps import Sandbox

with Sandbox.create(tariff="standard", ttl=4 * 3600) as sb:
    sb.upload("/root/harness.py", open("harness.py").read())
    sb.upload("/root/samples.jsonl", open("slice_03.jsonl").read())
    task = sb.exec("python3 /root/harness.py /root/samples.jsonl > /root/results.jsonl",
                   background=True)
    task.wait(poll_interval=10)
    results = sb.download_text("/root/results.jsonl")

Ndani, harness.py huendesha kila suluhisho katika mchakato mdogo wenye kikomo chake kifupi cha muda na hurekodi pass, fail au timeout. Suluhisho linalokorofisha huua mchakato wake mdogo, si mzunguko mzima. Suluhisho likifanikiwa kuharibu sandbox yenyewe, unapoteza sehemu moja, unaunda sandbox upya na kuendelea.

Faili ni hadi MB 5 kwa kila uhamisho, kwa hiyo gawa seti kubwa za data katika sehemu — jambo ambalo unalitaka hata hivyo kwa usambamba.

Kasi ya uchakataji, kwa ukweli

Akaunti inaweza kushikilia hadi sandbox 20, lakini amri 2 zinatekelezwa kwa wakati mmoja. Kazi ya chinichini huhesabiwa wakati inaendelea. Kwa hiyo tathmini ya haraka inaonekana kama sandbox mbili, kila moja ikisaga sehemu yake chinichini, si sandbox ishirini zikigombania nafasi mbili.

Kwa vipimo vya kawaida vya msimbo hilo linatosha kabisa: suluhisho nyingi humalizika chini ya sekunde moja, na sandbox moja hushughulikia maelfu kwa saa. Ukihitaji kutathmini modeli nyingi kwa wakati mmoja dhidi ya seti kubwa mno, utagonga dari. Wakati huo VPS inayoendesha utengaji wako mwenyewe ndiyo chombo bora zaidi.

Kanuni ya CPU unayopaswa kuijua

Sandbox zimejengwa kwa kazi za mipasuko. Sandbox inayoshikiliwa zaidi ya asilimia 90 ya CPU kwa zaidi ya dakika 15 huhesabiwa kama matumizi mabaya — sandbox ya muda husimamishwa. Tathmini za kawaida, zinazopishana kati ya utekelezaji wa haraka na kurekodi matokeo, hazikaribii hapo. Kipimo kinachochoma CPU kamili kwa saa nyingi (kukusanya mradi mkubwa kwa kila suluhisho, majaribio ya mkazo wa namba) kitakaribia. Kwa hilo, chukua VPS kwa mwezi: ushuru wa AI agent unatoa vCPU 4 na GB 4 kwa $10.

Gharama ya mzunguko

Unalipa kwa sekunde kwa vCPU na RAM ya ushuru, kiwango cha chini sekunde 60, kutoka salio la kulipia kabla.

Miito ya modeli inayozalisha suluhisho hizo itakugharimu zaidi ya utekelezaji — kwa kawaida mara kumi zaidi.

Funguo na kurudiwa kwa matokeo

Ikiwa harness inaita API ya modeli kutoka ndani ya sandbox — kwa mfano kwa upimaji wa mtindo wa LLM-as-judge — pitisha ufunguo kama kigezo cha mazingira cha sandbox. Thamani huhifadhiwa zikiwa zimesimbwa, haziandikwi kwenye kumbukumbu kamwe, na API hurudisha majina ya vigezo tu.

Ili matokeo yaweze kurudiwa, funga matoleo ya vifurushi kwenye harness yako na rekodi ushuru wa sandbox pamoja na matokeo. Kila sandbox huanza kutoka image ileile safi, jambo linaloondoa kigezo cha "ilifanya kazi kwenye kompyuta yangu" kutoka kwenye takwimu zako. Kusema kweli, hilo pekee linastahili kubadili.

Anza na ukurasa wa sandbox na nyaraka za sandbox. Akaunti mpya hupata $1 ya muda wa sandbox — inatosha kwa mzunguko wa kwanza wa tathmini wa suluhisho elfu kadhaa kwenye ushuru wa small. Marejeo ya SDK yanaeleza kazi za chinichini na uhamisho wa faili, na mipaka na malipo ya sandbox ina jedwali kamili la viwango.

Zinazohusiana: sandbox kwa mawakala wa AI na kazi yako ya kwanza ya wakala ndani ya sandbox.