Пісочниці · запуск коду
Ваш агент пише код, який ще жодного разу не запускався. Пісочниця на Firecracker microVM дає цьому коду одноразову Linux-машину без доступу до вашого сервера, ключів і мережі — старт приблизно за секунду, оплата посекундно.
Запускайте тести коду, якому не довіряєте, — пул-реквест від незнайомця, згенерований патч — у свіжій мікро-VM, що видаляється після прогону. Посекундна оплата, SDK для Python і TS, чесно про ліміти паралельності.
Щоб оцінити модель на задачах із програмування, треба виконати тисячі програм, яких ніхто не писав руками. Запускайте їх в одноразових пісочницях на мікро-VM, а не на своєму ноутбуці: посекундна оплата й чесно про пропускну здатність і ліміт CPU.
Дифф каже, що патч обіцяє. Запуск каже, чи це правда. Викачайте пул-реквест в одноразову мікро-VM, відтворіть баг до й після, проженіть тести й рев'юйте з доказами — приблизно за пів цента за прохід.