Docker

Входные данные и проблема подгонки результатов Сравнение ИИ агентов для кода часто страдает от одной проблемы: тесты пишутся под конкретную модель или промпт подгоняется под привычки ассистента. В итоге на бенчмарках всё зелёное, а на живом репозитории агент ломает соседние модули. Чтобы получить объективный срез, нужна строгая изоляция среды и зафиксированный срез кодовой базы. Ниже разнесена методика, опирающаяся на подходы SWE-bench и локальный запуск в изолированных контейнерах. Как проверить агентов на одном issue без подгонки результата Для чистоты эксперимента берётся один реальный закрытый issue из репозитория средней сложности на GitHub с понятным набором упавших тестов. Задача агента — устранить ошибку, не затронув остальную логику. Среда выполнения изолируется через Docker-контейнер с фиксированными зависимостями. Агент получает на