Шестой выпуск подкаста «про код.ии.прод»: почему 1500 тестов не гарантируют работу

Очередной, уже шестой по счёту выпуск подкаста «про код.ии.прод» опубликован на всех основных платформах. Ведущий Женя, деврел в Банки.ру, собрал несколько тем, знакомых каждому, кто строит агентские системы или только присматривается к ним. Первый блок посвящён spec-driven development.

На первый взгляд он напоминает старый добрый waterfall, но разница, как выясняется, глубже. Спикер разбирает, почему подход, при котором спецификация пишется до кода, не означает возврата к жёстким каскадным моделям, и где проходит граница между дисциплиной и бюрократией. Отдельно поднимается вопрос о том, как спецификации неконтролируемо разрастаются.

Каждый найденный баг добавляет новые пункты, и со временем документ превращается в монстра, который никто не в силах поддерживать. Этот процесс знаком многим командам, и в выпуске он иллюстрируется живыми примерами. Затем звучит история про банкоматы и кассиров — неожиданная, но точная аналогия, объясняющая текущее состояние дел с агентами.

Она помогает понять, почему полностью автономные системы пока остаются скорее исключением, а человек всё ещё играет роль последней инстанции. Центральный эпизод выпуска — рассказ об оркестраторе, который прошёл полторы тысячи зелёных тестов, но в реальной работе оказался бесполезен. Ситуация до боли знакомая: формально всё правильно, а на практике — сбои.

Этот кейс становится поводом поговорить о том, что написать код для агента — не самая сложная задача. Гораздо труднее проверить, что агент действительно делает то, что нужно, и не ломается в неочевидных сценариях. Тесты, покрывающие изолированные функции, не гарантируют корректного поведения в динамической среде, где агент взаимодействует с другими системами и пользователями.

Выпуск будет полезен и тем, кто только собирает свой первый агентский флоу, и тем, кто уже столкнулся с разрывом между тестовыми метриками и реальной надёжностью. Практические наблюдения и разбор граблей, собранных на живых проектах, дают пищу для размышлений без навязчивых рекомендаций. Новые эпизоды подкаста выходят каждые две недели.

Послушать шестой выпуск можно на Яндекс Музыке, VK Music, в Apple Podcasts, Spotify и Mave.