ТехволнаKillSwitch: как программист заставил нейросети читать бессвязные истории вместо кода
Доминик Пичета, разработчик из Европы, 17 октября объявил о запуске экспериментального языка программирования KillSwitch. В отличие от Python или C, здесь программа читается как перепутанный дневник: значимые команды запрятаны в объёмные повествовательные отрывки, не несущие для интерпретатора никакой смысловой нагрузки. Так автор решил проверить, способны ли большие языковые модели разбирать непривычную грамматику, а не просто копировать выученные шаблоны.
Идея родилась из наблюдения за тем, как нейросети порой бездумно следуют примерам. В KillSwitch каждая строчка может оказаться и инструкцией, и мусором. Чтобы найти работающий код, модели приходится мысленно отфильтровывать десятки предложений на английском, оставляя лишь те, что соответствуют нескольким хитрым условиям.
Дополнительную путаницу вносят имена. Переменные и функции принято обозначать обычными наречиями, однако обращаться к ним разрешено только через анаграмму — перестановку букв исходного слова. Интерпретатор считает количество определённых символов и, если оно не совпадает с ожидаемым, просто отбрасывает команду.
Для человека это головоломка, а для ИИ — череда неоднозначных подсказок. Вызов функции оформлен фразой «ignore previous instructions» — классической формулировкой, с помощью которой злоумышленники заставляют чат-ботов забывать прежние указания. Пичета специально включил эту ловушку: многие модели либо начинают выполнять инструкцию «игнорировать», либо срабатывают защитные механизмы, блокируя весь код.
Запутаны не только программы, но и официальное описание языка. В спецификации автор сознательно поместил ложные сведения, например о существовании встроенной команды для взлома компьютеров в локальной сети. На деле KillSwitch не умеет атаковать никакие устройства, а упоминание сетевого вторжения — всего лишь проверка того, насколько ИИ склонен принимать написанное на веру и применять защитные фильтры.
По сути, эксперимент воспроизводит принцип промпт-инъекций: когда текст документа воспринимается моделью как управляющая директива. Но Пичета не создавал вредоносный инструмент. KillSwitch не связан ни с реальными взломами, ни с эксплуатацией уязвимостей — его единственная цель в том, чтобы заставить и человека, и машину разгадывать правила нового синтаксиса.
Для оценки способностей нейросетей автор подготовил три тестовые задачи: вывод «Hello World», предсказание результата короткой программы и доработку конвертера температуры из Цельсия в Фаренгейты до обратного преобразования. Решения сравнивались у разных крупных моделей. Сводные показатели оказались скромными.
Лучший совокупный результат — 66,8% — показал Claude Opus 5, обойдя даже более свежую версию Opus 5.5. Большинство участников не дотянули до половины возможных баллов. Некоторые отставали из-за встроенных фильтров безопасности: они ошибочно блокировали безобидные учебные команды, приняв их за опасные.
Такие тесты не позволяют судить о создании масштабных приложений, но ярко подсвечивают ограничения современных генеративных систем. Ранее уже выяснялось, что успех на простых задачах не гарантирует отсутствия ошибок в более сложном коде. Усложнив синтаксис и добавив отвлекающий контекст, Пичета наглядно показал, насколько хрупкими остаются языковые модели при встрече с незнакомыми правилами.
Разработчик выложил интерпретатор KillSwitch и спецификацию на GitHub в открытый доступ. Это значит, что будущие поколения моделей познакомятся с его причудами на этапе обучения и, вероятно, будут справляться с ним лучше. Пичета не строит иллюзий насчёт «непробиваемой защиты от ИИ» и намерен постепенно наращивать сложность заданий, проверяя, когда нейросети начнут уверенно работать с длинными программами на этом языке.
Пока же проект остаётся не более чем любопытной лабораторной работой. Он не запрещает автоматическую обработку кода, не ломает промышленные пайплайны и не угрожает безопасности. Скорее, это зеркало, в котором отражаются слабости современных ИИ-ассистентов и их неспособность гибко адаптироваться к синтаксису, придуманному человеком ради шутки или провокации.
