Генная инженерия для нейросетей: как точечная правка весов повысила математические способности модели

Специалисты Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института предложили необычный способ улучшать нейросети — напрямую редактировать их веса, то есть числовые параметры, определяющие поведение модели. Подход получил название «Программирование в пространстве весов» и в перспективе может ускорить разработку ИИ, хотя пока остаётся экспериментальным. В одном из опытов исследователи привлекли большую языковую модель GPT-6 Astra от OpenAI, чтобы та усовершенствовала математические навыки компактной открытой модели Qwen3.5-0.8B.

Astra проанализировала целевую сеть и изменила примерно 0,016 % от общего числа её весов. Результат в бенчмарке MATH-500 подскочил с 7,9 до 48,1 %, причём основной прирост дало устранение склонности Qwen к повторяющимся логическим рассуждениям. «Это как генная инженерия для нейронных сетей.

Даже круче, чем дистилляция!» — охарактеризовал технологию ИИ-исследователь Юйчэн Цзинь. Действительно, вместо длительного дообучения или повторного обучения на массивах данных модель-редактор точечно вмешивается в «геном» другой сети. Если метод удастся сделать достаточно надёжным, разработчики получат инструмент для быстрой корректировки работы нейросетей без традиционных затрат времени и вычислительных ресурсов.

Правда, точные цифры экономии пока не установлены, а сами эксперименты не доказали, что прямое редактирование весов стабильно превосходит классическое обучение по скорости, стоимости или эффективности. Любопытно, что в этих опытах модель-редактор действовала автономно: она изучала поведение целевой сети и сама определяла, какие именно веса нужно изменить. Стандартный процесс обучения на основе градиентов при этом не использовался.

Теоретически такой подход открывает дорогу к тому, что модели смогут модифицировать другие модели или со временем даже самих себя. Однако универсальным новый метод назвать нельзя. Когда ту же процедуру применили к модели Gemma 3 270M, у которой не было выраженной проблемы с повторами, правки Astra не улучшили её математические способности.

В другом эксперименте без предоставления дополнительных данных, например о механизмах внимания, модель не смогла надёжно различать разные типы поведения. В ИИ-сообществе к методике отнеслись по-разному. Часть специалистов увидела в ней удобный инструмент для оперативного обслуживания моделей и экономии ресурсов.

Другие, напротив, забили тревогу. Генеральный директор организации Pause AI Максим Фурн, выступающей за приостановку разработки передовых систем до доказательства их безопасности, назвал направление исследований безрассудным. «Пусть это будет просто шумиха.

Ведь если это правда, то прогресс может ускориться колоссально — а это очень плохие новости, приближающие нас к глобальной катастрофе», — заявил он. Пока прямое редактирование весов остаётся лабораторной техникой с неоднозначными перспективами. Но сам факт, что одна нейросеть способна улучшить другую, изменив ничтожную долю её параметров, заставляет иначе взглянуть на возможные пути развития искусственного интеллекта.