Команда, которая стоит за Claude Code, удаляет большую часть его системного промпта каждый раз, когда выходит новая модель. Считаю, это самое полезное, что они сказали в этом году.
Борис Черни, который руководит Claude Code, рассказал на сцене, что для Opus 5 они сократили системный промпт больше чем на 80%. Для каждой новой модели они проводят аблейшн: удаляют весь промпт, затем возвращают его по одной строке и оставляют только то, что меняет поведение.
Харнесс никогда не был продуктом. Его надо заново выводить для каждой модели.
На прошлой неделе я попробовал автоматизировать эту работу в YAGNI, где агентные команды берут инженерные тикеты и доводят их до смерженного пул-реквеста. План был такой: пусть самосовершенствующийся цикл (Harness²) предлагает правки в скилл и промпты нашего агента, мы гоняем их на реальных тикетах и оставляем то, что выигрывает.
Я остановил эксперимент после первых smoke-прогонов. Каждый найденный сбой (болтливая преамбула модели, которая стала сообщением коммита, 18 минут поиска браузера, которого не было в песочнице, проверка, не уложившаяся в своё время) оказался багом окружения или кода, и нашёл я его, читая логи. Ни один из них не был правкой промпта, которую мог бы найти поиск. А один полный прогон стоит $2–5 и около 30 минут, поэтому, чтобы отличить реальное улучшение от шума, нужны десятки прогонов на каждый вариант.
Теперь делаю иначе. Сохраняю транскрипт каждого прогона, обрезаю его на ходе, где всё пошло не так, и переигрываю оттуда: с текущим скиллом и с предложенной правкой. Центы и минуты вместо долларов и получаса, и каждая правка проверяется именно в том решении, которое она должна менять.
Мой вывод: прежде чем отдавать модели переписывание харнесса, прочитайте логи. Большая часть того, что выглядит как проблема промпта, ею не является.
И если ваш CLAUDE.md разрастается с прошлого года, скорее всего, в нём зашиты фиксы для модели, которой вы уже не пользуетесь.