Меня в этой новости зацепило не то, что кто-то кого-то блокирует. Зацепило, что выбор наконец перестал быть выбором из двух зол.
Что произошло
15 сентября Cloudflare объявила новую настройку — Disallow AI Training, то есть «запретить обучение ИИ». Cloudflare — компания, через сеть которой проходит трафик огромного количества сайтов; для владельца сайта она работает примерно как проходная: решает, кого пускать внутрь, а кого нет. Новая настройка говорит роботам одну простую вещь: показывайте мой сайт в поиске, но учить на моих текстах свои модели не надо. Источник — пост в официальном блоге компании от 15 сентября, автор Брайан Беккер.
Звучит скучновато. Но до 15 сентября так было нельзя, и вот это уже интересно.
Почему раньше так было нельзя
Давайте сначала разберёмся, кто вообще ходит по вашему сайту. Робот — это программа, которая обходит страницы и складывает их себе. Роботов много, и цели у них разные. Один собирает страницы для поисковика, чтобы вас находили люди. Другой собирает тексты, чтобы на них потом обучили ИИ-модель.
Проблема в том, что у самых крупных компаний это один и тот же робот. Cloudflare называет такого смешанным и определяет его прямо: один робот, который делает и поиск, и обучение. Отказали ему в одном — отказали во всём сразу.
Получается, у владельца сайта было два положения рубильника. Пустить — и вы в поиске, но на вас учат. Не пустить — на вас не учат, но вас и не находят. Для сайта, который живёт на людях из поиска, второе — это выстрел себе в ногу.
Поэтому никто и не выбирал. По данным Cloudflare, поисковых роботов блокируют меньше 1 % сайтов, а хоть какой-то запрет на обучение включают 17 %. Разница минимум в семнадцать раз — и это, по-моему, лучший ответ на вопрос, чего люди на самом деле хотели, но не могли.
И ещё одна вещь, которую там объяснили лучше, чем это обычно объясняют. Есть файл robots.txt — записка на входе: кому куда можно, кому нельзя. Вот только записка ничего не может. Cloudflare пишет прямым текстом: файл не определяет, кто именно пришёл, не определяет, зачем он пришёл, и не останавливает того, кто на записку плюнул. А сеть может — она видит, кто стучится, зачем, и не пускает тех, кто правила игнорирует. То есть разница между «попросить» и «не пустить». Мы с этим сталкиваемся постоянно, и до сих пор у владельца сайта была только просьба.
Что именно поменялось 15 сентября
Появилась настройка Disallow AI Training. Она публикует запрет в вашем robots.txt, оставляет «ответственных» смешанных роботов ходить по сайту ради поиска и блокирует всех остальных обучающих.
Настройки «блокировать» и «блокировать на страницах с рекламой» теперь применяются и к смешанным роботам тоже. Раньше не применялись — как раз потому, что это задело бы поиск. Теперь, если вы хотите выгнать Applebot, Bingbot и Googlebot совсем, вам надо сказать это прямо, и поиск уйдёт вместе с ними. Обратите внимание: это ровно та кнопка, которую многие нажимали со словами «не хочу, чтобы на мне учились».
И появилось слово «ответственный» — Accountable. Это статус, который Cloudflare выдаёт оператору робота за четыре вещи. Первое: есть способ отказаться от обучения через robots.txt или похожий стандарт. Второе: есть способ отказаться от ИИ-пересказов — пока напрямую у оператора, со следующего года обещают через Cloudflare. Третье: видно на уровне отдельных страниц, какие из них ушли на обучение, и как контент показывался в поиске. Четвёртое: гарантия, что отказ от обучения не испортит обычную поисковую выдачу.
Роботы Apple, Google и Microsoft этим требованиям соответствуют. Amazon, Anthropic, Meta и OpenAI Cloudflare тоже считает ответственными, но по другой причине: они изначально развели поиск и обучение по разным роботам, поэтому у них обучающего можно заблокировать отдельно — и на поиск это не влияет.
А делать вам, скорее всего, ничего не надо: компания пишет, что существующие настройки переезжают сами и в почти всех случаях от владельца сайта не требуется ничего. Но если вы хотите именно «не учить, но показывать» — теперь для этого есть отдельная кнопка, и выбрать надо её.
Цифра, которая мне интереснее всех остальных
В том же посте есть два числа рядом, и они тянут в разные стороны.
Первое: больше половины людей читают ИИ-пересказ прямо в поиске, и такой человек больше чем на 40 % чаще заканчивает поиск, не дойдя до сайта. То есть посещений становится меньше. Это то, на что все и жалуются последний год.
Второе: тот, кто всё-таки пришёл из ИИ-поиска, делает нужное действие в три и больше чем в пять раз чаще, чем пришедший из обычной выдачи. Людей меньше — но они приходят уже почти решившись.
Cloudflare честно пишет, что само по себе это ни хорошо, ни плохо: сайту, который живёт на рекламе, нужен объём, а магазину — покупатели. И вот тут, мне кажется, и спрятан настоящий вопрос, который эта новость задаёт каждому владельцу сайта. Не «пускать или не пускать», а «мне платят за просмотры или за действия». Ответ у всех разный, и от него зависит, какую кнопку нажимать.
Что это меняет для обычного человека
Вы всё чаще получаете ответ прямо в поиске и всё реже открываете сайт, где этот ответ написали. Удобно — правда удобно, я сам так делаю по десять раз в день. Но тот, кто текст написал, за это уже ничего не получает. Долго так не проживёт ни один автор: он либо перестанет писать, либо закроет тексты целиком, и тогда их не будет ни у ИИ, ни у вас.
Настройка Cloudflare — попытка не доводить до второго. Вместо «всё закрыть» у автора появляется средний вариант: находите меня, читайте меня, но не забирайте мой текст на обучение просто так.
Сработает или нет — не знаю. Но прежний выбор «или всё, или ничего» точно работал плохо.
Моё мнение
Я тут по обе стороны забора, и мне это самому смешно.
С одной стороны, у меня есть направления, которые живут на читателе из поиска: новости, справочная информация, цены. Мне надо, чтобы нас находили. С другой — я занимаюсь ИИ-агентами, которые сами ходят по сайтам и собирают информацию. То есть я одновременно и тот, кто ставит забор, и тот, кто в него упирается.
И мне нравится, что Cloudflare сделала не «кнопку против ИИ», а кнопку «не учите на мне, но показывайте меня». Это разные вещи, и их очень долго путали — в том числе я сам, когда объяснял это на пальцах.
Что смущает. Статус «ответственный» раздаёт одна компания. Сегодня она большая, ей доверяют, критерии выглядят разумно. Но это всё равно частная проходная, которая решает, кто хороший, а кто нет. И второе: всё это работает только с теми, кто представляется. Робот, который ходит под видом обычного посетителя, никаких ваших настроек не читает и читать не собирается.
Я, кстати, увидел заголовок, подумал «ну, опять кнопка заблокировать ИИ» и чуть не пролистал мимо. Хорошо, что открыл: там по смыслу ровно обратное.
Кому это пока не нужно
Если у вас сайт-визитка на пять страниц без текстов — вам просто нечего защищать, и трогать ничего не надо.
Если трафик у вас из соцсетей, рассылки и сарафанного радио, а из поиска приходит пара человек в месяц, то эта новость для вас чисто теоретическая.
И если вы не на Cloudflare — напрямую вам это недоступно, речь про настройки конкретной сети. Хотя как сигнал читать стоит: когда такую развилку признаёт компания такого размера, дальше её начинают повторять остальные.
Что дальше
Я для себя решил не дёргаться. Никаких резких движений с настройками, пока не посмотрю на собственные цифры: сколько людей приходит из поиска сейчас и что изменится через месяц. Менять то, что кормит, из-за новости — плохая идея, даже когда новость хорошая.
А вопрос, на который у меня ответа нет, такой: если весь интернет разом нажмёт «не учить», на чём будут учиться модели, которыми мы все каждый день пользуемся? Посмотрим.
