Google, Microsoft и OpenAI договорились о едином запрете на обучение ИИ

Владельцы сайтов давно жаловались: чтобы запретить нейросетям использовать их тексты и картинки для обучения, приходится отдельно договариваться с каждой компанией. Теперь Google, Microsoft и OpenAI обещают понимать одну общую команду в файле robots.txt — служебном документе, который сайты и так используют для общения с поисковыми роботами.

Речь идёт о специальной строке, которую предложил сотрудник Anthropic Кевин Келли. Она оформлена как черновик для рабочей группы IETF по настройкам ИИ — то есть это пока не официальный стандарт, а предложение. Сайт добавляет в свой файл правило с меткой __usage_ai-training и указывает, что разрешено, а что запрещено. Старые правила и универсальные маски при этом не учитываются, а сама метка не запрещает роботам заходить на страницы — она касается только обучения моделей.

Самое важное: пока ни одна из компаний такую строку не поддерживает, и каждая собирается трактовать её по-своему. Google обещает поддержку в начале 2027 года и будет считать общий запрет равносильным блокировке Google-Extended — это затронет и обучение Gemini, и использование материалов в ответах Gemini и Vertex AI. Microsoft разделит два вопроса: обучение и «заземление» (когда модель опирается на страницы при ответе). У неё появится отдельная настройка на уровне страницы — можно разрешить использование в Copilot и Bing, но запретить в сервисах, которые Microsoft предоставляет другим компаниям. Microsoft единственная меняет уже работающие механизмы: новые предпочтения начнут действовать с 1 февраля 2027 года, а теги NoArchive и NoCache перестанут считаться сигналом против обучения и заземления после 1 марта 2027-го. OpenAI говорит, что поддержит строку в ближайшие месяцы, но не уточняет, как поступит при конфликте с правилами для своего робота GPTBot. Anthropic предупреждает, что внедрение по всем сервисам займёт время.

Что это значит

Для владельцев сайтов это шаг вперёд: вместо десятка отдельных запретов — одна понятная строка. Но одинаковый текст у разных компаний будет означать разное. У Google отказ от обучения заодно убирает сайт из ответов Gemini — то есть защита контента оборачивается потерей видимости в ИИ. У Microsoft эти два решения можно разделить. Поэтому прежде чем полагаться на новую метку, стоит разобраться в версии каждого провайдера. А тем, кто сейчас использует NoArchive или NoCache, нужно поторопиться: у Microsoft есть чёткие сроки, и временную настройку в Bing Webmaster Tools можно задать с 15 декабря. Подробности приводит обзор AI This Week.

Тема того, как сайты и нейросети договариваются о контенте, будет развиваться и дальше — стоит следить за тем, как компании приведут свои правила к общему виду. Узнайте больше о том, как это устроено и что это значит для обычных пользователей.

📌 Чтобы не пропустить новые публикации, подписывайтесь там, где вам удобнее: Дзен или MAX.

💛 Если статья оказалась полезной, поддержите автора донатом.

Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.