OpenAI, Google и Microsoft договорились о едином запрете на обучение ИИ

Три крупнейшие технологические компании объявили, что будут уважать единую метку в файле robots.txt, с помощью которой любой сайт сможет одним движением запретить использовать свой контент для обучения нейросетей. Раньше владельцам сайтов приходилось отдельно прописывать правила для каждого разработчика ИИ — теперь достаточно одной строки.

Как это работает

Файл robots.txt — это небольшой текстовый документ в корне сайта, который сообщает автоматическим программам (ботам), какие страницы им можно просматривать. До сих пор тот, кто не хотел отдавать свой контент на обучение ИИ, должен был вести отдельные правила для каждого разработчика. Теперь достаточно указать в строке User-Agent специальное имя __usage_ai-training — и все участвующие компании прочитают это как единый отказ.

Метка появилась из черновика, поданного в организацию IETF, которая разрабатывает технические стандарты интернета. Под ним подписался Кевин Келли из Anthropic. OpenAI заявила, что намерена применять метку в ближайшие месяцы, Google планирует сделать это в начале 2027 года, а Microsoft Bing уже назвала конкретную дату — 1 февраля 2027 года. Сайты смогут публиковать свои предпочтения до 1 марта 2027 года.

Что остаётся по-старому

Новая метка не отменяет прежние настройки. Например, у OpenAI по-прежнему действуют отдельные правила для GPTBot, который собирает данные для обучения моделей, и для OAI-SearchBot, который отвечает за то, какие сайты попадают в поиск ChatGPT. Это значит, что сайт может быть виден в поиске чат-бота и при этом закрыт для обучения. Google, в свою очередь, будет трактовать новую метку так же, как блокировку Google-Extended, если в файле нет явного упоминания этой системы.

Отдельно оговаривается, что универсальный символ User-Agent: *, которым многие сайты обращаются ко всем ботам сразу, не считается выражением позиции по обучению ИИ. Если в файле нет строки с новой меткой, это означает, что владелец сайта ничего не заявил.

Что это значит

Для обычного владельца сайта, блога или небольшого медиа это упрощает жизнь: больше не нужно разбираться в десятках разных ботов и вести для каждого отдельный список правил. Для аудитории в целом это сигнал, что крупные игроки рынка ИИ постепенно переводят вопрос об использовании чужого контента из юридической плоскости в техническую — в формат, понятный любому администратору сайта. Подробности приводит издание Okdiario.

Если вы ведёте собственный сайт или просто интересуетесь тем, как защитить свои тексты и фотографии от использования нейросетями, узнайте больше — мы регулярно разбираем такие темы простым языком.

📌 Чтобы не пропустить новые публикации, подписывайтесь там, где вам удобнее: Дзен или MAX.

💛 Если статья оказалась полезной, поддержите автора донатом.

Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.