Чотири компанії — Google, OpenAI, Anthropic і Microsoft — узгодили спільний стандарт, який дозволить власникам сайтів заборонити збір їхнього контенту для навчання штучного інтелекту. Замість окремих блокувань краулерів кожного AI-розробника, керівники сайтів тепер зможуть встановити одну універсальну директиву.
Як працює новий стандарт
Власники сайтів мають змогу прописати в файлі robots.txt спеціальний агент з назвою `__usage_ai-training`. Це дозволить повністю забороніти збір даних для тренування AI-моделей або організувати вибіркові виключення — наприклад, залишити доступ до пресслужби. Звичайна індексація пошуковими системами при цьому залишиться без змін, оскільки нове правило стосується виключно AI.
Коли сайт використовує цей токен без указання Google-Extended, Google інтерпретуватиме це як заборону на використання його краулера для навчання. Одночасно вебмайстри можуть поєднувати новий універсальний сигнал зі старими індивідуальними настройками типу `Google-Extended`, щоб зберегти можливість розміщення матеріалів у відповідях пошуку та отримувати переходи через Gemini.
Інimplementація та обмеження
Anthropic почала впровадження підтримки стандарту вже зараз. OpenAI планує запустити його найближчими місяцями. Google приєднається на початку 2027 року, а Microsoft — 1 лютого 2027 року.
Читайте нас у Telegram
Підписатися
Однак у цього методу є суттєве обмеження: він працює виключно на майбутнє. Дані, які AI-моделі встигли скопіювати до активації блокування, залишаються в їхній пам’яті.
Ініціатором проекту виступив Кевін Келлі, спеціаліст зі стандартів у Anthropic. На даний момент пропозиція розглядається міжнародною організацією IETF.
