OpenAI разрешила сайтам закрывать контент от индексации ботом GPT
Компания OpenAI позволила вебмастерам запрещать сканеру GPTBot доступ к сканированию сайта в файле Robots.txt или заблокировать его IP-адрес.
Запретить GPTBot:
User-agent: GPTBot
Disallow: /
Настроить частичный доступ для GPTBot:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
Вместе с этим, компания призывает не противодействовать техническому прогрессу и указывает на то, что веб-страницы, сканируемые с помощью пользовательского агента GPTBot, в обязательном порядке фильтруются для удаления источников, которые требуют доступа к авторскому контенту, собирают личные данные или содержат информацию, нарушающую политику OpenAI. Поэтому разрешив сканеру GPTBot доступ к сайту, вебмастера могут «помочь моделям ИИ стать более точными и улучшить их общие возможности и безопасность».
Напомним, в апреле Open AI добавила возможность отключения истории чатов в ChatGPT. Диалоги с ботом, которые ведутся при отключении истории чата, не будут использоваться для обучения и улучшения моделей искусственного интеллекта и не отображаются на боковой панели инструмента.
Отметим также, что в Европе готовится новый законопроект, согласно которому все компании, разрабатывающие генеративные системы на основе ИИ, будут обязаны раскрывать информацию о материалах, защищенных авторским правом, которые были использованы для обучения моделей.
