# ЗАПРЕТЫ ДЛЯ СПЕЦИФИЧНЫХ БОТОВ
User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# ПРАВИЛА ДЛЯ ВСЕХ ОСТАЛЬНЫХ ПОИСКОВЫХ РОБОТОВ
User-agent: *
Allow: /
Allow: /llms.txt
Disallow: /404.html
Sitemap: https://w4ve.ru/sitemap.xml
Host: https://w4ve.ru