Анализ robots.txt и sitemap.xml

Проверяем доступность, корректность и структуру основных файлов для SEO и индексации.