Как избежать блокировки СSS и JavaScript

Если вы по специальности веб-мастер, то вы вероятно уже сталкивались с таким сообщением ”Googlebot не может обращаться к CSS и файлам JavaScrip на сайте”. Затем в прошлом году Google внес значительные изменения в своих принципах роботы для веб-мастеров, добавив примечание: “ Запрет искать Javascript или CSS файлы в файле robots.txt вашего сайта напрямую вредит алгоритмам визуализации, индексированию содержания, а также может привести к снижению позиции в рейтинге поисковых систем”.

Также к вашему вниманию CSS-фреймворки для адаптивного веб-дизайна подробно.

В связи с этим спешим вам сообщить, что недавно стал доступным новый, бесплатный  инструмент Fetch от Googlebot, в котором есть все, что нужно для  роботы с robots.txt.  Файл robots.txt это файл, который содержится в корневом каталоге сайта, и в котором следует указать какие данные и страницы не следует индексировать. Файл содержит директивы, описывающие доступ к разделам сайта.

Инструмент Fetch достаточно хорош, но пока еще не имеет возможности решить все проблемы связанные с СЕО и robots.txt. Для использования данного инструмента вам необходимо:

• иметь свой гугл аккаунт;
• пройти верификацию - (подтвердить, что веб-сайт принадлежит именно вам);
• robots.txt может тестироваться только с использованием  Googlebot;
• отключить опцию проверки карты сайта.

Для простоты управления тестовым инструментом - robots.txt

1. Введите названия сайта и  robots.txt
2. Определите пользователя или группу, на которой хотите выполнить проверку
3. В окне проверка ресурсов выберете “Да”
4. Нажмите кнопку начать тестирование.

Прокручивая XML карту сайта и разделы User Agenе,  вы увидите:

• CSS и JavaScript ресурсы перечисленные вместе с кодом статуса
• код статуса может используваться или не используваться
• ресурсы домена
• ссылку к актуальному robots.txt файлу

Ниже наведен пример с сайта kuhl.com, который имеет ресурс JavaScript, запрещенную в robots.txt на static.criteo.net .

Основы robots.txt тестирования и проверки карты сайта

Часто возникает потребность в проверки URL на блокировку в директории robots.txt. Инструмент Fetch делает шаг вперед , проверяя URL в вопрос в отношении любого Агента пользователя, указанного в файле robots.txt .

Например, сайт samsung.com заблокирован в Yandex для сканирования пользователей из США.

Также любая XML карта сайта в robots.txt директории проверяется на доступность для поисковых механизмов.

Следует также отметить, что когда вы начинаете искать  robots.txt тест, большинство результатов покажут, что вам следует обновить сайт или сделать его редизайн.

О карте сайта как инструменте повышения эффективности SEO продвижения  в предыдущей статье описано более детально.

Перевод материала с сайта searchenginewatch.com.