Как избежать блокировки СSS и JavaScript

Автор: Alla Rud 01.08.2016 3 2097 на прочтение 4 минут

Если вы по специальности веб-мастер, то вы вероятно уже сталкивались с таким сообщением ”Googlebot не может обращаться к CSS и файлам JavaScrip на сайте”. Затем в прошлом году Google внес значительные изменения в своих принципах роботы для веб-мастеров, добавив примечание: “ Запрет искать Javascript или CSS файлы в файле robots.txt вашего сайта напрямую вредит алгоритмам визуализации, индексированию содержания, а также может привести к снижению позиции в рейтинге поисковых систем”.

Также к вашему вниманию CSS-фреймворки для адаптивного веб-дизайна подробно.

В связи с этим спешим вам сообщить, что недавно стал доступным новый, бесплатный  инструмент Fetch от Googlebot, в котором есть все, что нужно для  роботы с robots.txt.  Файл robots.txt это файл, который содержится в корневом каталоге сайта, и в котором следует указать какие данные и страницы не следует индексировать. Файл содержит директивы, описывающие доступ к разделам сайта.

Инструмент Fetch достаточно хорош, но пока еще не имеет возможности решить все проблемы связанные с СЕО и robots.txt. Для использования данного инструмента вам необходимо:

  • иметь свой гугл аккаунт;
  • пройти верификацию - (подтвердить, что веб-сайт принадлежит именно вам);
  • robots.txt может тестироваться только с использованием  Googlebot;
  • отключить опцию проверки карты сайта.

Для простоты управления тестовым инструментом - robots.txt

  1. Введите названия сайта и  robots.txt
  2. Определите пользователя или группу, на которой хотите выполнить проверку
  3. В окне проверка ресурсов выберете “Да”
  4. Нажмите кнопку начать тестирование.

robot-testing-tool
Прокручивая XML карту сайта и разделы User Agenе,  вы увидите:

  • CSS и JavaScript ресурсы перечисленные вместе с кодом статуса
  • код статуса может используваться или не используваться
  • ресурсы домена
  • ссылку к актуальному robots.txt файлу

Ниже наведен пример с сайта kuhl.com, который имеет ресурс JavaScript, запрещенную в robots.txt на static.criteo.net .

kuhl-blocking-javascript

Основы robots.txt тестирования и проверки карты сайта

Часто возникает потребность в проверки URL на блокировку в директории robots.txt. Инструмент Fetch делает шаг вперед , проверяя URL в вопрос в отношении любого Агента пользователя, указанного в файле robots.txt .

Например, сайт samsung.com заблокирован в Yandex для сканирования пользователей из США.

samsung-blocking-yandex

Также любая XML карта сайта в robots.txt директории проверяется на доступность для поисковых механизмов.

uber-sitemap

Следует также отметить, что когда вы начинаете искать  robots.txt тест, большинство результатов покажут, что вам следует обновить сайт или сделать его редизайн.

О карте сайта как инструменте повышения эффективности SEO продвижения  в предыдущей статье описано более детально.

Перевод материала с сайта searchenginewatch.com.


Close Screen
Alla Rud
Статей: 547
Оцените статью:


Спасибо за отзыв
Рейтинг: 5 из 5 Голосов: 3