Назначение, синтаксис и настройка файла robots.txt
robots.txt - служебный файл в котором прописываются правила выполнения сканирования файлов сайта различными роботами. Корректная настройка влияет на индексацию сайта и есть неотъемлемой частью хорошей оптимизации. Главная задача файла - указать рекомендации касательно ....
