Настраиваем файл robots txt (урок 22/24)

• Файл robots.txt указывает поисковым роботам, куда можно ходить и куда нельзя.  

• Он также содержит информацию о хосте сайта и карте сайта.  

• В конструкторе сайта переходим в меню настроек.  

• Добавляем идентификатор Яндекс Метрики и Google Analytics.  

• Настраиваем перенаправление домена с www на без www.  

• Включаем робота и вставляем подготовленный код.  

• Директива user-agent: доступна для всех поисковых роботов.  

• ДирективаDisallow: доступен весь сайт.  

• Директива SiteMap: указывает на карту сайта.  

• Для доменов на кириллице используется Punycode.  

• Переходим на сайт WebNames и выбираем пункт Whois Service.  

• Вводим домен и получаем Punycode.  

• Вставляем Punycode в файл robots.txt.  

• Проверяем, что файл robots.txt доступен на сайте.  

• Проверяем перенаправление домена с www на без www.  

• Вводим домен в адресной строке браузера и проверяем перенаправление.  

• Если видео было полезным, подписываемся и ставим лайк.