DendyMaster.ru форум - как запретить индексацию сайта в htaccess

Ваш сайт проиндексирован под www или non-www доменом
Проблемой может быть то, что сайт заблокирован для индексации, если он доступен токмо под одним из этих доменов. Это может образовывать проблемы, потому что Google может почитать www- и non-www версии сайта что разные страницы, что может воспламенить дублирование контента и негативно воздействовать на его индексацию.
Если ваш сайт доступен исключительно под www или non-www доменом, вам нужно постановить эту проблему. Существует несколько способов сладить с этим:
Добавьте 301-ое перенаправление с одного домена на другой. Например, если ваш сайт доступен всего-навсего под [Только зарегистрированные пользователи могут видеть ссылки. Регистрация!], добавьте перенаправление с non-www на www домен: RedirectPermanent / [Только зарегистрированные пользователи могут видеть ссылки. Регистрация!].
Используйте мета-тег в секции <head> в каждой странице вашего сайта для указания предпочтительной версии домена: <link rel="canonical" href="https://www.example.com/">.
Настройте ваш файл robotstxt, чтобы разрешить индексацию обоих версий домена. Добавьте следующие строки в ваш файл robotstxt:
User-agent: *
Allow: /
Добавьте оба домена (www и non-www) в файл sitemap.xml, чтобы обеспечить Google возможность видать обе версии вашего сайта и индексировать их соответствующим образом.
Следуйте этим решениям, чтобы обогнуть проблемы с индексацией вашего сайта, связанные с использованием всего-навсего www или non-www доменом. Проверьте настройки вашего хостинга и используемого вами сайта хостинга, чтобы убедиться, что они позволяют индексировать оба домена. Если наворачивать ошибки, связанные с индексацией, используйте инструменты Google для веб-мастеров, дабы их разыскать и починить. [Только зарегистрированные пользователи могут видеть ссылки. Регистрация!]

=kiss=