Как закрыть сайт от индексации

Как закрыть сайт от индексации

Как закрыть сайт или страницу от индексации? Очень просто, достаточно создать в корне сайта текстовый файл robots.txt

и прописать в нём следующии  строки.


Закрыть сайт от всех поисковых систем.

User-agent: *

Disallow: /


Закрыть сайт от конкретного от поискового робота

User-agent: slurp

Disallow: /


Список поисковых роботов.

Yandex — основной робот-индексатор Яндекса.

Googlebot — основной робот-индексатор от Google.

Slurp — поисковый робот от Yahoo!.

MSNBot — поисковый робот от MSN (поисковая система Bing от Майкрософт).

SputnikBot — имя робота российского поисковика Спутник от Ростелекома.




Закрыть страницу от всех поисковых систем.

<meta name="robots" content="noindex, nofollow"/>

Альтернатива

<meta name="robots" content="none"/>


Закрыть страницу от конкретного от поискового робота

<meta name="googlebot" content="noindex, nofollow"/>

<meta name="yandex" content="none"/>


Оставьте свой номер и мы Вам перезвоним
Оставить заявку