Как закрыть через robots.txt все страницы сайта кроме главной

Как закрыть через robots.txt все страницы сайта кроме главной

Итак, иногда так бывает, что нужно закрыть весь сайт от индексации, но при этом оставить в индексе только главную страницу.

Причины такого действия я описывать не буду, а вот как это быстро сделать через robots.txt напишу.


Итак, па бам, все просто:

User-agent: *
Disallow: /
Allow: /$

Прописываем в Роботсе вышеуказанную конструкцию и все страницы сайта закрыты от индексации. Главная при этом в индексе.

Проверить правильно конструкции можно тут.

тэги: