Итак, иногда так бывает, что нужно закрыть весь сайт от индексации, но при этом оставить в индексе только главную страницу.
Причины такого действия я описывать не буду, а вот как это быстро сделать через robots.txt напишу.
Итак, па бам, все просто:
User-agent: *
Disallow: /
Allow: /$
Прописываем в Роботсе вышеуказанную конструкцию и все страницы сайта закрыты от индексации. Главная при этом в индексе.
Итак, иногда так бывает, что нужно закрыть весь сайт от индексации, но при этом оставить в индексе только главную страницу.
Причины такого действия я описывать не буду, а вот как это быстро сделать через robots.txt напишу.
Итак, па бам, все просто:
User-agent: *
Disallow: /
Allow: /$
Прописываем в Роботсе вышеуказанную конструкцию и все страницы сайта закрыты от индексации. Главная при этом в индексе.
Проверить правильно конструкции можно тут.