robots.txt

Как закрыть через robots.txt все страницы сайта кроме главной

тэги: 

Как закрыть через robots.txt все страницы сайта кроме главной

Итак, иногда так бывает, что нужно закрыть весь сайт от индексации, но при этом оставить в индексе только главную страницу.

Причины такого действия я описывать не буду, а вот как это быстро сделать через robots.txt напишу.

Итак, па бам, все просто:

User-agent: *
Disallow: /
Allow: /$

Прописываем в Роботсе вышеуказанную конструкцию и все страницы сайта закрыты от индексации. Главная при этом в индексе.


Дубли страниц в Drupal. Как убрать через robots.txt

Дубли страниц, Drupal, robots.txt

Все друполоводы сталкиваются с проблемой дублей страниц. Увы, но и как другие готовые движки, Друпал тоже не идеален и требует доводки.

Дубли страниц в Друпал, как их убрать

Первое что я сделал, это поставил модуль Global Redirect (Глобал Редирект). Но увы, он не убирает все дубли! Если вы посмотрите на свои сайты, там есть много страниц вида:

1) taxonomy/term/91/0