Проблемы с пауками, как их отвадить от сайта ..

http://www.seroundtable.com/archives/002863.html

а в самом деле, как пишут в интервью ..почему -бы не поменять стандарт файла robots.txt ? почему -бы не вписывать туда нужных нам поисковиков, а не как сейчас, когда кто не попадя лезет к тебе и качает мегатоннами трафф ..между прочим оплачиваемый нами
Сидеть каждый раз и думать какие папки и от кого закрывать ? по моему это шиворот-навыворот получается

MORE...

:) угумс, сегодня только закрыл все "psbot" - повадился качать картинки тоннами, понимаеш.