Cтарый, добрый XENU

дергает урлы с сайта
скачать http://home.snafu.de/tilman/XENU.ZIP

и не забывайте как туда впихивать урл :
Неправильный:
http://www.host.com/user

а впрочем инструкция тут http://members.chello.nl/f.visser3/xenu/

Правильный:
http://www.host.com/user/

MORE...