Как Google сканирует мой сайт

Как запретить Google сканировать сайт полностью или частично?
Как с помощью файла robots.txt управлять доступом к моему сайта?
Как создать файл robots.txt?
Где должен находиться мой файл robots.txt?
Как заблокировать робот Google?

и многое другое

MORE...