Googlebot的工作原理：

当挂有Google AdSense广告的网页被访问後，Googlebot爬虫就会来访。
首次访问：抓取网页进行分析（可能是关键字统计），确定此网页的大致领域，并确定匹配广告类型。
此後用户再访问该网页时，就会有看到匹配的广告。
後续访问：检查网页变化，修正广告投放。

对Googlebot爬虫进行控制：

Googlebot爬虫遵循robots.txt规范。

1、邀请Googlebot来访
如果你在在robots.txt中限制了部分爬虫，那么你可能需要在robots.txt中增加下述内容：
User-agent: Googlebot Disallow: </pre>

2、禁止Googlebot访问
如果你不做Google AdSense广告，可以这样封锁Googlebot爬虫：
User-agent: Googlebot Disallow: / </pre>
如果你仅仅不希望Googlebot爬行某些目录，则可以这样：
User-agent: Googlebot Disallow: /somedir/ </pre>