抓取
抓取是 Googlebot 发现新的和已更新的网页的过程,这些网页将被添加到 Google 索引中。
我们使用大量的计算机来获取(或"抓取")数十亿网页。 承担获取任务的程序叫 Googlebot(也称为漫游器 (robot)、bot 或 spider)。 Googlebot 使用算法流程: 计算机程序会确定要抓取的网站、抓取频率以及从每个网站中获取的网页数量。
Google 抓取过程的起始点是一个网页网址列表,它是在之前的抓取过程中生成的,并使用网站管理员提供的 Sitemap 数据进行了扩充。 Googlebot 在访问这些网站时,会检测每个网页上的链接并将它们添加到要抓取网页的列表中。 新出现的网站、现有网站的更改和无效链接将被记录并用于更新 Google 索引。
Google 不接受为提高网站抓取频率而支付的费用。我们会将搜索业务和以盈利为目的的 AdWords 服务严格分开。