卓尔博通丨做谷歌SEO需要知道的爬虫抓取知识

抓取是Googlebot访问新的和更新的页面以添加到Google索引的过程，多数情况下，如果你的抓取出现了问题，那么基本上整个SEO就没有结果了，因为前提步骤已经出问题了。

它使用大量的计算机来爬取（或 "抓取"）网络上的数十亿网页。执行任务的程序叫Googlebot（也叫漫游程序或蜘蛛程序）。Googlebot使用算法流程来决定要抓取哪些网站，多久抓取一次，以及从每个网站中抓取多少网页。

Google首先根据之前抓取过程中生成的网站中的网站列表开始抓取，并随着网站所有者提供的网站地图数据的增加而扩大。当Googlebot访问一个网页时，它会搜索该网页上的链接，并将其添加到要抓取的网页列表中。它记录新创建的网站、现有网站的变化和无效链接，并相应地更新Google索引。

在捕捉过程中，谷歌使用新版本的Chrome浏览器来显示网页。在渲染过程中，所有检测到的网页脚本都会被执行。如果您在网站上使用动态生成的内容，请遵循JavaScript SEO的基本页面要求。

谷歌使用两种不同的抓取工具来抓取你的网站：移动版的抓取工具和桌面版的抓取工具。每个捕捉工具类型都模拟用户使用该类型的设备访问网页。

谷歌使用一种抓取工具类型（移动或桌面）作为您网站的主要抓取工具。谷歌在您的网站上抓取的所有页面将使用主要抓取工具抓取。所有新站使用的主要采集工具是手机版的采集工具。

谷歌还将使用其他类型的捕捉工具（移动或桌面）来重新捕捉网站的一些网页。这就是所谓的二次采集，目的是让我们了解其他设备类型如何应用于网站。