在上一篇文章《搜索引擎工作的基本原理——蜘蛛爬行》中，我们详细介绍了蜘蛛是如何爬行的。现在边肖想谈谈蜘蛛爬行。

理论上，蜘蛛可以爬遍整个互联网的所有页面，但实际上，蜘蛛做不到这一点，也不需要这么做，因为每天出现在整个互联网上的新页面数以万亿计，而且还有大量的垃圾内容。这里的垃圾是指垃圾网站上出现的大量无关内容，比如网上相亲赌博六合彩的信息，可以容忍一两次。如果次数多了，会对搜索引擎的用户体验造成很大的伤害。

既然我们知道蜘蛛不能抓取所有页面，我们就应该学会取悦蜘蛛，以便包含更多的页面。蜘蛛的任务是尽可能多地抓取重要的页面。我们在这方面很满意。任何方便蜘蛛爬行抓取的行为都是好行为。

蜘蛛爬行一般喜欢以下行为:

蜘蛛最喜欢的行为:网站和页面的权重越大越好，这类网站在蜘蛛爬行的过程中首先要考虑，因为在蜘蛛看来，质量高、建站时间长的网站权重会更高。高权重的网站甚至可以达到二次录制的效果。

蜘蛛最喜欢的行为2:页面更新频率高。如果不经常更新页面，蜘蛛也不用经常过来抓取页面内容。只有当我们频繁更新时，蜘蛛才会更频繁地访问我们网站的页面内容。所以最好在维护期间每天更新网站，不仅是原始内容，还可以转载一些时效性强的信息。

蜘蛛最喜欢的行为3:优质的内外链构造，可以增加蜘蛛的爬行深度。要被蜘蛛抓取，必须有导入链接进入页面，否则蜘蛛根本无法抓取页面，更别说抓取并包含了。这里是优质内外链重要性的体现，也是“内容为王，外链在后”这句话的依据。蜘蛛爬行时，会沿着链接爬行。如果有高质量的外部链接，蜘蛛抓取的深度会加深，很可能会多爬几层，这样我们的页面就会被更多的蜘蛛抓取。

蜘蛛最喜欢的行为4:点击距离首页。这里离首页的点击距离一般是因为首页的权重最高，蜘蛛爬上首页的次数最多。每个链接被称为点击。离主页点击距离越近，页面权重越高，蜘蛛喜欢这些短距离、高权重的页面。页面权重也可以通过URL结构直观的反映出来，短URL结构和浅层次代表的页面权重比较高。

通过了解搜索引擎蜘蛛爬行的基本原理，我们应该知道搜索引擎蜘蛛喜欢什么样的网站，这是我们SEO人员的目标。