首先我们要明白，无论网站有多大，搜索引擎索引排名出来的都是一个网页而已，而不是针对一个网站的排名。只是通常情况下一个网站的首页权重很高，所以首页的排名就容易排上去，而我们是进入首页后，根据网站内部的相关链接而实现浏览的。进入首页后就已经不再是搜索引擎的工作范围了，他已经引导你去到一个地方，剩下的就由你自己决定了。
一个有搜索结果的网站，他的轨迹路程就是搜索引擎的蜘蛛进行爬行和抓取，然后建立索引，然后进行页面去重，关键词分词、信息记录等等，然后根据分词再进行关键词排名。一切好似都十分顺利进行，但事实真的就是如此简单吗。好似我们已经忽略了一个事实，那些无数淘汰的网站呢？好似忽略了一个步骤一样。
其实，当用户在搜索引擎检索信息时，搜索引擎首先派蜘蛛从索引区出发，在互联网中抓取网页，然后放到临时库中，在临时库中的网站若还有其他链接，蜘蛛会顺着链接进入下一个页面，再把这个页面抓取放到临时库中，这样不断的循环。当然很多页面都有重复内容，蜘蛛不可能无限制的重复抓取，这样是很消耗的效能的。去重就是对网页的一个很大的处理机制，即便是两个相同的内容，不同的链接也要去除掉一个链接，并打入小黑屋。临时库中审批一部分不行的或者重复的网页丢弃后，剩下的建立索引，进一步筛分，通过分类、整理、排序，把优质的网页派在前列供用户浏览。
