就搜索引擎而言，蜘蛛黑洞是指网站以极低的成本创建了很多参数过多、内容相同但具体参数不同的动态URL，就像一个困住蜘蛛的无限循环“黑洞”，Baiduspider浪费大量资源抓取无效网页。
比如很多网站都有选择功能，通过选择功能出现的网页往往会被搜索引擎抓取，很大一部分搜索价值很低，比如“租房，价格在500-1000之间”。首先网站上基本没有相关资源，其次网站内用户和搜索引擎用户都没有这个搜索习惯。这种网页被很多搜索引擎抓取，只能占用网站宝贵的抓取配额。那么如何避免这种情况呢？
关于一般选择结果页面，网站选择使用静态链接。
这是相同条件选择结果页面。当用户选择不同的排序条件时，会生成不同参数的动态链接，即使是相同的排序条件，生成的参数也都不一样。
就团购网而言，搜索引擎抓取选中的结果页面就够了，而各种带参数的结果排序页面都是通过robots规则拒绝提供给搜索引擎的。
robots.txt的文件使用中有这样一条规则:Disallow:/* *，即停止搜索引擎访问网站中的所有动态页面。这样网站优先给Baiduspider显示高质量页面，屏蔽低质量页面，给Baiduspider提供了更友好的网站结构，避免了黑洞的形成。
-日常感知:
胜利不是靠体力而是靠智力，成功不是靠奇迹而是靠轨迹。成功不在于你是否拿到好牌，而在于你能否把不好的牌打好。人生最重要的是知道自己要去哪里！
上海森启扬网络科技有限公司成立于2004年1月9日，注册地址为上海市嘉定区胡艺公路1185号1号楼1层J5782室。其经营范围包括一般项目:网络技术服务；服务、技术开发、技术咨询、技术交流、技术转让和技术推广；计算机系统服务；信息系统集成服务；信息系统运行和维护服务；云计算技术服务；大数据服务；互联网数据服务；软件开发；和网络信息安全软件开发；电脑和办公设备维护；计算机软硬件及辅助设备批发；设备的网络销售；信息技术服务
