搜索引擎主动访问互联网上的网页，并通过一个程序robot获取网页信息。
你可以在你的网站中创建一个纯文本文件robot.txt，在这个文件中声明你不希望被机器人访问的网站部分。这样，网站的部分或全部内容就无法被搜索引擎输入。也许，搜索引擎只能输入指定的内容。
Robots.txt是一个ASCII编码的文本文件，存储在网站的根目录下。它一般会告诉网络搜索引擎的步行者，这个网站中哪些内容是搜索引擎的步行者无法获得的，哪些是可以获得的。由于某些系统中的URL区分大小写，robots.txt的文件名应该总是小写。Robots.txt应该放在网站的根目录下。如果您想要定义搜索引擎的导航器在访问子目录时的行为，您可以将定制的设置合并到根目录中的robots.txt中，也许可以使用robots元数据。
Robots.txt协议不是标准，而是约定，所以不能保证网站的私密性。注意Robots.txt是用字符串比较来确认是否获取一个URL，所以目录末尾是否有斜杠“/”是不同的URL，不能使用类似“Disallow:*”这样的通配符。gif”。
Robots是网站与爬虫之间的协议，以简单直接的txt格式文本方式告知相应爬虫所允许的权限，也就是说robots.txt是搜索引擎中访问网站时首先被查看的文件。上海牛聚微网科技当一个搜索蜘蛛访问一个站点时，会先检查该站点的根目录下是否存在robots.txt。如果存在，搜索机器人会根据文件内容确认访问规模；如果该文件不存在，所有搜索蜘蛛将能够访问网站上所有不是由密码维护的页面。
Robots.txt是一个协议，是搜索引擎访问网站时首先查看的文件。它的存在意图是告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取。
当蜘蛛访问一个站点时，它会首先检查该站点的根目录中是否存在robots.txt。如果存在，spider会根据文件内容确认访问规模；如果这个文件不存在，所有蜘蛛将能够访问网站上所有不是由密码维护的页面。
用户代理是用来描述搜索引擎机器人的名称。在robot.txt文件中，如果有多个用户代理记录表明多个机器人将受到robots.txt的限制，则该文件必须至少有一个用户代理记录。如果该项的值设置为*，则对任何机器人都有效。在robots.txt文件中，只能有一个这样的记录User-agent:*。
Disallow指令指定不建议输入的文件和目录。
Disallow的值可以是好的路径，也可以是路径的非空前缀，具有Disallow item值的初始URL不会被robot访问。
Allow指令指定要输入的文件和目录。
Allow值用来描述你要访问的一组URL，它的值也可以是完整的路由或者路由的前缀。允许机器人访问具有允许项目值的初始URL。
-日常感知:
世界上最糟糕的感觉是不得不怀疑你以前相信的东西。我明白了，即使我尽力去挽留，该离开的还是会离开。我的激情终于燃烧了我自己。
上海牛聚微网络科技有限公司的经营范围包括一般项目:网络技术服务；软件开发；信息服务；企业管理咨询；信息系统运行和维护服务；信息技术咨询服务；大数据服务；物联网技术研发；人工公共服务平台的技术咨询服务；数据处理服务；计算机系统服务；动漫游戏开发；数字文化创意内容应用服务；规划服务；物联网技术服务；社会和经济咨询服务；营销策划；组织文化艺术交流活动；品牌管理；专业设计服务；供应链管理服务；人工硬件销售；机器人的工业安装和维护；智能机器人销售；智能机器人的研究与开发；以及工程研究和实验发展；国内贸易代理；医疗防护产品零售；互联网销售。
