Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses.

此页是<The Web Robots Pages>的介绍页面，并非官方站点，我们收集于网络只为广大网民快速查询提供帮助。
如涉及内容、版权等问题，请在30日内联系，我们将在第一时间删除内容！点此纠错或删除此信息

网址名称：	The Web Robots Pages
网址栏目：	网址简介 网址链接
网址链接：	www.robotstxt.org
收录查询：	[百度收录] [360收录] [搜狗收录] [必应收录]
网页版本：	手机版 电脑版
本页链接：	http://wangiwdmttx65.dongfangxinxi.net/