robots.txt文件，是百度等搜索引擎，按照robots协议，在尝试收录网站内容时，首先读取的文件。可以通过这个文件，来告诉搜索引擎，哪些页面可以被收录。
友好速搭创建的网站，默认所有页面，对所有搜索引擎开放。
robots.txt文件默认内容是：

User-agent: *
Allow: /

在允许搜索引擎时，可以自定义robots.txt的内容。
例如，屏蔽指定的搜索引擎：

User-agent: Badbot
Allow: /

部分页面屏蔽搜索引擎：

User-agent: *
Disallow: /pages/
Disallow: /admin/

当禁止搜索引擎搜录后，robots.txt内容无法修改，统一内容如下：

User-agent: *
Disallow: /