友好速搭robots.txt设置

友好速搭

腾讯云建站服务商
腾讯云建站服务商
相关设置
网站设置 域名设置 收款方式 运费模板 社交授权 网站通知 管理员

robots.txt内容

robots.txt文件,是百度等搜索引擎,按照robots协议,在尝试收录网站内容时,首先读取的文件。可以通过这个文件,来告诉搜索引擎,哪些页面可以被收录。
友好速搭创建的网站,默认所有页面,对所有搜索引擎开放。
robots.txt文件默认内容是:

User-agent: *
Allow: /


在允许搜索引擎时,可以自定义robots.txt的内容。
例如,屏蔽指定的搜索引擎:

User-agent: Badbot
Allow: /


部分页面屏蔽搜索引擎:

User-agent: *
Disallow: /pages/
Disallow: /admin/


当禁止搜索引擎搜录后,robots.txt内容无法修改,统一内容如下:

User-agent: *
Disallow: /
以上内容仍未解决您的问题? 联系在线客服
免费领取15天试用
立即注册
联系客服
电话咨询
售前热线
0755-83051027
微信咨询
微信二维码

领取免费试用资格

姓名 *

电话 *

公司名称

所在地区

意向产品

提交

提交成功

你好, XXX女士/先生 ,你的需求已提交成功,后续会有专门的客户经理与你电话联系。谢谢!