在你执行任何操作之前，第一步是验证你是否拥有robots.txt文件。你们中的一些人可能从未来过这里。

 

查看你的网站是否已有网站的最简单方法是将网站的网址放入网络浏览器，然后输入/robots.txt。

 

当你这样做时，会发生以下三件事之一。

 

你会发现一个类似于上面那个的robots.txt文件。（虽然如果你从来没有花时间去优化它，那么它可能不是那么深入）。

你会发现一个完全空白的robots.txt文件，但至少要设置。

你将收到404错误，因为该页面不存在。

 

大多数人可能会进入前两种情况。你不应该收到404错误，因为大多数网站在创建网站时默认设置了robots.txt文件。如果你从未进行任何更改，那么这些默认设置仍应存在。

 

要创建或编辑此文件，只需导航到你网站的根文件夹即可。