谷歌网站趋势分析师约翰•穆勒最近解释了爬虫如何在没有指向网站的链接时找到网站。

 

这个话题是在戈雷迪特的一个帖子里提出来的，穆勒对此做出了回应。线程问道:

 

“如果没有人链接到爬虫，而它又没有提交到搜索控制台，爬虫如何找到站点?”

 

穆勒回应说，要确定这些网站究竟是如何被发现的，是件“棘手”的事情。

 

一些可能性包括:

 

跟踪域名注册的第三方(带有链接)

由URL中的拼写错误引起的意外反向链接

链接到相关内容的工具栏

CMS可能生成了站点地图或RSS/Atom提要

如果你绝对不想找到一个网站，穆勒建议使用noindex标签。不要以为搜索引擎不会仅仅因为一个网站没有被推广或链接就找到它。

 

穆勒还为网站所有者提供了一些建议，如果他们希望推出一个影响最大的新网站来达到相反的效果:

 

“如果你想推出新东西砰地一声(假设就是你想做新的和未知的领域),一个想法是使用该网站删除工具隐藏网站搜索,然后取消请求,当你使它生活——让谷歌爬行和索引内容提前,但可以防止它被显示在搜索”。

 

上面的方法比从noindex切换到可索引内容进行搜索要快，但是不能保证搜索引擎不会找到除谷歌之外的内容。

 

确保爬行器不会找到站点的唯一选项是使用noindex标记。