搜索引擎机器人-爬虫-蜘蛛-等有javascript在他们

Do search engine bots - crawlers - spiders - etc. have javascript in them?

本文关键字：javascript 等有他们蜘蛛机器人爬虫搜索引擎更新时间：2023-09-26

我不知道搜索引擎机器人是如何工作的，我的浏览器记录上的机器人数据库条目如Googlebot, msnbot, BingBot等

我不知道他们是否启用了javascript之类的

为什么我想知道他们是否启用了javascript ?因为我想在我的网站上要求Javascript。我所做的是，我有一个"覆盖"div与一个短消息，我设置为"显示:none"与javascript页面加载。所以如果没有Javascript，覆盖层不会消失，网站上没有任何东西是可点击的。

所以机器人仍然可以抓取我的网站，即使有Javascript要求的东西我做吗?因为我希望谷歌和其他好的机器人能够抓取我的网站

是的，至少自2010年以来，googlebot以不理解(一些)javascript创建的直接链接而闻名，但他们不需要你的javascript来读取链接，因为这些链接在html中明显可见。同样的道理也适用于那些不使用javascript的人。

搜索机器人可以并且将抓取您的站点，但它们不理解JavaScript，因此它们将忽略任何JS。然而，他们应该没有抓取你所描述的页面的问题。

据我所知，搜索引擎可以解析内容，识别不同的内容和行为。他们还可以惩罚特定的隐藏内容。我怀疑Google是一个非常聪明的搜索引擎，有能力识别一些javascript，但他们系统的内部行为对我们来说是未知的。