限制搜索引擎抓取JS链接

Restricting JS links from search engine's crawling

本文关键字：JS 链接抓取搜索引擎更新时间：2023-09-26

我想阻止谷歌从以下链接我在JS。我没有在robots。txt中找到怎么做我找错地方了吗?

更多信息:我看到谷歌正在爬行这些页面，虽然链接只出现在JS。我不想让他抓取的原因是，这个内容依赖于外部API，我不想浪费我的速率限制与他们在谷歌抓取工具，只有每个用户的需求

直接来自google ->

http://www.google.com/support/webmasters/bin/answer.py?answer=96569

Google可能不会发现你在JS中隐藏的任何链接，但是其他人可能会链接到相同的地方。

重要的不是链接，而是url。只需在robots.txt中指定您不希望搜索引擎访问的url。您通常通过JS将它们暴露给浏览器的事实是无关紧要的。

如果你真的想限制对内容的访问，那么仅仅降低可发现性可能是不够的，你应该在适当的地方设置一个身份验证层(例如密码保护)。