如何防止搜索引擎索引ajax生成的内容

一个好的开始是阅读谷歌关于这个主题的文档。

如果您没有任何标签，那么只需像往常一样在robots.txt中屏蔽此页面。谷歌应该尊重这一点，但要记住，其他爬虫，尤其是那些不太知名的爬虫可能不会。

我想到的另一个想法是在AJAX请求上检查user-agent。但话又说回来，这并不能防止用户代理欺骗，所以仍然会有一部分rouge爬虫出来获取您的敏感内容。

你可能会找到一些其他的解决方案，也许是一种聪明的JavaScript黑客，这将阻止大多数爬虫下载你的内容，但这种方法永远不会是可靠的或可持续的，因为最终，有人承诺24/7做出更好的爬虫。

如果你的目标是绝对确保某些东西不被索引，那么不管它是不是AJAX都没关系。任何敏感数据都需要隐藏在某种身份验证或图灵测试(如Captcha)之后。