我如何使网页内容私人的人，但公开的搜索引擎

一个足够聪明的人可以伪装成谷歌机器人…你向机器人展示的任何东西都可以被人类看到。这对expertSexchange来说是件好事——答案是在付费墙后面的，但如果你点击谷歌的缓存链接，你就可以看到所有的答案。

所以简而言之:它行不通

首先，没有办法安全地识别一个请求来自搜索引擎，所以任何你让搜索引擎看到的东西都可以被任何有进取心的网络冲浪者看到。我想说的是，你必须做的第一件事就是确保客户理解这一点。你可以为不试图绕过系统控制的"默认"用户做一些工作，但如果你要让搜索引擎在没有身份验证的情况下查看内容，那么普通用户也可以遵循这条路径(有点独创性)。

第二，假设搜索爬虫将完全支持cookie是不明智的。如果你只针对一个特定的搜索引擎，你可以测试它，看看它是否支持cookie，但从我所读到的，大多数不支持，因为这只是更多的家务，他们想要索引的东西是免费的。所以，你不能使用cookie来跟踪搜索引擎的请求。

我所知道的唯一可以让搜索引擎进入，而不是常规的默认查看器的方法是嗅探请求代理的用户代理字符串。每个搜索引擎都将唯一地标识自己，您可以查看您收到的每个请求并决定是否允许它们绕过正常限制。但是，要让您和您的客户知道，任何普通用户都可以配置他们的浏览器来包含该用户代理字符串，并且您可以让他们直接进入-您无法真正区分其中的区别。Safari浏览器具有控制用户代理字符串的能力(它可以帮助web开发人员进行自己的测试，但它也可以用于其他方式)。

在某些情况下，可以查看请求的IP地址，看看它是否符合您对搜索引擎的期望，但除非搜索引擎发布了他们将使用的IP地址范围，并在某种程度上保证这些IP地址将被遵守，否则依赖这是一个有风险的提议。

另一种选择可能是完全取消"使用条款"登陆页，并像大多数网站一样-有一个网站使用警告:

By continuing to use this site, you agree to the
<a href="ToU.htm">Terms of Use</a>

如果它真的很突出，你可以把它做成类似于页面顶部的Stackoverflow通知栏。