如何从谷歌自定义搜索下载搜索结果

How to download search results from Google custom search?

本文关键字:搜索 下载 搜索结果 自定义 谷歌      更新时间:2023-09-26

有些网站使用谷歌自定义搜索。但是当搜索结果出来时,我无法将这些结果保存在本地html中。

例如,我想在此网站上搜索(ITE)http://www.asiaone.com/A1Home/A1Home.html结果页面为:

http://www.asiaone.com/vgn-ext-templating/asiaone/search/A1MultipleSearchResults.jsp?q=%28ITE%29&cx=009076860783986227266%3twgr1shu6je

但是当我尝试下载结果页面的源代码时,结果和概要在平面HTML上不可用。

python或任何其他软件中是否有可用的库可以从搜索结果中下载这些摘要我有这样的东西,但html源既没有概要也没有搜索结果:

import urllib
url = "http://www.asiaone.com/vgn-ext-templating/asiaone/search/A1MultipleSearchResults.jsp?q=%28" + "ITE" + "%29&cx=009076860783986227266%3Atwgr1shu6je"
html = urllib.urlopen(url).read().decode('UTF-8')
print html 

我正在尝试访问:https://www.googleapis.com/customsearch/v1?key=&cx=009076860783986227266:Atwgr1shu6je&q=ITE

我正在输入我从中获得的自己的密钥https://code.google.com/apis/console/?api=customsearch.

但是,我得到了无效值错误,因为我的密钥与您的cx id没有关联。你必须把你的钥匙放在这里,然后得到结果。

附言:不要在评论或问题中输入你的钥匙。这可能会花你的钱(https://code.google.com/apis/console/?api=customsearch:billing)

您可以参考https://developers.google.com/custom-search/v1/using_rest#WorkingResults.它清楚地提到了你需要做什么才能得到结果。

您应该了解一下Google XML API-它应该具有您正在寻找的功能。

如果你下定决心要获得类似于python的应用程序,请看看Google的Data API客户端-它们包含工具和示例,可以帮助你使用集成的Google数据构建自己的应用程序。