无法在Google Apps Script日志中看到完整的抓取网页

Unable to see complete scraped web page in Google Apps Script logs

本文关键字：网页抓取 Google Apps 日志 Script 更新时间：2023-09-26

几个星期前，我开始学习Javascript和Google Apps Script API，特别是关于电子表格。我一直在尝试制作一个电子表格，它可以获取网页并提取关于我的朋友的游戏《英雄联盟》的统计数据。然而，我在使用我想使用的网站时遇到了一个问题，这个网站基本上是唯一一个经常更新的免费LoL统计网站。我不熟悉的web开发，但似乎当我试图访问一个页面在lolking.net，例如http://www.lolking.net/summoner/na/60783与谷歌的UrlFetchApp.fetch()它不加载动态页面。所以我得到的不是最终的来源，而是这个对我没有帮助的。是否有一个简单的方法围绕这个或我只是要使用另一个网站?

谢谢!尽管事实证明我错了。UrlFetchApp确实返回了完整的源代码，但是我使用GAS的Logger来查看文本。Logger似乎有长度限制，所以当我搜索我想要的统计数据时，它们不在那里只是因为源代码被截断了。所以，由于我的疏忽，我从一开始就没有问题。对于其他阅读这个问题的人，最后我不知道UrlFetchApp如何使用客户端js与动态页面一起工作(您可能想要与下面的海报交谈或发布一个新的问题)。

您将获得包含客户端js的原始html页面。这不适用于任何系统，不仅仅是气体。您需要调试该页面js，并找到它在哪里进行ajax调用以获取所需的数据。然后对你的汽油做同样的处理。如果调用已经过身份验证，则可能无法工作等