如何正确地以无限滚动浏览网页
How to properly crawl through webpage with infinite scroll?
如何从具有无限滚动的网站中抓取数据?
我想做的是从Google Play商店获取所有数据(https://play.google.com/store/apps/category/GAME/collection/topselling_free?hl=en)。
我正在使用Apify(https://www.apify.com/)在Google Play商店中爬行;我想获得"游戏中的顶级免费"的所有链接,然后获得顶级游戏的所有标题和详细信息。
不幸的是,当用户滚动到页面底部时,页面会加载新数据,我不知道如何获取新数据。
这是我的页面功能:
function pageFunction(context) {
var $ = context.jQuery;
if (context.request.label === "DETAIL") {
context.skipLinks();
if($('.details-info .info-container .info-box-top .document-title .id-app-title').length >= 1) {
return {
title: $('.details-info .info-container .info-box-top .document-title .id-app-title').text(),
publisher: $('.details-info .info-container .info-box-top .document-subtitles .primary').text(),
genre: $('.details-info .info-container .info-box-top .document-subtitles .category').text(),
rating: $('.details-wrapper .details-section .rating-box .score').text()
};
}
} else {
context.skipOutput();
$.post("https://play.google.com/store/apps/category/GAME/collection/topselling_free?hl=en&authuser=0");
}
}
我如何加载其他游戏并获取它们的链接,以便在游戏页面上获取它们的详细信息?
示例或示例代码将不胜感激。
在高级设置下,有一个名为"无限滚动高度"的选项可以从无限滚动中抓取内容。检查Apify文档
相关文章:
- 幻灯片滚动javascript不起作用
- 将视口底部滚动到元素底部
- jQuery Lazy加载动画滚动
- 设置滑块分区上的滚动
- 结合jQuery和jetpack无限滚动
- 单击顶部导航时如何进行向下滚动效果(向下滑动).
- 如何正确地以无限滚动浏览网页
- 模式上的后退和前进按钮位于图像库上(可滚动浏览)
- 我能滚动浏览一个元素吗;高度=自动&”;
- 如何滚动浏览内容并停留在段落
- Rails & Mongoid - 滚动浏览特定的记录组
- 滚动浏览 DOM 对象的“堆栈”
- 滚动浏览列表元素不会在第一次点击时开始
- Android原生应用程序:无法滚动浏览包含大约200个元素的整个列表(appium java客户端)
- 如何更改转换:当滚动浏览网站时元素的translate()位置
- 滚动浏览幻灯片等页面
- Famo.us防止滚动浏览反弹
- 滚动浏览所有fancyBox画廊
- jQuery - 如何滚动浏览子类 addclass 然后在一次迭代中删除类 setTimout 不起作用
- 使用 javascript 滚动浏览多个 HTML 页面