如何使用简单的HTML DOM php爬行页面
How to crawl through pages using Simple HTML DOM php?
我正在从这个页面收集数据。我使用简单的HTML DOM解析器。我想从下一页收集数据。问题是没有新的链接为下一页,所以我不能通过链接循环。我猜它是由Javascript完成的。我如何进入下一页并从那里收集数据?
`// array to store scraped links
$links = array();
// crawl the webpage for links
foreach($html->find("a") as $link){
array_push($links, $link->href);
}`
使用上面的代码,我只能找到页面上的链接。但是页码1、2、3……没有链接。 您是否尝试使用PhantomJS/CasperJS来完成此任务?它们非常适合模拟用户请求和抓取网页。
相关文章:
- 使用php或javascript从facebook相册URL中删除多余的部分
- 将PHP变量传递给jQuery时遇到问题
- 通过javascript重定向html传递php变量
- 将数组从PHP传递到Javascript
- 如何在php文件中获取$.post-ajax传递的值
- Javascript运行php文件,然后下载文件
- PHP中的setcookie仅适用于localhost
- 如何使用jquery处理php循环通过元素
- 通过Ajax将JavaScript函数传递给PHP文件
- 而循环只设置php中输入字段中的第一个值
- 我需要从php调用javascript或jquery
- 如何通过php页面将数据库值检索到jquery自动完成框中
- PHP AJAX图片上传示例不上传
- 通过php页面中的js强制下载txt
- 如何在PHP中使用$_POST获取Select元素值
- 我想使用模态通过php文件发送邮件,并且我希望在提交关闭后关闭pop
- 如何在php变量中嵌入JQuery代码
- 自动爬行/抓取过程输出到.txt文件使用php, javascript或cURL(内部测试)
- 如何使用简单的HTML DOM php爬行页面
- 如何确定真正的用户是浏览我的网站或只是爬行或其他PHP