需要一个Javascript函数自动从网站抓取数据
Need a Javascript function for automatically scraping data from a website
我需要一个javascript函数来自动登录,然后从网站上抓取一些细节。我有登录的详细信息保存在服务器端数据库。我需要使用这些登录细节和登录到一个网站,然后从那里刮一些基本信息。
我听说我们可以做到这一点,通过动态框架的url…把事情做好……但是我需要知道如何完成这件事的确切细节。
这听起来像是一个像PhantomJS这样的无头浏览器的工作,而不是尝试使用CURL和PHP与javascript前端。它需要你在你的服务器上安装一些软件,这很容易,但是需要命令行访问。
PhantomJS是一个带JavaScript API的无头WebKit。它有快速和本机支持各种web标准:DOM处理,CSS选择器,JSON, Canvas和SVG。
PhantomJS是快速无头测试的最佳解决方案,站点抓取、页面捕获、SVG渲染、网络监控等等其他用例。
我以前就用过它。你甚至可以把你最喜欢的javascript框架(比如jQuery)注入到页面的DOM中,让你更容易在元素之间导航。
相关文章:
- 如何使用AnguarJS动态绑定网站数据
- 加载初始网站后在后台加载数据
- 如何使用XMLHttpRequest()不断地将数据发送到我的网站中的另一个页面
- Json显示来自网站的数据显示仅未定义
- 如何获取网站所有页面的链接以进行数据抓取
- 我想从网站收集数据并使用PHP将它们存储在数据库中
- 我们应该把数据验证放在网站的哪里
- 谷歌脚本-从网站论坛解析HTML-并将数据写入工作表
- 如何使用由Javascript填充的Python从网站获取数据
- 从外部网站获取JSON数据
- Magento网站-按选项排序:上下箭头与排序数据绑定,只需删除上下箭头即可
- 在网站上显示该网站的GA统计数据
- 如何从网站获取数据,然后显示在英特尔 XDK 页面中
- 单击指向外部网站的链接后,通过MySQL保存数据
- 我如何不允许包含我的网站访问页面数据
- 使用 jQuery ajax 请求外部网站数据
- 抓取CSV的网站数据
- 在chrome扩展中使用网站数据
- 删除ios safari浏览器的网站数据
- 填写网站数据,点击按钮和解析响应