使用Node.JS登录和抓取远程网站
Login and scrape a remote website using Node.JS
我有一个登录页面https://www.mywebsite.com/login,和一个登陆页面来抓取https://www.mywebsite.com/home。
我想创建一个脚本,首选写在Node.JS后端服务器运行在后台没有用户交互,这将通过登录页面登录,并导航到登录后的登陆页面,重定向与cookie通过登录验证。
基本上,它是一个脚本,遵循重定向从登录页面,通过着陆页面,而不会丢失cookie,就像现代浏览器一样。
我脑子里有我想要的东西,但我不知道什么是最好的东西或最好的方法来实现我的目标。如有任何帮助,不胜感激。
我更喜欢Node.js作为推荐,但也有很多其他的可能性
我建议查看一下Phantom.js,这是一个可能支持您正在寻找的功能的无头浏览器。也可以查看他们的cookie文档。我希望这是有帮助的!
相关文章:
- 如何识别我的网站中的慢速设备
- 用Javascript更改我网站上的字体大小
- 有任何可能将facebook实时信使整合到一个网站中
- 将电视直播频道从网站嵌入我的网站
- Windows 8固定的网站互动程序
- 门户网站:当地时间有多有用
- 正在删除node.js中已验证的网站
- 为什么在这个网站上不能通过JS访问元素
- 需要使用谷歌应用程序脚本列出谷歌域下的所有网站
- 为什么只有工厂在棱角分明的网站上被提及
- 从应用程序脚本检查谷歌网站访问权限
- 使用谷歌网站翻译器自动翻译网页
- 使用node.js制作网站
- 谷歌如何确定网站加载时间
- 带有url的单页网站导航
- Ajaxify Wordpress网站与社交插件
- 为什么可以't Protractor在自动初始化的Angular网站上查找Angular
- 在我的网站上显示最近提交的文章/图片
- 全文搜索本地/离线网站“网站”
- 如何在我的网站上创建一个实时线程(vidiprinter)类型的部分