使用Node.JS登录和抓取远程网站

Login and scrape a remote website using Node.JS

本文关键字:程网站 网站 抓取 Node JS 登录 使用      更新时间:2023-09-26

我有一个登录页面https://www.mywebsite.com/login,和一个登陆页面来抓取https://www.mywebsite.com/home。

我想创建一个脚本,首选写在Node.JS后端服务器运行在后台没有用户交互,这将通过登录页面登录,并导航到登录后的登陆页面,重定向与cookie通过登录验证。

基本上,它是一个脚本,遵循重定向从登录页面,通过着陆页面,而不会丢失cookie,就像现代浏览器一样。

我脑子里有我想要的东西,但我不知道什么是最好的东西或最好的方法来实现我的目标。如有任何帮助,不胜感激。

我更喜欢Node.js作为推荐,但也有很多其他的可能性

我建议查看一下Phantom.js,这是一个可能支持您正在寻找的功能的无头浏览器。也可以查看他们的cookie文档。我希望这是有帮助的!