无法通过请求模块抓取数据 - Fobidden

Unable to scrape data via request module - Fobidden

本文关键字：抓取 数据 Fobidden 模块 请求      更新时间：2023-09-26

我有一个奇怪的问题，我正在尝试使用请求模块报废某个页面，但这样做时我收到 403 访问被拒绝。但是我完全能够使用 node的 curl 模块来做到这一点。但是互联网上的人建议，它会比请求模块更渴望性能，因为我需要废弃很多类似的页面。为什么我在使用请求模块时得到 403？

var options = {
  url: 'http://m.snapdeal.com/product/ostriva-antiglare-screen-protector-for/226500183',
  headers: {
    'User-Agent': 'Mozilla/5.0'
  }
}
router.get('/m', function(req, res) {
    request(options,function(err,resp,data){
        if(err){
          console.log(err);
          res.end();
          return;
        }
        console.log(resp.statusCode);
        res.send(data);
    });
});

服务器也在寻找Accept标头。因此，请尝试向headers对象添加类似'Accept': 'text/html;q=0.9,*/*;q=0.8',的内容。

相关文章：