“错误:ENOTFOUND"当从Node.js请求包中进行大量请求时

"Error: ENOTFOUND" when making a lot of requests from Node.js request package

本文关键字：请求 包中进 js Node 当从 错误 ENOTFOUND quot      更新时间：2023-09-26

我在Node.js中运行一个脚本，它使用请求包来帮助我发出HTTP请求。该脚本发出100到1000个请求，以便下载pdf并将它们放在本地机器上的某个文件夹中。当我只发出100个请求时，程序工作正常，所有的pdf都显示在我的文件夹中，但是当我发出更多请求时，程序开始抛出这个错误(ENOTFOUND)，并且抛出这个错误的文件在文件夹中是空白的。当我手动加载抛出错误的链接时，它们工作得很好(所以我知道这不是主机的问题)，我可以下载这样的文件，但我想自动化它。

这是给出错误的函数位。我已经开始尝试将所有给出错误的链接推送到数组，但还没有幸运地解决这个问题。

  var year = process.argv[3] % 2000;
  var url  = yearURL[year];
  request(url, function(error, response, html){
        if(!error){
              var $ = cheerio.load(html, {xmlMode: true});
              $('link', 'item').each(function(){
                    var link = $(this).text();
                    PDFscrape(link);
              });
        }
  });
  function PDFscrape(link){
        request(link, function(error, response, html){
              if(!error){
                    var $ = cheerio.load(html);
                    var num = $('#ctl00_ContentPlaceHolder1_lblFile2', '#ctl00_ContentPlaceHolder1_pageDetails').text();
                    console.log('Document ' + num + ' has been loaded.');
                    var i = 1;
                    $('a', '#ctl00_ContentPlaceHolder1_lblAttachments2').each(function(){
                          var pdf = 'https://phila.legistar.com/' + $(this).attr('href');
                          AddPDF(pdf, num, i);
                          i++;
                    });
              }
        })
  }
  function AddPDF(link, file, i){
        var name = file;
        var fileName;
        if (year !== 100 && year !== -2){
              fileName = fs.createWriteStream(__dirname + '/pdfs/20' + year + '/' + file + '_' + i + '.pdf');
        } else if (year === 100){
              fileName = fs.createWriteStream(__dirname + '/pdfs/recent100/' + file + '_' + i + '.pdf');            
        } else if (year === -2){
              fileName = fs.createWriteStream(__dirname + '/pdfs/recent10/' + file + '_' + i + '.pdf');                        
        }
        request({
              uri: link,
              headers: {
                    'Host': 'phila.legistar.com',
                    'User-Agent': 'request'
              }
        }, function(err) {
              if (err){
                    var errLink = {url: link, file: name, num: i}
                    var count = errors.push(errLink);
                    console.log('--------- Error: ' + count + ' ---------');
              }
        }).pipe(fileName);
  }

抛出的错误是:

  stream.js:94
        throw er; // Unhandled stream error in pipe.
        ^
  Error: getaddrinfo ENOTFOUND
        at errnoException (dns.js:37:11)
        at Object.onanswer [as oncomplete] (dns.js:124:16)

注意:我正在处理这个错误，但是给出这个错误的文档在不应该是空白的时候被管道传递。我只是不明白为什么文件给出错误。

缺少几个分号，用!=代替!==有点不优雅，用file有不好的双重含义，但没有什么可以解释你所看到的。我猜year是坏的。在这里张贴我的代码版本，并附上一些注释。

(我在这里发布而不是在评论中b/c不能在评论中发布长代码):

function AddPDF(link, filename, i) {
    var file;
    if (year !== 100 && year !== -2) {
        // probably want "!==" rather than "=="
        file = fs.createWriteStream(__dirname + '/' + file + '_' + i + '.pdf');
    } else {
        // WHAT HAPPENS HERE?
        // what is "file", that is later piped to?
        // this may be your issue.
        // Where is this "year" coming from? Can you show relevant code?
    }
    request({
        uri: link,
        headers: {
            'Host': 'phila.legistar.com',
            'User-Agent': 'request'
        }
    }, function(err) {
        var errLink, count;
        if (err) {
            errLink = {url: link, file: filename, num: i};
            count = errors.push(errLink);
            console.log('--------- Error: ' + count + ' ---------');
        }
    }).pipe(file);
}

最后，您还没有提供实际的跟踪。

还好你发布了错误…看起来您遇到的是DNS错误。主机名查找有时失败。

我建议你打印所有的URL，而不是实际下载它们。如果它们看起来都没问题，那么这是一个临时的DNS问题。如果您有本地/关闭DNS服务器，请检查其日志。否则，请尝试将DNS更改为健壮的内容，例如8.8.8.8 (Google的DNS)，仅用于测试。

如果每次对于不同的url也失败，则是本地机器中的问题。一种解决方法是尝试/捕获此错误并重新尝试错误的URL。

相关文章：