检索到的锚列表已损坏

Retrieved anchors list gets corrupted?

本文关键字：列表 已损坏 检索      更新时间：2023-09-26

我试图在PhantomJS中分析锚链接(它们的text属性)。

检索发生在这里:

var list = page.evaluate(function() {
  return document.getElementsByTagName('a');
});

这将返回一个具有良好属性length的对象(我在控制台中运行document.getElementsByTagName('a');时获得的相同length)。但是对象中的绝大多数元素的值都是null，这是不好的。我不知道为什么会这样。

我一直在玩通过slice转换成一个真正的数组，这没有什么好处。我试过不同的网站，没有区别。我已经转储了。png文件，以验证正确加载和网站正确加载。

这显然不是完整的脚本，而是一个最小的脚本，显示了一个众所周知的公共站点的问题;)

如何从加载的页面检索完整的锚列表?

var page = require('webpage').create();
page.onError = function(msg, trace) 
{ //Error handling mantra
  var msgStack = ['PAGE ERROR: ' + msg];
  if (trace && trace.length) {
    msgStack.push('TRACE:');
    trace.forEach(function(t) {
      msgStack.push(' -> ' + t.file + ': ' + t.line + (t.function ? ' (in function "' + t.function +'")' : ''));
    });
  }
  console.error(msgStack.join(''n'));
};
phantom.onError = function(msg, trace) 
{ //Error handling mantra
  var msgStack = ['PHANTOM ERROR: ' + msg];
  if (trace && trace.length) {
    msgStack.push('TRACE:');
    trace.forEach(function(t) {
      msgStack.push(' -> ' + (t.file || t.sourceURL) + ': ' + t.line + (t.function ? ' (in function ' + t.function +')' : ''));
    });
  }
  console.error(msgStack.join(''n'));
  phantom.exit(1);
};
function start( url )
{
  page.open( url , function (status)
  {
    console.log( 'Loaded' ,  url , ': ' , status  );
    if( status != 'success' )
      phantom.exit( 0 );
    page.render( 'login.png');
    var list = page.evaluate(function() {
      return  document.getElementsByTagName('a');
    });
    console.log( 'List length: ' , list.length );
    for(  var i = 0 ; i < list.length ; i++ )
    {
     if( !list[i] )
      {
        console.log( i , typeof list[i] ,  list[i] === null , list[i] === undefined );
        //list[i] === null -> true for the problematic anchors
        continue;
      }
      console.log( i,  list[i].innerText , ',' , list[i].text /*, JSON.stringify( list[i] ) */ );
    }
    //Exit with grace
    phantom.exit( 0 );
  });
}    
start( 'http://data.stackexchange.com/' );
//start( 'http://data.stackexchange.com/account/login?returnurl=/' );

当前版本的phantomjs只允许基本类型(boolean, string, number, []和{})在页面上下文之间传递。所以基本上所有的函数都将被剥离，这就是DOM元素。t.t niese从文档中找到了引用:

注意:求值函数的参数和返回值必须是简单的原语对象。经验法则:如果它可以通过JSON序列化，那么它就可以了。

闭包、函数、DOM节点等将无法工作!

您需要在页面上下文中完成部分工作。如果需要每个节点的innerText属性，则需要首先将其映射到基本类型:

var list = page.evaluate(function() {
    return Array.prototype.map.call(document.getElementsByTagName('a'), function(a){
        return a.innerText;
    });
});
console.log(list[0]); // innerText

你当然可以同时映射多个属性:

return Array.prototype.map.call(document.getElementsByTagName('a'), function(a){
    return { text: a.innerText, href: a.href };
});
相关文章：