使用 BeautifulSoup 解析 Javascript 按钮元素中的 HTML

Parsing HTML within Javascript button elements with BeautifulSoup

本文关键字：HTML 元素 按钮 BeautifulSoup 解析 Javascript 使用      更新时间：2023-09-26

我一直在使用Requests和BeautifulSoup解析Craigslist。我可以访问帖子和所有内容，但是当尝试访问帖子的"回复"电子邮件地址时，我似乎无法返回任何内容 - 假设是因为您必须首先"单击"回复按钮。

我想做的是一些如何获取这个电子邮件地址。用 

reply = soup.findAll('div',{'class':'anonemail'})

或

reply = soup('button',{'class':'reply_button js-only'})

或包含电子邮件地址的元素上的任何变体都不会返回任何内容。

我可以手动访问回复网址，例如：

http://losangeles.craigslist.org/reply/lax/sof/4869445564

但我似乎无法找出这个 url 是如何动态生成的。也就是说，我可以在 url 的末尾手动提供/reply/lax/solf/（dataid），但我想知道如何从页面本身中提取此 URL，除非再次有一种更简单的方法来访问回复电子邮件地址。

url = 'http://losangeles.craigslist.org/wst/sof/4869468306.html';
soup = BeautifulSoup(urllib2.urlopen(url).read());
reply = soup.findAll('a', attrs = {"id": "replylink"});
if reply:
   url = 'http://losangeles.craigslist.org' + reply[0].get('href');
   soup = BeautifulSoup(urllib2.urlopen(url).read());    
   reply = soup.findAll(['div', 'a'], attrs = {"class": re.compile(r'anonemail|mailapp')});
   if reply:
      reply[0].getText()

返回：

u'qx8ft-4869445564@job.craigslist.org'
相关文章：