如何使用python抓取javascript生成的数据

How to scrape data generated by javascript using python

本文关键字：数据 javascript 何使用 python 抓取      更新时间：2023-09-26

我想收集以下新闻的参与者数量。url为http://news.sina.com.cn/c/2013-07-11/175827642839.shtml我想打820号。它是由javascript生成的。我怎样才能用简单的方法得到那个数字？

您可以分析javascript代码，并在python中执行同样的操作。或者您可以在Python中使用Selenium。

编辑：

这里的示例从selenium页面更改为做您需要的事情。

它打开浏览器（firefox），等待5秒（加载页面）并获得文本

#!/usr/bin/python
import selenium
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
import time
browser = webdriver.Firefox() # Get local session of firefox
browser.get("http://news.sina.com.cn/c/2013-07-11/175827642839.shtml ") # Load page
time.sleep(5) # Let the page load
try:
    element = browser.find_element_by_xpath("//span[contains(@class,'f_red')]") # get element on page
    print element.text # get element text
except NoSuchElementException:
    assert 0, "can't find f_red"
browser.close()
相关文章：