使用BeautifulSoup从网页上抓取javascript / json对象

Scraping a javascript / json object from a webpage using BeautifulSoup?

本文关键字:javascript json 对象 抓取 BeautifulSoup 网页 使用      更新时间:2023-09-26

我使用BeautifulSoup来获取网页的HTML。到目前为止,这还行。但我真正想要的是HTML中javascript块的内容,用<script type="text/javascript">封装然后在标签中,最终是一个巨大的数组里面有很多{}括号,这是JSON数组吧?

是否有一种方法,我可以尝试从HTML内提取整个数组?

您正在寻找json.loads函数。

>>> import json
>>> obj = json.loads('{"a": 12, "b": null}')
>>> obj
{'b': None, 'a': 12}