在 Python 网页抓取期间触发 JS 事件

trigger js event during the python web scraping

本文关键字：JS 事件 Python 网页 抓取      更新时间：2023-09-26
# ./scrape.py
from lxml import html
import requests
url = "http://www.my-target-url.com"
page = requests.get(url)
# can I insert some js event codes to execute here?
tree = html.fromstring(page.content)
print tree.xpath("/html/to/target/data/text()")[0]

我这样做是为了抓取目标页面，该页面有几个按钮来更改数据。我想要可以从这些按钮获得的所有数据。我搜索了发送带有参数的 POST 或 GET 的方法。似乎没有其他方法，只能从该网页触发js事件(就像我可以在chrome开发人员控制台中所做的那样(。

有什么方法可以执行 js 事件来更改此 python 代码中所需数据的响应对象吗？ 我应该使用请求以外的其他库吗？ 还是我可以搜索的其他方式？(比如在后面做一些Web浏览器对象并用它做什么？那么有什么帮助？(

简短的回答，没有。

所有的javascript事件都由浏览器的js引擎处理。这意味着您还需要一个 javascript 引擎来处理和执行脚本并触发事件。

相关文章：