如何使用由Javascript填充的Python从网站获取数据

How to fetch data from a website using Python that is being populated by Javascript?

本文关键字：网站获取数据 Python 何使用 Javascript 填充更新时间：2024-06-14

我想从网站上获取一些数据/值。我使用了beautifulsoup，当我试图从Python脚本中获取字段时，这些字段是空白的，而当我检查网页的元素时，我可以清楚地看到表行数据中的值是可用的。当我看到HTML源代码时，我注意到它也是空白的。我想出了一个原因，该网站使用Javascript从自己的数据库中填充相应字段中的值。如果是，那么我如何使用Python获取它们？

Selenium和phatomjs的Python绑定（如果您想使用无头浏览器作为后端）是适合此工作的工具。

是的，你可以抓取JS数据，只需要更多的黑客攻击。浏览器可以做的任何事情，python都可以。

如果您使用的是firebug，请查看network选项卡，查看数据来自哪个特定请求。在铬元素检查中，您也可以在名为network的选项卡中找到这些信息。只需点击ctrl-F即可搜索请求的响应内容。

如果你找到了正确的请求，数据可能会嵌入JS代码中，在这种情况下，你需要进行一些regex解析。如果幸运的话，格式是xml或json，在这种情形下，你可以使用相关的内置解析器。