通过python擦除Vine数据

Scraping Vine data by python

本文关键字:数据 Vine 擦除 python 通过      更新时间:2023-09-26

我想通过python获取Vine上不同品牌(公众号)的帖子数据(如标题、点赞、分享、内容)。现在我有了一些想法:

  1. github中有一个名为Vinepy的Vine api(https://github.com/davoclavo/vinepy),但是它需要你创建帐户并使用你自己的登录信息,而且你似乎只能从你自己的帐户中抓取数据,所以我也可以使用Vinepy从其他帐户抓取数据吗?因为Vinepy的例子很少,我也不知道该怎么做。

  2. 我想出的另一个替代方案是使用beautiuloup+selenium来实现这一点。因为藤页面中有"加载更多"按钮,你需要使用selenium与它进行交互。但我的问题是,beautiulsoup+selenium能处理Javascript吗?因为所有的帖子都是由名为ember.js 的javascript框架编写的

或者有谁对如何做有更好的想法?

非常感谢!

有一个Vine API不需要登录公共数据:

https://github.com/starlock/vino/wiki/API-Reference

它不是专门以Python为中心的,但它只是一个检索JSON的HTTPGET。