流跳跃运动实际相机馈送

Stream Leap Motion Actual Camera Feed

本文关键字:相机 跳跃 运动      更新时间:2023-09-26

有没有一种方法可以从Leap Motion流式传输(最好用JS,但任何语言都可以)实际的红外相机视频?在0:52看到的演示似乎表明,该设备可以提供更多的数据,而不仅仅是一个点的骨架,我希望能够在我的一个项目中显示实际的"Leap View"数据,我认为它本质上是一个灰度图像。

谢谢!

我是Leap Motion社区团队的Edwin。不幸的是,我们早期视频中的"点云"是一些调试工具的可视化效果。因为它们在时间或空间上不一致,所以不能用作交互方法。目前没有点云。这可能是我们可以从现有的3D信息中重建的东西,但可能不是我们短期内会添加的功能。

我想你想要的是:https://github.com/meyburgh/forirony/blob/master/misc/leap.cpp

这是一个非常简单的演示,展示了每个跳跃动作相机的灰度红外视频。

视频看起来有点奇怪,所以如果你想让它看起来"正常",你需要纠正它——Leap提供了image.rerectify(),但这发生在cpu上,所以为了提高性能,最好使用着色器而不是image.rerectify()函数。

要获得"点云",如果你感兴趣的话,你可以进行每像素视差映射(opencv在cpu/gpu上有),或者你可以查看NVIDIA的CUDA工具包,该工具包的示例中包含视差映射演示。链接到opencv的立体对应(又名视差映射):http://docs.opencv.org/3.0-beta/modules/cudastereo/doc/stereo.html

我可以理解,通过视差映射的点云的质量会非常粗糙和嘈杂,因此对Edwin在帖子中所说的"交互"没有用处,但如果你有兴趣研究统计技术来理解隐藏在噪声中的信息,或者出于"艺术"原因想要点云,那么我想说这就是解决问题的方法。