Apache Spark and node.js

本文关键字：js node and Spark Apache 更新时间：2023-09-26

我想在JavaScript中使用spark API从spark-submit调用node.js程序。这个API在JavaScript中有实现吗？

我知道可以从Hadoop调用外部mapper和reducer（用JavaScript编写），但我希望能够从Spark将整个程序作为一个作业运行。

有一个名为EclairJS的新项目正在从Node和JavaScript提供Spark API，请参阅https://github.com/EclairJS/eclairjs-node.

我不相信目前有JavaScript spark包装器，但我会查看spark管道接口上的信息，这将允许您在spark中使用JavaScript代码。祝你的Spark&Javascript冒险（不幸的是，四月愚人节有一个关于Spark&ScalaJS的笑话，这让在Spark+Javascript上搜索信息变得有点棘手）。