🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
Spark Streaming 是核心 Spark API 的扩展,支持可伸缩、高吞吐量、高容错、低延时(Spark 2.3.1 延时1ms,之前100ms)的实时数据流处理。 <br/> 数据可以从许多来源获取,如 Kafka、Flume、Kinesis 或 TCP sockets,可以使用复杂的算法处理数据,这些算法用高级函数表示,如 map、reduce、join 和 window。 <br/> 最后,处理后的数据可以推送到文件系统、数据库和活动仪表板。实际上,还可以将 Spark 的 MLlib 机器学习和 GraphX 图形处理算法应用于数据流。 ![](https://img.kancloud.cn/db/af/dbafef4d36e4d324224de11863f564a1_1172x438.png)