2018即将推出的Apache Spark 2.4都有哪些新功能
作者：青色的海牛
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述,需要的朋友可以参考下
本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。
- 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
- 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
- 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
- PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
- Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
- 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
点击 示说网 ，即可下载此PPT。
总结
以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！