IntelliJ idea大数据开发工具 Big Data Tools 2024.3 官方最新免费版

Big Data Tools是一款JetBrains大数据开发工具，即一款集成 Spark 且支持编辑和运行 Zeppelin Notebooks 的 IntelliJ IDEA 插件，从而为开发者们带来更加高效、舒适的大数据处理和开发体验。是为使用Zeppelin和Spark的数据工程师和其他专业人员所量身定做的一款软件。

它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。

插件特征

浏览，创建和删除笔记本

Coding Assistance for Scala

代码完成

重命名重构

提取变量

函数跳转

显示用法

创建和删除段落

运行段落

浏览段落的输出

支持基本的可视化

将会有更多的语言和集成。

将大数据工具用于

-Zeppelin笔记本中的探索性分析、可视化和原型设计工作。

-直接从IDE运行和监视Spark或Flink作业。

-与亚马逊电子病历集群合作。

-查看大数据文件，如CSV、Parquet、ORC和Avro。

-用Kafka制作和消费信息。

-预览配置单元元存储数据库。

-深入了解Hadoop环境。

更新日志

新增功能
Zeppelin
更多提取选项。除了将选定的Scala代码提取到一个单独的方法或类中之外，您现在还可以：
提取齐柏林飞艇音符的所有Scala段落，
从特定段落中提取Scala代码。
口译员可以全局刷新，而不仅仅是每个笔记本。
Zeppelin依赖项、解释器设置和解释器绑定现在都合并到一个对话框中，即“依赖项”和“解释器设置”。
为PySpark中的列名添加补全。
Hive Metastore
支持配置单元版本v2。
Kafka
支持连接到Kafka模式注册表。
已为Kafka架构注册表启用SSH隧道。
支持AWS IAM身份验证。
Kerberos
支持的Kerberos连接：
Kafka，
Hive Metastore，
HDFS。
远程文件存储
大数据工具中对所有云的扩展支持：
通用元信息，
文件版本控制，
显示和编辑对象和存储桶的标记，
显示跨源复制状态（CORS）。
按存储中的名称筛选存储桶。
创建目录操作现在允许创建嵌套目录。
为“复制文件路径”操作添加了新选项：
复制密钥路径，
复制预签名路径。
“导航到”操作现在可用于HDFS、本地和SFTP连接。