Python PySpark案例实战教程

为什么要学习PySpark？

Spark对Python语言的支持，重点体现在，Python第三方库：PySpark之上。

PySpark是由Spark官方开发的Python语言第三方库。

Python开发者可以使用pip程序快速的安装PySpark并像其它三方库那样直接使用。

 PySpark库的安装

在”CMD”命令提示符程序内，输入：

pip install pyspark

或使用国内代理镜像网站（清华大学源）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

构建PySpark执行环境入口对象

想要使用PySpark库完成数据处理，首先需要构建一个执行环境入口对象。

PySpark的执行环境入口对象是：类 SparkContext 的类对象

PySpark的编程模型 

 SparkContext类对象，是PySpark编程中一切功能的入口。

• 数据输入：通过SparkContext完成数据读取
• 数据计算：读取到的数据转换为RDD对象，调用RDD的成员方法完成计算
• 数据输出：调用RDD的数据输出相关成员方法，将结果输出到list、元组、字典、文本文件、数据库等

到此这篇关于Python PySpark案例实战的文章就介绍到这了,更多相关Python PySpark案例内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！