如何安装Hadoop并运行WordCount程序
作者：依年南台
这篇文章主要介绍了如何安装Hadoop并运行WordCount程序,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
一、安装 Java
Hadoop 依赖 Java，首先需要安装 Java 开发工具包（JDK）。以 Ubuntu 为例：
sudo apt update sudo apt install openjdk-8-jdk
安装后，设置环境变量：
echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc source ~/.bashrc
二、安装 Hadoop
下载 Hadoop：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz tar -xzf hadoop-3.3.6.tar.gz mv hadoop-3.3.6 /opt/hadoop
配置环境变量：
echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc source ~/.bashrc
配置 Hadoop： core-site.xml：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>hdfs-site.xml：
xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/data/datanode</value>
</property>
</configuration>三、启动 Hadoop
格式化 NameNode：
hdfs namenode -format
启动 HDFS 和 YARN：
start-dfs.sh start-yarn.sh
验证服务：
访问 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。
四、运行 WordCount 程序
准备输入数据：
echo "Hello Hadoop World" > input.txt hdfs dfs -mkdir -p /user/input hdfs dfs -put input.txt /user/input
执行 WordCount：
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output
查看结果：
hdfs dfs -cat /user/output/part-r-00000
到此这篇关于如何安装Hadoop并运行WordCount程序的文章就介绍到这了,更多相关Hadoop安装和WordCount程序内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！