Hadoop笔记(伪分布事搭建)

HDFS是进行存储的,YARN是进行调度的

1.切换到hadoop下面的etc(配置文件都在etc下面)

2.在hadoop中配置core-site.xml

Vi core-site.xml
指定HDFS中namenode的地址。将命令放到configuration标签中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop100:9820</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>

 3.在hadoop中配置hdfs-site.xml

命令:vi hdfs-site.xml
在configuration中指定HDFS的数量
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>

 4.格式化NameNode(第一次启动时格式化,以后就不要总格式化)

格式化命令:hdfs namenode –format 

5.启动namenode

命令:hdfs  - -daemon  start  namenode

6.启动datanode

命令:hdfs  --daemon start datanode

 7.配置yarn-site.xml

命令:vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
 <property>
  <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>

 8.配置mapred-site.xml

命令:[[email protected] hadoop]# vi mapred-site.xml

<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>
</configuration>

9.启动resourcemanager

命令:[[email protected] hadoop]# yarn --daemon start resourcemanager

 10.启动nodemanager

命令:[[email protected] hadoop]# yarn --daemon start nodemanager

 11.Jsp查看java进程

命令:jsp

 12.在HDFS中创建文件夹/user/input

命令:hdfs dfs -mkdir -p /user/input

 13.将文件上传到HDFS

命令:hdfs  dfs  –put 要上传的文件名 上传的地址
案例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

 14.查看hdfs的文件目录

命令:Hdfs dfs –ls 文件路径   
注意,这里面的根目录不是linux的根目录
案例:hdfs dfs -ls /user/input/

 15.查看hdfs中文件内容

命令:hdfs dfs –cat 文件名
案例:hdfs dfs -cat /user/input/wc.input

16.执行文件

命令:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置
案例:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

17.查看执行后的结果

命令:hdfs dfs -cat 输出文件路径/*
案例:hdfs dfs -cat /user/output/*

18.停止进程hdfa-daemon stop namenode Hdfs维护了一个抽象的目录

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>