交通数据分析系统：安装部署

交通数据分析系统：安装部署

1、实验描述

• 出租车数据分析实验环境安装部署

2、实验环境

• 虚拟机数量：1
• 系统版本：Centos 7.5
• Spark版本：2.1.1

3、相关技能

• 熟悉Linux操作系
• Spark 环境安装部署

4、知识点

• 安装Spark程序运行环境

5、效果图

• 效果图

6、实验步骤

6.1Spark环境安装部署

6.1.1解压spark压缩包

6.1.1.1打开linux命令行终端（桌面上点鼠标右键，选择“打开终端”）

6.1.1.2命令行终端中，切换到spark压缩包所在目录/home/zkpk/tgz/spark

[zkpk@master ~]$ cd /home/zkpk/tgz/spark

6.1.1.3将spark压缩包解压缩到用户的根目录

[zkpk@master spark]$ tar -xzvf spark-2.1.1-bin-hadoop2.7.tgz -C /home/zkpk

6.1.2查看解压出的spark目录中的内容

6.1.2.1返回用户要目录

[zkpk@master spark]$ cd

6.1.2.2进入解压出的spark目录

[zkpk@master ~]$ cd spark-2.1.1-bin-hadoop2.7/

6.1.2.3查看此目录内容

[zkpk@master spark-2.1.1-bin-hadoop2.7]$ ll

6.1.3配置环境变量

6.1.3.1回退到用户根目录

[zkpk@master spark-2.1.1-bin-hadoop2.7]$ cd

6.1.3.2vim编辑.bash_profile文件

[zkpk@master ~]$ vim .bash_profile

6.1.3.3加入以下两行

export SPARK_HOME=/home/zkpk/spark-2.1.1-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

6.1.3.4运行source命令，重新编译.bash_profile，使添加变量生效

[zkpk@master ~]$ source .bash_profile

6.1.4验证Spark安装部署是否生效

6.1.4.1运行spark-shell

[zkpk@master ~]$ cd spark-2.1.1-bin-hadoop2.7[zkpk@master spark-2.1.1-bin-hadoop2.7]$ bin/spark-shell

6.1.4.2出现如下界面即为spark环境安装部署成功

7、总结

完成本实验能够手动安装Spark运行环境，为后面的spark算法预测出租车相关问题实验准备环境基础。