实验报告七 Spark安装与配置

最后一章学习 Spark安装与配置以下是实验步骤
一、在Windows下下载Scala和Spark
官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz
官网下载安装Scala： https://www.scala-lang.org/download/
在这里插入图片描述
二、将压缩包从Windows传输到Linux当前目录下:
put F:\大数据软件\scala-2.12.8.tgz
put F:\大数据软件\spark-2.4.3-bin-hadoop2.7.tgz
三、解压
tar -zxvf scala-2.12.8.tgz -C /home/shui
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /home/shui
四、重命名
（1）把scala-2.12.8 重命名为 scala
运行命令
mvs cala-2.12.8 scala
（2）把 spark-2.4.3-bin-hadoop2.7 重命名为 spark
运行命令
mv spark-2.4.3-bin-hadoop2.7 spark
在这里插入图片描述
四、测试
scala -version
在这里插入图片描述
五、
1、启动scala
在这里插入图片描述
2、启动spark
（1）先启动hadoop 环境
start-all.sh
在这里插入图片描述
（2）启动spark环境
进入到SPARK_HOME/sbin下运行start-all.sh
/home/shui/spark/sbin/start-all.sh
在这里插入图片描述
[注] 如果使用start-all.sh时候会重复启动hadoop配置，需要./在当前工作目录下执行命令
jps 观察进程 多出 worker 和 mater 两个进程。
查看spark的web控制页面：http://bigdata001:8080/
显示spark的端口是7070
（3）启动Spark Shell
此模式用于interactive programming，先进入bin文件夹后运行：spark-shell
SecureCRT 下 spark-shell 下scala> 命令行无法删除
（4）此模式用于interactive programming，先进入bin文件夹后运行：spark-shell
SecureCRT 下 spark-shell 下scala> 命令行无法删除

六、使用Spark Shell编写代码
1、读取本地件
2、显示第一行内容
在这里插入图片描述
3、对上述hdfs根目录下f1.txt文件进行词频统计
在这里插入图片描述4、查看结果
在这里插入图片描述
Spark安装与配置就到这里结束了。


更多精彩内容