linux启动spark命令,在linux上安装spark |
您所在的位置:网站首页 › spark进入命令 › linux启动spark命令,在linux上安装spark |
第一、通过xftp工具将spark安装包上传到linux上 第二、解压spark到指定目录: tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/ 第三、配置 1、在spark安装路径配置spark-env.sh,我的路径是/opt/module/spark-2.1.0-bin-hadoop2.7/conf 输入命令:vi spark-env.sh,如下 export JAVA_HOME=/root/training/jdk1.7.0_75(填自己的java_home配置路径) export SPARK_MASTER_HOST=bigdata111(填自己的主节点) export SPARK_MASTER_PORT=7077 2、在conf文件夹下配置slaves文件, 先输入命令:cp slaves.template slaves 再输入命令:vi slaves 然后添加自己的节点域名: 我的是:bigdata111 3.在sbin文件夹下用命令./start-all.sh启动spark,用jps命令查看进程 4.进入bin文件夹下,输入./spark-shell --master spark://bigdata111:7077,显示如下,则表示spark的伪分布式搭建成功 5.配置完全分布式环境,首先修改conf文件夹下的slaves文件,我的是添加 bigdata111 bigdata112 bigdata113 6.将配置好的虚拟机的配置信息复制到其他虚拟机的同名目录下 scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata112:/opt/module/ 7.在sbin文件夹下用命令./start-all.sh启动spark,用jps命令查看进程,也可以在浏览器上查看: 输入主节点:8080,显示如下,则表示spark完全分布式搭建成功。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |