Docker + Hadoop 搭建完全分布式 |
您所在的位置：网站首页 › add-host › Docker + Hadoop 搭建完全分布式 |
|
系统部署参考 Docker 下载：https://docs.docker.com/desktop/windows/install/ Docker 安装：https://www.runoob.com/docker/windows-docker-install.html 部署 Centos7Docker 国内源参考源 中科大网易源阿里镜像（建议）进入管理控制台 --> 产品与服务 --> 弹性计算 --> 容器镜像服务 --> 镜像加速器，复制自己的专属加速器地址。 添加 # Linux vi /etc/docker/daemon.json # MAC 请前往 Preferences -> Daemon 处设置重启 docker # Linux systemctl restart docker镜像部署拉取 docker pull centos:centos7检查本地镜像 docker images启动 docker run -itd --name 「DIY Image Name」 centos:centos7 /bin/Bash查看启动信息 docker ps管理容器 docker start/kill/stop/rm 「CONTAINER ID」进入容器 docker exec -it 「CONTAINER ID」 /bin/Bash制作开发环境镜像Centos 国内源参考 网易开源镜像站腾讯软件源清华大学开源软件镜像站中科大开源软件镜像阿里云官方镜像站基础工具安装vimLinux 最好用的文本编辑器 yum -y install vimnet-toolsLinux 网络管理工具 yum -y install net-toolsopenssh-clients/openssh-serverssh 客户端 yum -y install openssh-clients && yum -y install openssh-serveropenssl通过 SSL 保障，保证安全通信的软件库包 yum -y install opensslwget远程下载工具 yum -y install wget开发工具安装Mysql 安装请参考我的另一篇文章： 《Hadoop 高并发集群 与 开发环境部署》第 5.1 小节 Java 安装请参考我的另一篇文章： 《Hadoop 高并发集群 与 开发环境部署》第 5.2 小节 Python3 安装请参考我的另一篇文章： 《Hadoop 高并发集群 与 开发环境部署》第 5.3 小节 Scala 安装请参考我的另一篇文章： 《Hadoop 高并发集群 与 开发环境部署》第 5.4 小节 制作镜像打包镜像 docker commit -a "「Image Name」" -m "「Comment」" 「CONTAINER ID」 「Image Name」:v「version」开始生产集群统一口径创建网络docker network create --subnet=192.168.10.1/24 「Net Name」统一 IP 和 HostNameNode docker run -itd --name nn \ --privileged=true -p 50070:50070 -p 8080:8080\ --hostname nn \ --net hadoop --ip 192.168.10.10 \ --add-host dn1:192.168.10.11 \ --add-host dn2:192.168.10.12 \ -d 「Image Name」（记得带版本号）\ /usr/sbin/init如果需要开放端口请添加-p参数内容为 容器内端口:映射至本机的端口 DataNode 1 docker run -itd --name dn1 \ --privileged=true \ --hostname dn1 \ --net hadoop --ip 192.168.10.11 \ --add-host nn:192.168.10.10 \ --add-host dn2:192.168.10.12 \ -d 「Image Name」（记得带版本号）\ /usr/sbin/initDataNode 2 docker run -itd --name dn2 \ --privileged=true \ --hostname dn2 \ --net hadoop --ip 192.168.10.12 \ --add-host dn1:192.168.10.11 \ --add-host nn:192.168.10.10 \ -d 「Image Name」（记得带版本号）\ /usr/sbin/initSSH 配置请参考我的另一篇文章： 《Hadoop 高并发集群 与 开发环境部署》第 6.2.2 小节 Hadoop 完全分布式部署准备下载地址 wget https://dlcdn.apache.org/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz准备目录 mkdir /usr/hadoop \ && mkdir /usr/hadoop/tmp \ && mkdir /usr/hadoop/hdfs/name \ && mkdir /usr/hadoop/hdfs/data环境变量请解压后自行配置 变量名请遵守：HADOOP_HOME 修改配置地址：$HADOOP_HOME/etc/hadoop/ core-site.xml hadoop.tmp.dir file:/usr/local/hadoop/tmp fs.defaultFS hdfs://nn:9000 hdfs-site.xml dfs.replication 3 dfs.namenode.name.dir /usr/hadoop/hdfs/name dfs.datanode.data.dir /usr/hadoop/hdfs/data mapred-site.xml复制 mapred-site.xml.template 为 mapred-site.xml cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml mapreduce.framework.name yarn mapred.job.tracker http://nn:9001 yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname nn masters地址： $HADOOP_HOME/etc/hadoop/masters 内容： nnslaves地址： $HADOOP_HOME/etc/hadoop/slaves 修改内容: 「datanode HOST 1」 「datanode HOST 2」 ............ 「datanode HOST n」Hadoop-env.sh前往该文件中添加 JAVA_HOME 避免出现识别不到 JDK 的情况 同步使用 scp 命令同步所有变动文件 参考: scp -r /usr/dt dn1:/usr/检验初始化 HDFS hadoop namenode -format启动 Hadoop sh $HADOOP_HOME/sbin/start-all.sh查看集群状态 hadoop dfsadmin -report |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |