创建自定义集群 |
您所在的位置:网站首页 › 帆软报表工具设置数据库参数 › 创建自定义集群 |
使用MRS的首要操作就是创建集群,本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 注册帐号后,如果需要对云上的资源进行精细管理,请使用IAM服务创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限,具体请参考创建MRS操作用户。 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。
创建集群时需要注意配额提醒。当资源配额不足时,建议按照提示申请足够的资源,再创建集群。 3.在创建集群页面,选择“自定义创建”页签。 4.参考软件配置配置集群信息后,单击“下一步”。 5.参考硬件配置配置集群信息后,单击“下一步”。 6.参考高级配置(可选)配置集群信息后,单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。 集群创建的状态过程请参见 集群概览章节 查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。 软件配置MRS集群软件配置 参数 参数说明 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 集群名称 集群名称不允许重复。 只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 默认名称为mrs_xxxx,xxxx为字母和数字的四位随机组合数,系统自动组合。 集群版本 当前版本为MRS 3.1.0。 集群类型 提供几种集群类型: l 分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。 l 流式集群:用来做流处理任务,提供的是流式处理组件。 l 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。 l 自定义:用户可按照业务需求调整集群服务的部署方式,具体请参见创建自定义拓扑集群。(目前仅MRS 3.x版本支持) 说明 l MRS流式集群不支持“作业管理”和“文件管理”功能~。~ l 如需在集群中安装全部组件,请选择“自定义”类型集群。 组件选择 MRS配套的组件如下:分析集群组件 l Presto:开源、分布式SQL查询引擎。 l Hadoop:分布式系统基础架构。 l Spark:内存分布式系统框架。(MRS 3.x版本不支持) l Spark2x:Spark2x是一个对大规模数据处理的快速和通用引擎,基于开源Spark2.x版本开发。(仅MRS 3.x版本支持) l Hive:建立在Hadoop上的数据仓库框架。 l HBase:分布式列数据库。 l Tez:提供有向无环图的分布式计算框架。 l Hue:提供Hadoop UI能力,让用户通过浏览器分析处理Hadoop集群数据。 l Loader:基于开源sqoop 1.99.7开发,专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。(MRS 3.x版本不支持) Hadoop为必选组件,且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。 l Flink:分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。 l Oozie:Hadoop作业调度系统。(仅MRS 3.x版本支持) l HetuEngine:HetuEngine是一个同异构大数据集的分布式SQL查询引擎。(仅MRS 3.1.x LTS版本支持) l Ranger:一个基于Hadoop平台监控和管理数据安全的框架。 l Impala:一种处理大量数据的SQL查询引擎。 l ClickHouse:ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 l Kudu:一种列存储管理器。 流式集群组件 l Kafka:提供分布式消息订阅的系统。 l Flume:提供分布式、高可用、高可靠的海量日志采集、聚合和传输系统。 l ZooKeeper:一个集中的服务,它用于维护配置信息、命名、提供分布式的同步和提供分组服务。(仅MRS 3.x版本支持) l Ranger:一个基于Hadoop平台监控和管理数据安全的框架。(仅MRS 3.x版本支持) 元数据 是否使用外部数据源存储元数据。 l 本地元数据: 元数据存储在集群本地。 l 数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“元数据”选择“数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。 l Hive l Ranger 数据连接类型 当“元数据”选择“数据连接”时该参数有效。用于表示外部数据源的类型。 l Hive组件支持的数据连接类型: − RDS服务MySQL数据库 − 本地数据库 l Ranger组件支持的数据连接类型: − RDS服务MySQL数据库 − 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务MySQL数据库”时,该参数有效。用于表示MRS集群与RDS服务数据库连接的名称,该实例必选先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考配置数据连接。 硬件配置MRS集群硬件配置 参数 参数说明 可用区 选择集群工作区域下关联的可用区。 可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 选择需要创建集群的子网,单击“查看子网”可查看所选子网的详细信息,若VPC下未创建子网,请在VPC服务控制台单击“创建子网”进行创建。网络ACL出规则配置请参考如何配置网络ACL出规则?。 说明 创建MRS集群需要的IP数量和集群节点和组件个数相关,集群类型不影响IP数量。 MRS集群部署默认需要的IP数量为:集群节点数量+2(Manager+DB),如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件,则每一个组件需要再加一个IP。若单独创建ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。 安全组 安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。 说明 选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。 说明 弹性公网IP必须和集群在同一区域。集群节点信息 参数 参数说明 CPU架构 MRS提供的CPU架构类型。 l x86计算:x86 CPU架构采用复杂指令集(CISC),CISC指令集的每个小指令可以执行一些较低阶的硬件操作,指令数目多而且复杂,每条指令的长度并不相同。由于指令执行较为复杂所以每条指令花费的时间较长。 l 鲲鹏计算:鲲鹏CPU架构采用精简指令集(RISC),RISC是一种执行较少类型计算机指令的微处理器,它能够以更快的速度执行操作,使计算机的结构更加简单合理地提高运行速度,相对于x86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗,可以提供更高的性价比。 常用模板 当“集群类型”选择“自定义”时该参数有效,请参考自定义集群模板说明选择。 节点类型 MRS提供节点类型: l Master:指集群Master节点,负责管理集群,协调将集群可执行文件分配到Core节点。此外,还会跟踪每个作业的执行状态,监控DataNode的运行状况。 l Core:指集群Core节点,处理数据并在HDFS中存储过程数据。分析集群将创建分析Core节点,流式集群将创建流式Core节点,混合集群分别创建分析Core和流式Core节点。 l Task:指集群Task节点,主要用于计算,不存放持久数据。主要安装Yarn、Storm组件。Task节点为可选节点,数目可以是零。分析集群将创建分析Task节点,流式集群将创建流式Task节点,混合集群分别创建分析Task和流式Task节点。 当集群数据量变化不大而集群业务处理能力需求变化比较大,大的业务处理能力只是临时需要,此时选择添加Task节点。 − 临时业务量增大,如年底报表处理。 − 需要在短时间内处理完原来需要处理很久的任务,如一些紧急分析任务。 实例规格 选择主节点和核心节点的实例规格。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。单击![]() ![]() ![]() ![]() MRS集群高级配置拓扑 参数 参数说明 标签 具体请参考添加集群标签。 主机名前缀 用作集群中ECS机器主机名的前缀。 弹性伸缩 请在“硬件配置”页签指定Task节点的规格,然后参考配置弹性伸缩规则配置。 引导操作 具体请参考添加引导操作。MRS 3.x版本暂时不支持该参数。 委托 通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源,请根据实际业务场景需求确认是否需要配置委托。 例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置存算分离集群(委托方式)。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。 指标共享 用于采集大数据组件的监控指标,当用户使用集群过程中出现问题时,供支持人员定位问题。MRS 3.x版本暂时没有该参数。 OBS权限控制 开启细粒度权限控制的用户可以通过该功能实现不同的MRS用户对OBS文件系统下的不同目录有不同的权限。具体请参见配置MRS多用户访问OBS细粒度权限。MRS 3.x版本暂时没有该参数。 数据盘加密 是否对集群挂载的数据盘中的数据进行加密,默认关闭。如需使用该功能,当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。MRS 3.x版本暂时没有该参数。 加密数据盘使用的密钥由数据加密服务(DEW,Data Encryption Workshop)中的密钥管理(KMS,Key Management Service)功能提供,无需您自行构建和维护密钥管理基础设施,安全便捷。 通过单击“数据盘加密”开启或关闭数据盘加密功能。 密钥ID 当“数据盘加密”功能开启时,显示该参数。用于显示已选择的密钥名称对应的密钥ID。MRS 3.x版本暂时没有该参数。 密钥名称 当“数据盘加密”功能开启时,需要配置该参数。选择用来加密数据盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。MRS 3.x版本暂时没有该参数。 使用用户主密钥加密云硬盘,若对用户主密钥执行禁用、计划删除等操作,将会导致云硬盘不可读写,甚至数据永远无法恢复,请谨慎操作。 单击“查看密钥列表”,进入密钥管理页面可以创建及管理密钥。 告警 开启告警功能可在集群运行异常或系统故障时,及时通知集群维护人员定位问题。 规则名称 用户自定义发送告警消息的规则名称,只能包含数字、英文字符、中划线和下划线。 主题名称 选择已创建的主题,也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。 主题是发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 l![]() ![]() ![]() ![]() 如果集群创建失败后,失败任务会自动转入“失败任务管理”页面。选择“集群列表 > 现有集群”,单击 MRS集群创建失败错误码列表如下表所示。 错误码 错误码 说明 MRS.101 用户请求配额不足,请联系客服提升配额。 MRS.102 用户Token为空或不合法,请稍后重试或联系管理员。 MRS.103 用户请求不合法,请稍后重试或联系管理员。 MRS.104 用户资源不足,请稍后重试或联系管理员。 MRS.105 现子网IP不足,请稍后重试或联系管理员。 MRS.201 因ECS服务导致失败,请稍后重试或联系管理员。 MRS.202 因IAM服务导致失败,请稍后重试或联系管理员。 MRS.203 因VPC服务导致失败,请稍后重试或联系管理员。 MRS.400 MRS内部出错,请稍后重试或联系管理员。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |