安装配置和启动GDS |
您所在的位置:网站首页 › gds下载后看看视频就能挣钱吗 › 安装配置和启动GDS |
操作场景
GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。 背景信息GDS的版本需与集群版本保持一致(如:GDS V100R008C00版本与DWS 1.3.X版本配套),否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后,请按照操作步骤中的办法下载GaussDB(DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时,GaussDB(DWS)也会进行两端的版本一致性检测,不一致时会在屏幕上显示报错信息并终止对应操作。 GDS的版本号的查看办法为:在GDS工具的解压目录下执行如下命令。 gds -V数据库版本的查看办法为:连接数据库后,执行如下SQL命令查看。 1 SELECT version(); 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。以上传SUSE Linux版本的工具包为例 ,将GDS工具包“dws_client_8.x.x_suse_x64.zip”上传至上一步所创建的目录中。 (可选)如果使用SSL加密传输,请一并上传SSL证书至2所创建的目录下。 在工具包所在目录下,解压工具包。cd /opt/bin/dws unzip dws_client_8.x.x_suse_x64.zip 创建GDS专有用户及其所属的用户组。此用户用于启动GDS及读取源数据。groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。chown -R gds_user:gdsgrp /opt/bin/dws/gds chown -R gds_user:gdsgrp /input_data 切换到gds_user用户。su - gds_user若当前集群版本为8.0.x及以前版本,请跳过9,直接执行10。 若当前集群版本为8.1.x版本,则正常执行以下步骤。 执行环境依赖脚本(仅8.1.x版本适用)。cd /opt/bin/dws/gds/bin source gds_env 启动GDS服务。GDS是绿色软件,解压后启动即可。GDS启动方式有两种: 方式一:直接使用“gds”命令,在命令项中设置启动参数。 方式二:将启动参数写进配置文件“gds.conf”后, 使用“gds_ctl.py”命令启动。 对于集中一次性导入的场景推荐使用第一种方式。对于需要隔段时间再次导入的场景,推荐使用第二种方式以配置文件的形式提升启动效率。 方式一:直接使用“gds”命令,启动GDS。 非SSL模式传输数据的情况下,启动GDS。gds -d dir -p ip:port -H address_string -l log_file -D -t worker_num示例: /opt/bin/dws/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D -t 2 使用SSL加密方式传输数据的情况下,启动GDS。gds -d dir -p ip:port -H address_string -l log_file -D -t worker_num --enable-ssl --ssl-dir Cert_file示例: 以4中SSL证书以上传至/opt/bin为例,命令如下。 /opt/bin/dws/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D --enable-ssl --ssl-dir /opt/bin/命令中的斜体部分请根据实际替换。 -d dir:保存有待导入数据的数据文件所在目录。本教程中为“/input_data/”。 -p ip:port:GDS监听IP和监听端口。默认值为:127.0.0.1,需要替换为能跟GaussDB(DWS)通信的万兆网IP。监听端口的取值范围:1024~65535。默认值为:8098。本教程配置为:192.168.0.90:5000。 -H address_string:允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许GaussDB(DWS)集群可以访问GDS服务进行数据导入。所以请保证所配置的网段包含GaussDB(DWS)集群各主机。 -l log_file:存放GDS的日志文件路径及文件名。本教程为“/opt/bin/dws/gds/gds_log.txt”。 -D:后台运行GDS。仅支持Linux操作系统下使用。 -t worker_num:设置GDS并发线程数。GaussDB(DWS)及数据服务器上的I/O资源均充足时,可以加大并发线程数。GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务处理时,一条INSERT语句就是一个导入事务。 --enable-ssl:启用SSL加密方式传输数据。 --ssl-dir Cert_file:SSL证书所在目录。需与4中的证书保存目录保持一致。 关于更多参数的设置信息请参考gds命令简介。 方式二:将启动参数写进配置文件“gds.conf”后, 使用“gds_ctl.py”命令启动。 使用如下命令,进入GDS工具包的“config”目录下,配置“gds.conf”文件。“gds.conf”配置详细信息请参考表1。vim /opt/bin/dws/gds/config/gds.conf示例: 配置“gds.conf”文件如下: 配置文件信息如下: 数据服务器所在IP为192.168.0.90,GDS监听端口为5000。 数据文件存放在“/input_data/”目录下。 错误日志文件存放在“/err”目录下。该目录需要拥有GDS读写权限的用户自行创建。 单个数据文件大小为100MB。 每个错误日志大小为100MB。 日志保存在“/log/gds_log.txt”文件中。该目录需要拥有GDS读写权限的用户自行创建。 只允许IP为10.10.0.*的节点进行连接。 GDS进程以后台方式运行。 递归数据文件目录。 指定并发导入工作线程数目为2。 执行如下命令启动GDS并确认GDS是否启动成功。python3 gds_ctl.py start示例: cd /opt/bin/dws/gds/bin python3 gds_ctl.py start Start GDS gds1 [OK] gds [options]: -d dir Set data directory. -p port Set GDS listening port. ip:port Set GDS listening ip address and port. -l log_file Set log file. -H secure_ip_range Set secure IP checklist in CIDR notation. Required for GDS to start. -e dir Set error log directory. -E size Set size of per error log segment.(0 < size < 1TB) -S size Set size of data segment.(1MB < size < 100TB) -t worker_num Set number of worker thread in multi-thread mode, the upper limit is 200. If without setting, the default value is 8. -s status_file Enable GDS status report. -D Run the GDS as a daemon process. -r Read the working directory recursively. -h Display usage. gds.conf参数说明 表1 gds.conf配置说明属性 说明 取值范围 name 标识名。 - ip 监听ip地址。 IP需为合法IP地址。 IP的默认值:127.0.0.1 port 监听端口号。 取值范围:1024~65535,正整数。 默认值:8098。 data_dir 数据文件目录。 - err_dir 错误日志文件目录。 默认值:数据文件目录 log_file 日志文件路径。 - host 设置允许连接到GDS的主机IP地址(参数为CIDR格式,仅支持linux系统)。 - recursive 是否递归数据文件目录。 取值范围: true:递归 。 false:不递归。默认值:false。 daemon 是否以DAEMON(后台)模式运行。 取值范围: true:以DAEMON模式运行。 false:不以DAEMON模式运行。默认值:false。 parallel 导入工作线程并发数目。 取值范围:0~200,正整数。 默认值:8。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |