联邦学习FATE(单机部署)案例搭建+安装(超详细) |
您所在的位置:网站首页 › 联邦服务app最新版本 › 联邦学习FATE(单机部署)案例搭建+安装(超详细) |
前言
最近刚刚接触了联邦学习,准备搭建一个联邦学习的案例,但是遇到了很多问题,因此写这篇文章记录一下,希望能帮助到更多的人。 最开始的时候尝试的是Ubuntu,但是错误很多就选择了centos7 目录 前言 一、使用环境 1.1 安装VMware Workstation 16 Player 1.2 下载CentOS7 1.3 创建虚拟机 二、安装FATE 2.1 检查端口 2.2 下载FATE安装包 三、测试 3.1 启动fate flow 3.2 配置环境变量 3.3 单元测试 3.4 toy测试 3.5 安装fate-client和fate-test
四、案例实战 4.1 上传数据 4.2 训练模型 总结 一、使用环境VMware Workstation 16 Player +CentOS7 1.1 安装VMware Workstation 16 Player官网下载链接 点击上方链接进行下载。选择windows版本点击立即下载。 由于笔者已经下载了VMware16 接下来就是正常的下载步骤,在许可证的那里不用填写,因为不用做商业用途,可以免费使用。 1.2 下载CentOS7打开centos7官网,下载x86_64版本,开源免费。centos官网 下载ISO版本。 打开VMware16,创建虚拟机 注意版本要选择CentOS 7 64位 为你的虚拟机起一个名字,并选择位置。 这里建议磁盘大小大一点,否则稍后安装FATE的时候会导致内存不足。 我把硬盘和内存都弄得大了一些。 使用ISO影像文件->浏览->选择刚才下载centos7映像文件 点击播放虚拟机。 直接回车,安装centos7 等待安装…… 成功安装后把语言设置为简体中文。 选择[软件选择]-带GUI的服务器-完成。 选择[安装位置]-我要配置分区。 点击+进行分区,设置完/boot和swap后,剩余内存都会给到根目录。 容量这里根据自己的需求设置。 swap和/如boot同理。 点击完成后会弹出更改摘要,选择[接受更改]即可。 选择[网络和主机名],打开网络连接并给主机命名。 上述操作结束后,点击开始安装。 在安装过程中,设置[root密码],这里最开始忘记截图了正常应该是未设置密码。 点击完成。 继续等待安装…… 此时还没接受许可证,点击[许可证信息]--[我同意许可协议]-[完成]-[完成配置] 进下来按照提示,逐步完成操作。 在centos7桌面点击鼠标右键打开终端进入超级用户 su root如果提示鉴定故障,则说明没有设置密码。输入如下代码设置密码。 sudo passwd root输入su root,进入超级用户。 以下3个端口在安装时都有用处,如果端口被占用则关闭相应程序。 正常依次输完3段代码不会有任何提示则说明端口没有被占用。 代码如下(示例): netstat -apln|grep 8080; netstat -apln|grep 9360; netstat -apln|grep 9380 2.2 下载FATE安装包代码如下(示例): wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/standalone_fate_master_1.6.0.tar.gz为了加快下载速度使用了清华源。
在经过一长串的解压后就完成了,可以看到主文件夹下多了一个解压后的fate文件夹。
可以看到fate flow使用了9380和9360端口。 ![]() 这个时候输入localhost:8080即可进入fateboard。 tips:接下来的所有操作都是在standalone_fate_master_1.6.0的终端下进行的。 3.1 启动fate flow代码如下: bash init.sh status bash init.sh start显示服务器已经启动。 输入如下代码时,自动配置相关环境变量。 source bin/init_env.sh运行成功后会进入(venv)。 ![]() 输入如下代码: bash ./python/federatedml/test/run_test.sh结果显示there are 0 failed test,则测试成功。 输入如下代码: python ./examples/toy_example/run_toy_example.py 10000 10000 0结果显示success to calculate secure_sum, it is 2000.0或者和提示差不多,则测试成功。 这里我的显示结果是1999.n个9,类似结果就说明成功。 3.5 安装fate-client和fate-test 方便进行交互和测试。 如果报错可以尝试 -i https://pypi.tuna.tsinghua.edu.cn/simple/ 安装。 python -m pip install fate-client python -m pip install fate-test 四、案例实战使用的是fate自带的横向逻辑回归数据。 4.1 上传数据代码如下: python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json; python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json ; python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json打开fateboard界面,显示数据已经上传成功。
如果想重新上传数据的话,需要在json文件后加“drop=1”,因为原则上不可以重复上传。 代码如下所示: python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json drop=1 python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json drop=1 python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json drop=1 4.2 训练模型上传配置文件并训练。 代码如下: python ./python/fate_flow/fate_flow_client.py -f submit_job -c ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json -d ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json训练成功。 这时候再看fateboard的running部分,就会发现刚才上传的且正在训练的数据。 回到job查看训练结果,点击job的id。 点击每个模块的view the outputs可查看结果。
总结 刚开始接触联邦学习希望这篇文章能对大家有帮助。最开始也是按照其他的博主的方法去操作,遇到了一些问题。最后把自己的经验操作整合了一下,写完了这篇文章。 参考文章: Fate单机部署(主机版本)_一览天下945的博客-CSDN博客_fate单机部署 【联邦学习FATE框架实战】(一)FATE1.6单机部署教程_HarrisonWu42的博客-CSDN博客_fate框架 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |