论文解读:AlphaGo的三个关键技术详解 |
您所在的位置:网站首页 › 人工智能alphago › 论文解读:AlphaGo的三个关键技术详解 |
Alpha Go
来源:【知乎-机器学习前言-13-Alpha Go】 最近又回顾了一下之前经典的AlphaGo,有一种温故知新的感觉,在这里再记录下最新的想法。 原文传送门Silver et al_2016_Mastering the game of Go with deep neural networks and tree search_Nature 背景在AlphaGo出现前,传统的电脑围棋策略是通过一种称为Monte Carlo Tree Search(MCTS)的方法实现,其主要思想是通过计算推算不同落子方式的胜负情况,类似于人类思想的“往后想几步”,然后选择获胜概率最大的落子方式来执行。 但这种方法存在一个挑战就是,假如把所有的落子可能都进行计算,那么最多会有宽度为250,深度为150的树,以当前的算力,很难在1个小时内走出一步。因此,如何降低搜索树的size成为一个棘手的问题。 在深度学习和强化学习出现后,学者们把目光转向了使用机器学习方法,让机器自己学习各种情况可能带来的收益和风险,来最大程度降低搜索树的搜索深度和宽度。 方法总的来说,这篇工作一共使用了3种技术:监督学习,强化学习和MCTS。 首先监督学习(SL)训练了一个落子网络pσp_\sigmapσ和一个快速走子网络pπp_\pipπ,其中落子网络模型较大,需要耗费3ms3ms3ms来做出决策,而快速走子网络则仅需要2μs2\mu s2μs来做出决策,但是落子网络更像人类的下棋方法,具有57.0%的预测正确率,而快速走子网络则稍逊,仅有24.2%的正确率。 其次强化学习(RL)对训练好的落子网络pσp_\sigmapσ进行提升,主要通过自博弈来提升网络的落子策略,其次再训练了一个价值网络vθ(s)v_\theta(s)vθ(s),用于MCTS的剪枝操作。 最后使用MCTS执行最终的动作选择。强化学习方法是一种通过不断试错来优化自身策略的方法,这里使用RL提升落子网络的性能: 策略网络:通过复制训练好的落子网络得到初始网络pρp_\rhopρ,权重为ρ=σ\rho=\sigmaρ=σ。 对手:每个模型通过与自身历史版本中随机的一个模型来搏弈,来决定当前策略的好坏,从而进行不断提升,选择随机版本主要是防止过拟合于单一的博弈对象。 reward:只在最终决定胜负后才会获得+1或者-1的奖励,其余步的奖励均为0。 训练:采用随机梯度上升的方法,来增大最后的期望回报:Δρ∝∂logpρ(at∣st)∂ρ\Delta \rho\propto\frac{\partial\log p_\rho(a_t|s_t)}{\partial \rho}Δρ∝∂ρ∂logpρ(at∣st)。在提升策略网络性能的同时,RL另外训练了一个价值网络vp(s)v^p(s)vp(s)来估计棋盘的胜率: 价值网络:与策略网络类似,但输出由动作概率变为一个标量值,用来表示状态sss的胜率。 优化目标:通过减小自身预测胜率vθ(s)v_\theta(s)vθ(s)与真实胜率zzz间的均方误差,来预测不同状态的真实胜率Δθ∝∂vθ(s)∂θ(z−vθ(s))\Delta \theta\propto\frac{\partial v_\theta(s)}{\partial \theta}(z-v_\theta(s))Δθ∝∂θ∂vθ(s)(z−vθ(s))。 3 MCTSMCTS是一种搜索树,通过访问不同动作导致的状态来推测各个动作的价值,然后选择价值最高的动作执行。MCTS的流程如下图所示: 本以为是选择Q值最高的动作来执行,但论文中写“最终模型选择访问次数最多的动作来执行”,这里还不是很懂为什么?先记录一下,希望能得到解答。 结论本文只是对AlphaGo的知识点梳理了一下,具体的实施细节还是要查看论文,例如落子网络的输入,网络的结构,卷积核个数的影响等等。当前游戏AI的不少问题,仍然需要借鉴这篇著作的部分思想,包括搜索树的剪枝,自我博弈等等。 的确,生搬硬套强化学习方法来暴力解决游戏中遇到的问题并不实际,游戏和算法的发展仍然需要人类来不断推动。对游戏AI有兴趣的同学,可以在下方评论区进行讨论,也可以私信我,一起为强化学习/机器学习社区增添热闹。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |