编者按：人工智能是现代科技最热门的一个课题，在各个领域中都有很广泛的应用。其中，乒乓球机器人作为人工智能产品的显著代表，已经发展了三十多年的时间。乒乓球运动有五大核心要素：速度、力量、旋转、弧线和落点，其中，乒乓球最核心的要素就是旋转。目前的乒乓球机器人已经可以完成击打低速、无旋转的球，但是无法完成击打带旋转的乒乓球的任务，主要是乒乓球的旋转测量是最大的难点。上海理工大学机器智能研究院季云峰老师的博士论文就立足于此，主要基于人工智能的算法对乒乓球的旋转进行测量和推算，提出新的想法和思路去计算旋转的速度大小、方向和类型。因篇幅所限，本文向大家重点分享季云峰博士论文的绪论、总结与展望，其中2-6章分享每章小结。 

（作者与乒乓球机器人打球，视频源自机器人会议IROS2021）

01

绪论

1.1 人工智能

随着现代科技水平的日益进步发展，人工智能，简称AI（Artificial Intelligence）已经成为引领现代科技发展的重要一环。2016年3月15日，由谷歌研发出的阿尔法狗以四胜一负的成绩打败围棋顶尖高手李世石，这也标志着现代科技从互联网时代向人工智能时代开始发展。

人工智能就是指用机器的方法在机器或者计算机上实现的智能，或称机器智能、计算机智能。从历史上来看，人类的智能从两个方面进行发展：第一是归纳总结，第二是逻辑演绎，第一方面类似于人工智能中的联结主义，第二方面跟吴文俊提出的符号主义方法类似。联结主义者提出假设：认为人类的视觉听觉对信号的感知处理不经过意识进行思考，而是基于大脑皮层神经网络的学习方法。故他们在设计方法时采用“黑箱”方法，对学习过程不进行深度追究，给出大量数据及学习方法，通过机器自主学习而获得最终结果。

而符号派学者则认为，人类在进行数学推导或者定理证明的时候是有强烈主观意识的，基于公理系统通过符号演算最终得到结果的。所以他们在设计方法时采用的是“白箱”方法，希望通过设计具体的公式来对问题进行解答，对计算过程同样加以重视，希望获得完整的机器学习流程。这两种方法就是目前人工智能领域中最为常见的方法，在各个方向应用中的算法都是这两种方法的延伸。

人工智能是人类科学创造出来的一个学科，归根结底还是需要对人进行服务。要让机器满足人类的需要，首先需要全面了解人类的思维，让机器学习人类的思维方式，最终替代人类大脑对一些复杂事物进行处理。对人工智能进行深入解析，所谓“智能”通常是指人们在认识与改造客观世界的活动中，由思维过程和脑力劳动所体现的能力，它包括感知能力、思维能力和行为能力。而人的智能的核心在于知识，智能表现为知识获取能力、知识处理能力和知识运用能力。所以，人类在研究人工智能时，将“智能”的表现转化为机器能听懂的步骤，主要分为三个步骤来替代人类对知识的处理过程：

结合这三方面问题研究，现代人工智能目前具体的研究和应用主要集中在模式识别、物景分析、专家系统、智能控制和机器人等领域。而在这其中最能体现集中人工智能各方面功能的代表就是机器人。机器人是一个集环境感知、动态决策和规划、行为控制与执行于一体的复杂的人工智能系统。人工智能技术的不断进步，给传统机器人研究注入了新鲜的血液，促进现代机器人技术的高速发展。

1.2 乒乓球机器人

目前针对传统机器人的研究主要集中在规划机器人手臂的运动、臂章和实现一些基本的目标动作序列的功能上，大多数应用于工业上。但大多数工业机器人只能进行重复性的工作，按照一定的程序序列进行移动或者抓取等功能，都并没有将人工智能的思想和技术应用进去。随着人工智能思想的发展，智能机器人的研究和应用逐渐被推广，应用在广泛的学科交叉中。目前机器人技术正在从传统的制造领域向医疗服务、生物工程、国防科技和体育产业等领域中迅速扩展，针对不同领域中不同功能的机器人系统成为现在主流的开发和研究目标。

机器人的发展目前已经迅速渗透进体育领域中，大量智能体育机器人被研究者开发出来，例如足球机器人，篮球机器人，羽毛球机器人和乒乓球机器人等。而在这其中，较为特殊的属于乒乓球机器人，因为在乒乓球运动中，乒乓球的飞行速度很快，可以达到10m/s以上。所以，乒乓球机器人最大的难点在于解决快速视觉领域中的跟踪，轨迹预测以及动作规划等问题，需要涉及到视觉感知与智能控制等多方面领域，这是一个非常具有挑战性和趣味性的课题。

乒乓球机器人的研发充分利用到人工智能的三方面问题研究，需要研发3个子系统：视觉系统、决策系统和执行系统，这三个子系统对于乒乓球机器人系统的研发都很重要，并且彼此依赖，缺一不可。这三个子系统的任务和目标如下：

想要成功研发出一台完整的乒乓球机器人，需要用到视觉和控制领域很多专业知识，在软硬件上面都需要配套设计，这是一个非常具有挑战性的任务。本文主要针对乒乓球机器人的软件系统进行研究，其中，最重要的便是完成对乒乓球的识别及轨迹预测。

从上世纪80年代开始，国内外就有很多学者开始从事乒乓球机器人的研发，并将其中大部分的精力用于研发视觉系统中。

国外研究乒乓球机器人比国内要早，从日本的贝尔实验室研发出第一台乒乓球机器人开始，日本东芝公司、日本大阪大学、西班牙拉古纳大学、美国纽约罗彻斯特理工学院以及德国达姆施塔特工业大学等地方相继展开了对乒乓球机器人的研究，设计了多种乒乓球机器人，有机械臂，人形，导轨等多种，在视觉系统上也不断创新，使用单目、双目等多种视觉系统，已基本可以实现与低速无旋转与人对打。

国内在乒乓球机器人的研发上起步较晚，目前主要有浙江大学、中科院、北京理工大学和哈尔滨工业大学等高校及研究机构针对乒乓球机器人的视觉系统进行研究和开发。其中，浙江大学团队从事乒乓球机器人研发十多年，在这个领域处于国内的领先水平，其创造出的人形机器人“悟”和“空”已经可以在低速无旋转的情况下连续击球145下。

1.3 乒乓球机器人视觉系统

乒乓球机器人在世界上作为高科技水平的象征，受到国内外很多学者的关注和研究，要建造一个与人对打的乒乓球机器人，关键在于要对机器人的系统进行研发。前文说过，可以将乒乓球机器人的系统分为三个部分：视觉系统、决策系统和执行系统，而在这三个部分中，视觉系统作为首当其中的一项，扮演着十分重要的角色。乒乓球由于其体积小，重量轻，故比赛过程中飞行速度很快，国内外顶级水平的运动员可以打出超过20m/s的速度，一般的选手也可以打出5m/s以上的速度，而一张正规乒乓球球桌的长度为2.74m，这就意味着打一回合乒乓球的时间仅需要0.5s。而机器人需要在这0.5s的时间中完成乒乓球的识别、跟踪、预测以及动作规划，这对机器人处理速度有很高的要求。而处理任务中，基于图像的识别跟踪占很大比例，这些都是视觉系统需要解决的问题，所以对视觉系统的处理速度要求很高，乒乓球机器人的视觉系统关键的研发重点和难点就是实时性和准确性。

02

基于单目视觉的

无标记乒乓球旋转测量方法

本章节主要针对无标记乒乓球旋转速度测量问题，提出了一种基于单目视觉的高速旋转球体的三维速度的方向及大小的测定算法，利用乒乓球上商标的运动轨迹来识别球体旋转速度及旋转轴的方向。

测量旋转速度时识别商标中心，计算商标的运动形成的弧线轨迹，并弧线距离近似为直线距离，根据摄像机的帧率计算速度大小。测量旋转轴方向是将摄像机角度固定，当球体旋转轴正对摄像机时，球体标记运动形成的运动轨迹是一个圆，而当球体旋转轴方向发生改变时，球体标记运动轨迹将会变成一个椭圆，不同的方向形成椭圆的长短轴不一样，利用这个特征来计算旋转轴的方向。

目前的算法可以通过任意5帧图像或者连续4帧图像识别实现，可用于测量乒乓球旋转中，旨在应用于乒乓球机器人的视觉识别，对机器人后续阶段的运动规划和控制决策起到重要的作用。并对所提算法进行了实验验证，得到与理论结果误差较小的实验数据，从而验证了方法的可行性。

03

基于神经网络的乒乓球旋转

与运动轨迹相关性探讨研究

本章节设计了一种基于人工神经网络的探讨乒乓球运动中初始速度，旋转及位置信息与落点坐标之间关系的算法，先是通过实验获得精确的初始位置坐标，精确的初始速度大小及方向，以及精确的旋转速度大小及方向，把这9个初始数据作为神经网络的输入信息，将精确的落点坐标作为输出信息，利用Levenberg Marquardt算法作为拟合算法，来探讨输入输出信息之间相关性。

本章节的创新点有以下几点：

作为第一次探讨精确速度、旋转数据对落点影响的实验，本章节也同样存在一些问题和不足，需要在以后的研究中加以改进，本文的不足之处主要有以下几点：

虽然本实验存在一些不足之处，但是已经在一定程度上已经验证了乒乓球运动轨迹与旋转之间存在很大的相关性，为反推精确旋转提供了理论及实验基础，接下来的工作即为利用乒乓球的运动轨迹来反推旋转速度。

04

乒乓球轨迹反向推导

旋转方法理论与实验研究

对乒乓球的旋转进行测量一直是运动领域和视觉领域的一个难点，本章节摒弃了之前通过对乒乓球添加标记直接测算乒乓球旋转速度的方法，创新性的利用乒乓球的运动轨迹反推乒乓球的旋转速度。

本文第二章中直接对球体旋转计算的公式被用来获得实验中旋转速度的数据，第三章证明了旋转与运动轨迹有很大的相关性，本章节通过对乒乓球受力分析建立数学模型，设计大量实验获得轨迹数据，最终通过遗传算法迭代出模型中的系数矩阵，实现了反推公式的完整推导。根据旋转反推公式，今后的旋转识别可以通过对乒乓球轨迹进行识别，反方向计算旋转信息，转离线为在线，根据球接触球拍之后的几帧图像获得初始信息，利用初始信息来反推乒乓球的旋转速度的方向和大小。

今后的工作方向主要是在实验中添加更多类型，将迭代的实验数据进一步完善，从而使得反推公式更加精确，更加符合实际情况。

05

基于图像的乒乓球跟踪问题研究

本章主要针对乒乓球的跟踪识别问题进行了研究，从高速摄影和低速摄影两个角度去考虑。在高速摄影下利用乒乓球的特征信息进行识别，在低速摄影下将图像分割、机器学习和图像匹配方面的知识进行整合与利用，从而完成识别。最终用实验进行验证，实现了跟踪目标。

本章节的创新点有以下几点：

虽然本章节通过实验的方法完成了高速及低速摄影下的乒乓球跟踪，但是同样也具有一定的局限性和不足之处，主要有以下几点：

1）图像处理方法上创新性不够，使用的方法基本都是已经成熟的算法，起到了整合方法的作用，但并未提出新的图像处理算法；

2）机器学习的样本不够，本章节主要针对某些特定现实场景进行实验，当应用于其他场景时，需要对训练样本加以更新；

3）并未考虑遮挡下的识别问题。

虽然本章节的乒乓球跟踪实验存在一些不足之处，但是已经针对高速和低速摄影下提出不同的算法，基本可以满足正常的跟踪需要。乒乓球的跟踪问题解决即可获得乒乓球运动的轨迹，这对于乒乓球的旋转反推和落点预测都起到很大的作用。今后将会继续针对乒乓球跟踪问题进行研究，克服现有不足，争取实现在实时性的基础上保证最大的准确率，为乒乓球机器人做出一个完美的视觉系统做贡献。

06

基于Kinect的乒乓球运动员动作识别及旋转预判

利用运动员动作来判断乒乓球旋转类型是对旋转推算的一个预先铺垫，符合运动员判断旋转类型的思维模式。本章节利用Kinect深度摄像机进行识别检测，不受光线、位置、背景等环境因素影响，抗干扰能力强，通过改进的SVM算法来对动作进行分类，根据动作分类来判断旋转类型，再通过动态时间规整算法来对旋转强弱进行分类，最终实现对来球旋转类型和强弱的预判。

实验证明识别准确率较高，进一步验证了算法的可行性。接下来的研究方向是对动作类别进行细化，改进算法，更加精确的判断旋转大小及方向，最终实现对乒乓球旋转的检测和识别。

07

总结与展望

7.1 总结

本文主要研究的是乒乓球旋转的测量和推算问题，利用一些基于人工智能的算法对乒乓球的旋转计算问题进行探讨。本文第二章针对无标记的单色乒乓球利用几帧图像中商标的位置来计算乒乓球的旋转速度大小和方向，这是直接测量计算旋转的方法，除此之外，本文利用通过轨迹反推旋转的方法来测量旋转。本文的第三章通过神经网络拟合的方法验证了乒乓球轨迹与速度、旋转之间的相关性很大，接下来第四章利用数学建模的方法建立出轨迹反推旋转的公式。获得反推公式之后，将需要事先获得运动轨迹数据，第五章提供了两种算法来对乒乓球进行跟踪，实现了轨迹数据的获得，从而可以实现轨迹反推旋转的算法。本文第六章从另一方面考虑旋转测算的问题，通过识别运动员的动作来对旋转的类型和强度进行分类，这是运动员对旋转进行预判的思路，本文引入进识别中，对乒乓球旋转的测量和推算有了更好的促进效果。

本文主要针对以上几大点问题进行研究，设计算法对每个问题中的难点进行研究，提出对应的解决方案，对每个问题进行研究都会设计对应实验验证，最终对实验结果进行分析，进行总结。

本文的创新性成果及结论如下：

7.2 展望

虽然本文针对乒乓球旋转的测量与推算问题提出了一些基于人工智能的算法，一定程度上解决了旋转的测算问题，但在研究过程中仍然存在一些难点需要进行更加深入的研究，具体在如下几个方面：

（参考文献略）

作者简介：季云峰，中国乒乓球学院第一个博士，上海理工大学机器智能研究院院聘副教授、硕士生导师。乒乓球国家一级运动员。从事乒乓球机器人研究10余年，牵头研制了智能乒乓球机器人——小丘，牵头制定了国内外第一个《乒乓球机器人》标准（T/CSPSTC 60-2020），申请/授权乒乓球机器人相关发明专利8项，发表国际机器人顶级会议IROS 3篇，发表SCI、EI及核心期刊论文30余篇。