从零制作视觉抓取机械臂实物系列:一、让机械臂实物动起来(1) |
您所在的位置:网站首页 › 3dmax怎样让物体跟随运动动起来 › 从零制作视觉抓取机械臂实物系列:一、让机械臂实物动起来(1) |
视觉机械臂整体介绍
1、课程介绍2、抓取流程框架3、硬件简介3.1、机械臂选择3.2、控制器以及通讯方式选择3.3、相机选择
硬件准备
1、课程介绍
大家好,我是拿笔小新的新。上课之前我们得明白学这门课能学到啥知识,以及学完了之后我们可以做个什么东西出来。这门课主要针对机械臂入门的学员,以实物制作为导向,需要的预备知识:很简单的线性代数矩阵知识以及windows下安装软件的能力,本门课的实现都是在电脑上完成的,不涉及单片机编程,我会给大家推荐现成的开源控制器。 你将用超短的时间学会: 除了机械臂本身,你还能学到许多超赞的技能: 如何优雅的使用anaconda使用python与各种软件包如何站在巨人的肩膀上为自己的机器人项目添砖加瓦——巧用开源代码github与码云的使用 机械臂方面的知识:了解各种机械臂与相机的选择最基本的视觉机械臂抓取的流程如何用串口与机械臂通讯坐标变换、变换矩阵DH参数法建立机械臂模型、几何法建立机械臂模型以及运动学正逆解3种常用自由度机械臂的使用(3、5、6DOF)opencv-python的简单使用以及简单的目标检测示例最简单的手眼标定是不是感觉知识太多了,还要些自己没有听过的名词,不着急,我后面马上就会用最通俗易懂的措辞来解释,你只用听完第一节课就明白这些复杂的名词与流程了。 最终,你将拥有一定的动手能力,能完全靠自己制作一个简单的视觉抓取机械臂实物(基于python语言),大致可以做到这个视频中一样:小憨机器人功能演示 2、抓取流程框架我们首先来想想,如果你想牵你女朋友的手,是个怎么样的流程呢,眼睛得到女朋友手的位置——>把自己的手移动过去牵住。
那修改一下流程,眼睛得到女朋友手的位置与姿态——>把自己的手以合适的姿态移动过去牵住。 那我们回到视觉机械臂抓取上来:视觉感知到物体的位姿(三维的坐标与三维的角度)——>机械手末端执行器以适合的姿态到该位置抓取物体 注:姿态有时很重要,有时也没那么重要,甚至可以忽略,如抓取一个球的时候,反正得看具体的抓取需求,这个大家想清楚后根据自己的生活经验就能判断了。 那么,具体流程如下: 我们只需要解决上述几个难点,就可以实现整个流程,那么这些难点都需要什么知识来解决呢。 步骤2:目标检测 步骤3:相机成像原理、坐标变换、变换矩阵 步骤4:手眼标定、坐标变换、变换矩阵 步骤5:生活常识 步骤6:运动学逆解、坐标变换、变换矩阵 步骤7:路径规划 步骤8:机械臂通讯与控制 这就跟我上面所说的一大堆名词知识串起来了 3、硬件简介一听这个课程的名字,我们就知道硬件需要相机以及一个机械臂,当然还需要控制器以及通讯模块。那我们该如何选择这些硬件呢。 3.1、机械臂选择首先是机械臂,一般我们要根据需求选择机械臂的载荷、工作范围、控制精度以及自由度,但由于价格的原因,我们这个课只能在淘宝上选择一些较实惠的机械臂模型来做演示,而淘宝上便宜的机械臂模型差不多有以下几种,这些机械臂几乎也没啥精度可言了,载荷也很小,工作范围一般看淘宝店家给的图纸然后就知道适不适合自己的使用场景了,下面主要讲一下自由度。 自由度:机械臂机架上有n个电机,就是n自由度机械臂,也叫n轴机械臂,记为n DOF。末端执行器上的不算!!!因为它不影响机械臂的运动学结果。 作为一个写代码的人,最基本的就是要明确一个任务的输入与输出,在控制机械臂的时候,我们的输入是每个电机旋转的角度j1,j2…,jn,我们的输出是机械臂末端执行器的位置(x,y,z)与姿态(α,β,γ),这就是机械臂运动学正解。如下式所示: 3DOF 这就实现了机械臂对范围内所有位置都有解(全解),一般末端执行器的姿态就是固定向下(由一个平行4连杆机构实现),这类机械臂适合用几何法求运动学逆解,所有在不需要考虑姿态的情况下,我们优先选择3DOF的机械臂,因为其比较简单,工业上也用得比较多。 5DOF 如用机械臂倒水那个3自由度的机械臂就做不了,因为举杯时要求机械臂的末端执行器(绿线标出)大概得保持水平。 6DOF 末端执行器 有很多种类,一般都可以更换,看个人需求选取 控制器: 1、上位机:PC、单板机、树莓派等。用于读取大量数据的传感器数据如相机、雷达,做图像处理与大规模的数据运算。 2、下位机:单片机等IO口直接输出高低电平的设备。用于控制电机,读取低数据量传感器的数据。 一般来说,下位机控制机械臂的电机运动、上位机做图像处理、运动学逆解可用下位机做也可用上位机做。由于淘宝上买的控制板(下位机)自带舵机控制程序,只需要用上位机按照规约的格式传送数据到控制板就可以实现机械臂的电机控制了,所以我们可以将运动学逆解跟图像处理都用上位机做,不修改其下位机程序。 3、上下位机通讯:串口/蓝牙串口(对于上位机来说,这两种通讯方式是一样的) 、WIFI(一般不推荐,除非你要同时控制很多机械臂) 3.3、相机选择 可选普通彩色摄像头、RGB-D摄像头,视工作环境而定 普通彩色摄像头(不可直接读出三维坐标):笔记本自带的,USB摄像头都行。买的时候需要注意一下驱动支持的系统 RGB-D摄像头(可直接读出某个像素的三维坐标):Kinect2.0、奥比中光3D摄像头、Intel RealSense系列 深度范围、资料够不够多、深度精度、分辨率、帧数、支持系统 下面贴一张Intel RealSense的参数表。 注: RGB-D摄像头容易受反射光与光照变换影响影响,可以选择双目相机,但双目相机的使用比RGB-D摄像头更加复杂,而且效果随物体纹理强弱影响,有需要的小伙伴可以自己去了解。 硬件准备该教程的视频与源码:包括机械臂系统从上到下的梳理、机械臂的硬件、通讯与控制 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |