AI训练师:人与人工智能的进阶之旅

您所在的位置:网站首页 文本模型训练师是干嘛的 AI训练师:人与人工智能的进阶之旅

AI训练师:人与人工智能的进阶之旅

2024-06-12 22:48| 来源: 网络整理| 查看: 265

当前AI行业的发展如火如荼,就算有人生活与AI天南地北,或是对大模型一知半解,也会愿意用金钱、热情、时间,或其他自己的方式挤进这条赛道。AI的发展正在不断刷新人们的认知与预测。

但以“人工”开头的人工智能,真的能脱离人类形成自己的独立思维吗?在多久的未来会超出人类设想的水平呢?没有人能说清,但对于在这个行业里工作的人们来说,他们付出的人工成本,不论多少,都一一体现在了他们精心训练的模型中。

AI训练师是AI技术研究和落地的头号老师,这些“老师”将人类语言转化为计算机语言,引导AI从数据中寻找规律,让AI形成学习、归纳与输出的能力。

“人工智能一定要有人工才能智能”,罗兵是一名有六年从业经验的客服域人工智能训练师,他直言,在多数AI训练师看来,离开了人工,或者说至少是前期基础的人工的话,AI将不会存在。

AI训练师将人工智能从零到一,训练出各行各业所需要的、能提供帮助的人工智能,既包括数据标注、算法调优、深度学习等环节,又涉及且融入于计算机、金融、建筑、物流、医疗、电商等行业。

经过足够时间、足够数量的训练后,AI才能具备人们期待的智能。

文字丨彭欢 雍娜 吴晓玲 曾锦熙

内容编辑丨许跃 彭欢

新媒体编辑丨彭欢

指导老师丨陈显玲 张田田

喂养AI的“奶妈”

AI行业犹如金字塔式构造,底部众多数据标注员是整个行业必不可少的基石,他们负责对人工智能做繁琐重复的喂养工作,是整个AI模型不可或缺的基础。

同处AI训练师行业,不同于金字塔顶端的技术人员,数据标注员更像是喂养人工智能的“奶妈”,他们面临着更多繁琐枯燥、重复性强的工作。

数据标注员的工作画面 图片来源于网络

“写几千、几万条问答,想让所谓的人工智能变得更聪明,还是只能靠人来喂数据。”这是停停入行后的感受,她需要为深圳一家互联网公司的虚拟主播做数据标注工作。

停停在对公司期望中的AI产品进行描述时,显得尤为憧憬,“那是一个3D的、可以实时演算、能在平台直播、一小时内能够自由互动、能说会唱、舞文善墨、还能智能回复弹幕的虚拟歌手产品。”但她坦言,“实际情况是目前公司好像没有做出来,又或者说是现在的技术不足以支持做出来”。

停停每天的工作内容很满:一方面要跟算法对接,做好demo测试和数据分析,组织内容创作的伙伴按算法要求打分,分析demo更新优化、写人设文档;一方面还要进行内容创作,调研、设计、对话、营销,“按人设写了几千条我们想象中可能会被问到的问题和理想的回复,每天都写。”

她自嘲自己是“数据女工”。模型每天给她“甩”了上万条更新出来的文本问答,她需要一条一条地优化改写,紧接着还要进行评测,把AI回答列出来的答案进行五分制打分,而且每一个答案都要给一个很具体的判断标准。

这让停停意识到AI的本质:想让人工智能变聪明,只能人为给它喂优质的数据。

这和她原本对AI行业的期待背道而驰。出于对科幻电影、数码产品以及游戏的兴趣,停停往这家人工智能公司投递了简历。她说起最初的期待:“在我来上研究生之前,我是个很技术乐观的人,我觉得科幻片里的未来是可以实现的”。

然而真正走进这个行业后,以往对AI行业的期待与现实状况产生了巨大落差,这给她的观念带来了冲击:“有点失望,跟我想象中的头号玩家黑客帝国的距离太遥远了。”

越参与其中,停停越发觉数据喂养工作存在着极大的可替代性,甚至目前国外已经出现AI自动标注替代人工标注的案例。同时,行业内部也有极大的壁垒:有的年薪百万,有的日结两百。

与停停的工作类似,沙柳也是一名数据标注员。“调戏AI”是沙柳对她工作内容的评价。作为一个自然语言大模型的数据标注员,沙柳每天的工作内容就是对模型进行提问,再将模型输出的回答进行标注,标注的准则是模型回答问题的答案的质量。

她要将每天训练的问题标注出最佳答案来优化这个AI模型,不断的标注和训练是为了让模型能够在用户的下一次提问中回答出更好、更优质的答案。

当然,这种标注答案的优劣并不是依靠标注员的知识水平和主观感受给出的,也无法用人工去书写答案。“最优质的答案都需要去生成,有时还需要用浏览器去检验标注后的内容是否属实”,沙柳坦言,人类受到的局限更多,反而写不出好的回答。

但是对于需要海量数据的模型来说,最主要的标注宗旨就是让回答的答案没有事实错误,其次才要求回答是否扣题、表达了什么观点、对语言的理解能力如何、答案格式是否准确、是否符合真善美的标准、是否符合它这个模型的“人设”等等。

这是一个高度重复性的工作。沙柳认为标注没有什么门槛,甚至培训一个小时之后就可以开始标注工作,它没有太高的技术含量,“就是需要耐心,它本质上是一个挺枯燥的工作”。

如果能全神贯注工作,每天的工作量五个小时就能完成,但也十分费眼睛。这个岗位通常都是由实习生来担任,因为公司不会花一个正职的价格去买一个数据标注的岗位,而且同组的十几个相同岗位的实习生也不会在这个岗位待太久。

即便停停和沙柳都认为这是一份无聊且繁琐的工作,她们也没有否认这份工作在行业内的价值:数据标注的确枯燥,它需要巨大耐心,却不得不承认它是整个模型必不可缺的基础。只要人工智能没有达到百分百能够代替人的标准,标注工作会永远存在,这个行业会一直需要人。

沙柳表示:“标注是基础,如果不标注、不去记录模型的缺点,那算法从什么地方开始改起呢?标注能够知道模型的弱点和优点,才能从技术上去改掉,而代码只是一种手段。”

人工智能永远跟人有关,它目前是没有办法脱离人的,但它也不可能是全职工作,它永远需要标注人员,而对于研究生学历的她们,也不可能把它当作稳定长期的工作。这也是行业目前陷入的困境:高可替代性,繁琐重复,却又不可或缺。

数据标注看似简单易上手,但却因实际落地的需要而必须具备严谨的工作态度,比方说如果对自动驾驶领域的标注缺乏质量把控,那么就无法让汽车安全地行驶在道路上。正如人工智能领域有一句流传甚广的老话,“人工智能行业,有多少人工就有多少智能”。

人工智能行业的发展潜力无限,AI训练的基础是标注与喂养,这是打造AI的第一步。

“这是一个养孩子的过程”

“人工智能训练师”于2020年正式成为新职业并纳入国家职业分类名录,而在此之前,人工智能训练师在人才市场上的地位略为尴尬,既没有对口的专业,也缺乏相关的职业技能培训。

2017年,在深圳一家互联网企业工作了两年的罗兵通过公司内部转岗竞聘,正式成为一名客服域人工智能训练师,今年是他入行的第六年。

“我刚入行的时候很多都是空白的,只能自己去摸索。”由于当时深圳的AI企业尚未发展起来,罗兵所在的公司只能从外地买回一些机器人,由对方提供平台,像罗兵这样的AI训练师则提供一些后期的运营和训练工作。

“有不懂的地方,就请他们的产品经理或者训练师给自己做一些培训,不断重复这一过程久了之后,就会对产品有一个基本的认知,慢慢熟悉操作训练机器人的后台系统,这样就算入门了。”

罗兵接触并训练过许多类型的机器人,而在客服域主要是文本机器人和语音机器人两种。像购物软件中机器人能回答关于售前、售中、售后的系列问题,查询快递物流情况时输入单号机器人就能调取包裹的物流轨迹,这些都是AI训练师训练机器后的成果。

通常,AI训练师需要根据应用场景和面向人群,搜集一些语料后输入到机器人模型中并形成语料库。“我需要对机器人进行提问,判断它给我的回答对不对,如果不对的话,就要找出问题的原因并进行干预。”

罗兵需要在人工客服中收集用户咨询最多的问题后将其进行归类,再来编辑话术,即人为地配置一些常用并且描述清晰的问题及其对应回答,再把这些问答“喂”给机器人。

当用户进行提问时,机器人会将用户的问题与所有配置好的问答进行相似度计算,找出与用户问题最相似的问题,并返回其答案给用户,这样就完成了一次问答操作。当用户提出的问题不在设定好的范围内时,就需要AI训练师每天去复盘总结,不断地复盘,让机器人能尽可能回答用户的疑问。

把大量的数据“喂”给机器人,是深度学习的一环。深度学习是机器学习的一种,本质上就是让一个机器或者程序变成一个人,拥有人的技能,可以模仿或者创造一些人做的事情,完成人的任务。

曾在深圳一家互联网大厂实习了四个月的忆如对“喂”机器人有通俗的理解:“比如告诉机器人1+1=2是对的,1+1=3是错的,然后再喂给它3+3等于多少。如果机器人说等于5,那就要给它打一个错误的标签,机器人就会继续学习;如果输出的是 6 ,那就证明机器人对这个任务已经能完成的比较好了。”

进行深度学习的过程其实就是把大量的数据“喂”给一个机器或者程序,告诉它正确答案,让它不断学习,让它明白。

忆如在实习期间的工作与游戏AI相关,他需要把王者荣耀或者FPS枪战游戏中的非玩家角色训练得更加智能,“在人机对战模式中,NPC如果能在游戏中玩得很好,同时用户还看不出来对方是一个NPC,那这就是一个很强的AI。”

游戏AI的宗旨是要训练出更智能的游戏。在王者荣耀游戏AI的训练中,怎样去躲避别人的技能防止自己掉血?怎样在自己不掉血的情况下让别人掉血?怎样更快地使用技能?这些都是忆如需要对AI进行强化学习的问题。

不同于罗兵需要把客服机器人训练得举一反三,忆如更偏向强化学习部分的工作,“强化学习是只针对某一个具体的应用,让游戏AI只会做一件或者几件事情,训练出来的只是能跟用户对打的NPC。”

随着“人工智能训练师”被纳入国家职业分类名录,社会对于该职业的考核标准也有了详细规定。

2022年,罗兵参加了深圳市人工智能训练师职业技能竞赛,最后获得了三等奖。他十分强调AI训练师的核心竞争力,他认为持有职业认证的证书是个人价值的体现,也是对自身能力的认可,“我能在这个行业获取到某些权威机构认可的证书,这是我的一个亮点之一,也是我的一个竞争力。”

图为罗兵参赛照片 受访者供图

想要获得机构的职业认证证书,需要大量的职业技能学习培训。罗兵不希望自己只是局限在初级阶段的工作,他不断提升自己的工作能力,学习以前不曾接触过的技能,成为中高级以上的工种。

他把达到一定水平后训练AI的工作看做是一个养孩子的过程,“因为这时候我就能参与制定一些规则、搭建一些模型,机器人完全是根据我的想法去做的,那这机器人就像自己的孩子一样,它能成长到哪个地步完全取决于我。”

智能化工作下无法被“优化”的人

不可置否地,人工智能未来还将在各个领域得到更深入更长足的发展,有相关研究预测,到2025年,全球人工智能市场的规模将达到118.6亿美元,年复合增长率将达到44.5%。

在这个过程中,人工智能训练师扮演着一个新兴且重要的角色,他们的工作对于机器学习模型的优化和精准性有着决定性的影响。

然而,与日渐增长的市场需求相比,专业人工智能训练师的缺口显得有些大。人力资源社会保障部2020年发布的《人工智能工程技术人员就业景气现状分析报告》指出,我国人工智能人才缺口超过500万,供需比例严重失衡。

“其实现在还是比较缺人的,更多是缺行业类的训练师。比如金融类的训练师,既要求你要懂金融相关的一些知识,又要懂文本的一些训练,还要懂机器人训练,这几者要兼得其实是很难的,门槛就有点高。”罗兵这样解释道。

与其他IT领域不同,人工智能所需的人才不仅要掌握语义、认知和人类智能等领域的知识,还要有更为广泛和深入的其他专业背景。这就造成了这样一副现状:一面是大量的人才缺口,一面又是怎么都递不过去的简历。

罗兵说,虽然目前看来行业人才缺口很大,但就业依旧艰难,“有些公司基本上只招一个人,而且这个人必须是全面的,具备一定的经验,既能掌控机器人,又能培训内部员工,因为公司付出的成本很高,不可能只招一个低级技术工来做些重复的没有意义的工作。”

但对罗兵来说,过去培训和转岗的种种经历已然让他在这个行业里得心应手。

在他看来,人工智能未来的发展形势一片大好:“所有的企业都需要客服,以前是通过人力不断地去补充,现在有了机器人,肯定还是需要1-2个人长期去运营的,而这1-2个人是不会频繁更换的,有机器人的存在,就需要人,这个行业的发展前景还是挺好的。”

忆如却并不太看好国内人工智能的发展,“国内外的差距非常大,首先在教育上,美国的计算机就是很强,而且相对没有那么卷。其次在AI方面美国做到了很强的垄断,有微软还有谷歌这些大公司,还有Open AI,国内目前在这方面还没有做得特别好,或者说短期内我觉得不会发展得更好。”

在人工智能未来发展方面,虽然大家都各执一词,但却在另一个问题上达成了共识:无论人工智能如何发展,机器都无法代替人类。

图片来源于网络

“所有东西都是人去控制。所谓人工智能,先有人工才会有智能。模型、规则都是人做的,机器是不可能取代人工的,否则人的存在就没有意义了。”罗兵说道。

数据标注员沙柳同样认为:“人工智能与人工是相辅相成的,不会因为人工智能的发展而导致人类没有很多的职业可以干,我觉得还没到这种程度。”

为了更好地发展人工智能,国家和各地政府也出台了一系列针对人工智能训练师的政策,“深圳现在有在培养这一部分人,深圳有个人工智能协会,协会里面都是深圳的AI公司,会定期举办一些公益培训活动,培训完之后还能拿到政府的补贴和颁发的证书,就提升了一些就业的机会。”罗兵介绍道。

人工智能未来将如何发展,能够发展到哪种程度,或许我们都无法准确预测,但毋庸置疑的是,它正在深刻影响着我们,各式各样智能化服务出现,从生活、工作、医疗等各个方面都带来了许多便利和进步。

“它可以很高效率地解决一些简单的比较确定的问题,比如说写一个小程序,或者是筛选其中的信息,这对于人类来说并不困难,但是比较耗时,如果让人工智能来做就比较便捷。”谈到AI带来的好处时,沙柳这样说道。

未来,随着人工智能技术的不断发展和应用,训练师的工作将继续充满挑战性和机遇。“做训练师其实就像打游戏闯关,你能得到不断地提升,就会有一些成就感,这是别的行业给不到你的。”今后,罗兵也会继续在这条赛道上“关关难过关关过”。

(文中停停、罗兵、忆如均为化名)

初审|陈显玲 复审|彭华新 终审|周小茜

原标题:《AI训练师:人与人工智能的进阶之旅》

阅读原文



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3