用微信扫码二维码

分享至好友和朋友圈

文 / 上海浦东发展银行 李捷 徐敏 郭林海

在现实世界中，人与人之间的沟通与交流往往是一种情感的输出和交互。情感作为人类最重要的认知能力之一，指的是人们对外部事物所持有的一种心理态度，包含非常丰富的信息。在人工智能（AI）领域经典的应用“人机对话”中，对话质量的高低和好坏主要取决于机器是否能全面和正确地理解人类说话的意图。为达到这一目的，情感作为人类态度最真实和直接的表达与体现，可以将其抽象化和数字化，进而被机器进行感知和学习。当前在业界研究火热的多模态情感计算技术可以将多种感知模态中的语音、视觉、文本等情感信息进行深度融合和分析，进而让机器感知和学习到更全面和准确的人类情感信息。目前该技术已在情感识别、情感分类、情感生成等专业领域得到应用，并在这些应用中实现了辅助性的工作。

上海浦东发展银行 李捷

当前，人工智能领域各种新技术快速发展，部分已在金融领域进行了应用落地，如：光学字符识别（Optical Character Recognition，OCR）和自然语言处理（Natural Language Processing，NLP）技术。得益于此，金融科技在一定程度上也进入到快速发展期。商业银行作为金融领域的重要组成部分，其传统的金融服务模式由于流程自动化程度低、人力投入大等缺点已无法满足金融客户日益增长的多元化和个性化需求。为了在一定程度上解决上述问题，亟需商业银行在技术上进行转型和升级。而多模态情感计算技术作为当前人工智能领域最新和最热的技术之一，可以引入到商业银行的相关应用中，既能使商业银行具备夯实的人工智能技术基石，也可以使商业银行具备保持对市场、客户需求变化敏锐的洞察力。

多模态情感计算技术可以融合语音、视觉、文字等多种感知模态中的情感信息，进而分析出客户希望表达的情感、偏好等信息。在获得这些信息后，将有助于更好地提升商业银行在在线智能客服、智能营销、智能风控三大应用场景下的服务质量和效率，并能有效地评估和规避潜在的风险，更精准地满足金融客户多样化和个性化的需求，增强其市场竞争力和盈利能力。多模态情感计算技术在商业银行三大应用场景的探索架构如图1所示。

图1 多模态情感计算技术在 商业银行三大应用场景的探索架构图

客户服务是商业银行经营活动中的关键环节之一，直接决定着客户的体验度和满意度。随着金融科技的发展，金融数字化的进程不断加快，当前银行业态也正在向智能化、便捷化的新模式转变。绝大多数商业银行的线上服务占比已达80%以上，同时线上服务因其全天候、高效率的特点也已成为银行客户的首选。传统在线客服仅通过固定的话术或问答库等方式对银行客户进行服务，当客户的一些问题不在话术逻辑或问答库中时，传统的在线客服往往会回答错误或者所问非所答。这种单一的应答方式会使得客户在使用中感到在线客服的生冷、机械化，且缺乏问答的准确度。

多模态情感计算技术的出现，是提升银行客户服务质量、优化其实际体验的关键，同时也是在线智能客服在实践中大规模应用必不可少的一环。在基于多模态情感计算技术的在线智能客服架构中，银行客户可以通过语音、图像、视频、文字等多种交互方式使用在线智能客服服务。多模态情感计算技术可以结合音视频语义的整体分析来智能感知客户的情感并生成多模态对话。带来的好处如下。

首先，可精准捕捉客户诉求、挖掘并解决客户痛点，提升客户满意度。客户的情感能最直接反映出客户的真实感受和服务体验，而客户满意度往往是商业银行评价其服务质量的首要标准。因此，客户的情感智能感知能在一定程度上了解到当前客户的诉求获取是否精准，痛点解决是否到位，进而提升客户满意度。

其次，多模态情感计算技术有助于提升在线智能客服的“温度”。在线智能客服在面向客户时，服务的关怀度是服务质量的关键。通过多模态情感计算技术结合声音、语调、语速等特征判断客户的情感状态，并根据情感状态给予相应的回应，可实现更加温暖的客户服务体验，从而与客户建立有效的情感连接，进而提升客户的认可度及满意度。

最后，多模态情感计算技术有助于构建高效的服务质量管理体系。当前服务质量管理往往基于客户评价反馈、人工检查等方式，在客观性、准确性及效率上天然具有局限性。因此，通过多模态情感计算技术对海量会话数据进行多模态情感分析和多模态意图理解，不仅可以通过客户的当前情感实时调整服务状态，还可实现在线智能客服质量的多维度统计，从而形成高效的自动化评价体系。

当前，AI辅助营销模式已变得越来越普遍，其已成为电话、网上银行、手机银行、营业网点等人工营销服务渠道基础上的重要补充和扩展。在金融营销活动中，当面向金融客户提供金融产品或服务时，正确地理解客户意图是保障营销服务质量的前提。但是传统的营销服务模式对客户真实意图的获取和理解是片面和不准确的。如图2所示，利用多模态情感计算技术能将语音、视觉、文本等多种模态情感信息进行深度融合和分析的特点，既可以帮助营销人员更好地了解客户需求和情感，又可以理解客户的真实意图，从而提高金融营销的精准性和客户满意度。

图2 金融智能营销架构图

应用场景一：当前，传统的营销服务模式主要根据电话、网页端、移动端和营业网点的自助设备所收集的客户语言或文字表达内容来实时形成话术，产生金融产品的推荐意见，但仅凭客户语言或文字表述内容并不能完全反映客户真实的需求、意图和即时情感等信息，其中客户即时情感是客户偏好和意图的重要体现之一。根据梅拉比安沟通模型，人们在交流时，55%的信息通过视觉传达，33%的信息通过听觉传达，而仅有7%的信息来自纯粹的语言表达。由此模型可看出，人类的情感表达是一个系统化、全面化的方式，除语言外还伴随着面部表情、语气语调和身体姿态等多个维度的信息。因此利用多模态情感计算技术将语音、视觉、文字等多个维度和多种要素进行融合计算分析，能够较全面把握和理解客户的真实意图，实现更加精准化的话术挖掘、产品推荐、风险提示，形成更加智能和匹配度更高的营销策略，从而提升用户的满意度和认可度。

应用场景二：根据银保监会要求，商业银行在进行金融类产品销售过程中，需同步进行录音和录像（简称“双录”），同时需要对“双录”内容进行合规质检，这样做可以在某种程度上减少和降低销售误导和纠纷，加强对金融类产品销售的全过程风险管理。AI合规质检因其效率高、覆盖范围广的优点被众多商业银行普遍采用。目前一般通过自动语音识别（Automatic Speech Recognition，ASR）技术实现，但ASR转录文本的质量强依赖于录音质量，录音中包含的背景音、噪声，均会造成转录文本的质量大打折扣，且当前通过长视频进行不合规行为的检测和识别还是业界的难点。因此，仅通过语音要素的分析难以保证AI合规质检的准确性和稳定性。多模态情感计算技术的引入可以结合客户在理财“双录”过程中的语音、面部表情、身体姿态等数据，精准识别客户的偏好、关键动作等内容，做到实时识别、实时提醒、实时纠正各种风险行为，进而整体提升AI合规质检质量。

据银保监会发布截止到2022年末的数据显示，银行业金融机构不良贷款率为1.71%，全年累计处置不良资产达3.1万亿元。商业银行作为资产的管理者，是不折不扣的风险经营者。其中，不良贷款率是衡量商业银行抗风险能力的核心指标之一。商业银行都在采取各种措施和方法来降低不良贷款率。而商业银行的经营风险包含主观欺诈风险和客观信用风险。其中，主观欺诈风险是由人主观恶意为之，会对商业银行造成绝对的损失。金融反欺诈是降低商业银行经营风险，特别是不良贷款率的关键工作之一。

当前，商业银行的金融反欺诈工作高度依赖于人工，主要由银行信贷审核员在贷前审核环节对贷款客户进行风险评估，其成败将主要取决于商业银行信贷审核员的工作经验及主观判断。这种人工审核模式不仅难以保证审核标准的一致性，且存在较大的操作性风险。为规避上述风险，可将多模态情感计算技术引入到商业银行的金融反欺诈工作中，使其变得更加智能化。多模态情感计算技术可融合语言、语调、文字、图像等多维度信息，通过计算分析可精准跟踪贷款客户的情感波动变化，从而实时、准确地捕捉贷款客户的欺诈信号，智能识别贷款客户的欺诈行为，自动给出风险提示，从源头上减少风险事件的发生。商业银行金融反欺诈的智能化将有效地提升信贷审核的质量和效率，并大幅降低不良贷款率。

多模态情感计算技术在商业银行的应用具有巨大潜力，然而随着该技术的不断革新和商业银行客户需求的多样化，未来多模态情感计算技术在商业银行中的应用既面临着巨大机遇，也面临着各种挑战。

机遇方面：首先，随着大语言模型（Large Language Model，LLM）的发展，模型规模持续扩大化已成为未来发展趋势。多模态情感计算技术与大模型的结合将进一步提升音频、视频、文本等多种模态情感信息的处理能力，对情感的认识和理解将更加精细化，能够更好地区分不同种类和强度的情感。同时，多模态情感计算技术也可与ChatGPT（Chat Generative Pretrained Transformer）等AIGC（AIGenerated Content）技术进行结合，从而进一步提升这类模型生成内容的质量，提高与客户预期的匹配度。其次，随着个人移动设备的普及和数字化时代的到来，商业银行也面临着更加多样化的客户服务需求。客户的情感分析在商业银行的风险管理、客户服务体验及智能营销方面均发挥着重要作用。伴随着多模态情感计算技术的发展，更加高效、精准化的客户情感的获取和感知将进一步推动商业银行服务的智能化进程。

挑战方面：首先，商业银行在应用多模态情感计算技术时需要考虑客户数据的安全性、保密性和隐私性问题，要严格遵守相关的数据安全、保密和隐私保护的法律和法规，需要从数据采集、数据存储、数据传输、访问权限控制、数据销毁、员工保密性管理等多方面采取一系列的保护措施，以保障客户数据的安全。其次，多模态情感计算技术在商业银行的应用将面临着数据处理、数据融合、特征选择和提取、跨域学习四方面的挑战。一是多模态数据的获取和处理需要耗费大量的时间和精力，而且数据来源和格式也各不相同，需要进行标准化的处理和转换；二是由于多模态数据来源的限制和样本分布的不均衡，在构建多模态数据集时，需基于多模态数据之间的关联和一致性考虑多种数据类型的融合问题；三是不同模态包含的情感信息具有差异性，各模态具备的特征对情感计算有着不同的贡献，因此需要进行有效的特征选择和提取，以便更准确地捕捉客户情感信息；四是多模态情感计算技术还面临着跨领域学习的问题，包括跨语言、跨文化、跨任务等多种领域，如何提升该技术的泛化能力和跨领域的适应能力是非常重要的，以此来匹配不同国家和地域、不同文化背景、不同金融场景下的金融客户服务需求。

（栏目编辑 ：张丽霞）

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.