广西农商联合银行智能在线客服系统
人工智能算法金融应用信息披露报告
2024年10月8日
一、重要提示
本报告是依据《人工智能算法金融应用信息披露指南》对披露人工智能算法应用情况的要求,就广西农商联合银行(以下简称我行)基于人工智能算法提供的智能在线客服系统和服务情况进行说明。
二、基本情况
(一)机构简介
广西农村商业联合银行股份有限公司(以下我行)由广西壮族自治区农村信用社联合社改制设立,对全区91家市县农合机构履行“党的领导、行业服务、风险管控、股权管理”等职责。目前,全区农合机构中,共有农村商业银行55家、农村合作银行10家、农村信用合作联社26家,营业网点2309个,在岗员工2.6万人。
(二)人工智能算法应用情况
1.产品名称:智能在线客服系统
2.服务内容:建立一个实时应答式网络智能机器人,能够在人机交互端表现出丰富的业务功能;在微信、网站、手机银行、网上银行等多渠道接入智能机器人,通过自然语言理解技术,实现自然语言识别、业务交互和业务引导、聊天对话、营销活动支撑、业务支撑(业务咨询、业务查询、业务办理)、敏感词过滤等功能,打造7*24小时的互联网全渠道多媒体智能交互平台,提升服务体验的同时节约客服成本。
3.服务成效:智能客服机器人通过FAQ+知识库+寒暄+任务型,仅需少量的人工标注及训练工作,即可保持较高识别准确率。能够实现7*24小时、多渠道自助应答,有效分流电话渠道的客户,减少人工座席的工作量。分流人工座席服务压力,提高工作效率;能够对用户对话记录进行数据挖掘、热点分析及统一监控,为营销决策提供数据支撑。2019年,本项目荣获中国金融科技年会2019年度金融科技创新突出贡献奖--开发创新贡献奖;2020年,本项目荣获2020第四届农村中小金融机构科技创新优秀案例评选的“应用创新优秀案例”和“十大网络人气优秀案例”。
三、人工智能算法金融应用风险治理情况
(一)组织保障
我行成立业务发展创新协调委员会,负责对产品服务创新项目进行风险评估以及数据安全、合规销售、产品服务定价、声誉风险等合规性审查,监督、评价新业务的实施效果,提出相应的改进措施,分析人工智能算法金融应用业务发展和风险管理状况,制定一定时期的人工智能算法技术应用的发展政策、管理制度和相关技术性要求,审议人工智能技术应用相关业务。
(二)实施情况
我行业务发展创新协调委员会工作情况:每年多次召开委员会会议,对金融产品智能销售服务等人工智能技术应用项目进行审议。
我行业务发展创新协调委员会在组织的人工智能技术应用风险专项治理工作中,对金融产品智能销售服务在技术应用、数据安全、系统风险以及伦理失范等方面进行全面审议与排查,将相关问题均通报给归口业务部门进行整改,风险管理部门跟踪并核实整改情况。目前已完成人工智能算法涉及的所有风险问题的整改。
四、人工智能算法技术应用信息披露—智能在线客服系统
(一)算法组合信息披露情况
算法组合信息披露是对金融产品和服务所集成的全部人工智能模型算法组合使用情况的整体说明,算法组合信息披露情况见表1。
表1 算法组合信息披露情况
披露项 | 信息披露内容 |
算法组合清单 | 算法组合清单包含4种人工智能算法:实体识别算法、多轮对话意图识别算法、意图识别算法、对话决策算法。 |
算法组合使用的开发框架 | 算法组合使用 TensorFlow 1.15的开发框架,Python3 的开发语言。 |
算法组合使用的开源软件 | 算法组合使用 numpy的开源软件库。 |
算法组合调度机制 | 对话决策算法先调用实体识别算法,然后依次调用多轮对话意图识别算法和意图识别算法进行识别,并选择应答话术。 |
算法组合触发条件 | 客户主动向机器人提问,触发算法组合。 |
(二)算法逻辑信息披露情况
算法逻辑信息披露是对组合中的每个算法对象逐一说明算法机理,算法逻辑信息披露情况见表 2。
表 2 算法逻辑信息披露情况
披露项 | 信息披露内容 |
算法功能说明 | 实体识别算法:完成文字序列中包含的实体分析 多轮对话意图识别算法:完成文字序列的词法分析、句法分析、语义分析。 意图识别算法:理解开发人员话语及意图。 对话决策算法:基于策略决策对话输出。。 |
算法推理过程说明 | 实体识别算法对客户表达的自然语言进行关键实体抽取。 |
算法推理结果说明 | 多轮对话意图识别算法和意图识别算法均为意图识别模块,对客户表达的自然语言进行语义理解,多轮对话意图识别算法模块主要是基于开发人员对话文本进行文本分类,得到概率高的意图类别, 意图识别算法主展是基于客户对话文本进行文本相似度计算。与己有意图识别算法库中的文本进行语义匹配,得到最相似的标准语义。 对话决策算法模块将多轮对话意图识别算法和意图识别算法2个模块返回的结果进行比较判别,得到得分最高的意图类别或者标准语义,从而得到对应的返回给客户的答案。 |
算法技术路线选择说明 | 多轮对话意图识别算法模块采用基于预训练语言模型的文本分类模型。 意图识别算法采用的是粗召和精排的算法路线。 |
算法技术成熟度说明 | 文本分类是自然语言处理领域的常用成熟技术,在开源模型中广为应用。 粗召采用的是文本向量召回,通过无监督向量抽取模型进行向量表征提升,从而提升粗召的精准度;精排采用文本分类模型,通过粗召缩小分类模型输入类别数,通过文本分类进一步筛选意图类别。粗召和精排是意图识别算法中较为常用的成熟技术。 |
算法重构条件说明 | 暂未重构 |
算法假设条件说明 | 智能在线客服系统保证输出的内容符合企业业务的知识范围,在客户对业务的任何信息有疑问时,需给出相应解答。因此假设意图识别算法库覆盖各业务的所有信息。 |
算法使用限制说明 | 目前,智能在线客服系统服务对象为全体客户。 |
算法参数及超参数说明 | 算法输入参数主要包括客户询问、历史轮次对话文本、对话状态信息。 算法输出参数主要包括意图、意图对应话术。 |
(三)算法应用信息披露情况
算法应用信息披露是与人工智能算法金融应用场景相关信息的说明,避免因对算法应用的错误理解而误导客户,信息披露情况见表 3。
表 3 算法应用信息披露情况
披露项 | 信息披露内容 |
算法应用场景 | 智能在线客服主要应用于我行业务交互和业务引导、聊天对话、营销活动等场景。 |
算法应用目的 | 利用人工智能算法实现个性化产品推荐、自动人机对话等功能。 |
算法应用服务范围 | 智能在线客服服务我行客户,向客户主动营销推荐存款、贷款、信用卡等产品活动,贷款催收、信用卡逾期提醒和服务回访等,该服务适用于采用中国标准普通话的客户,并不支持粤语、客家话等特殊情况。 |
算法应用服务前提 | 智能在线客服是通过微信银行、官网、手机银行、网上银行、桂盛富民平台等多个渠道为客户提供7*24小时金融服务。 |
算法应用获得渠道 | 智能在线客服无需下载安装。 |
算法应用潜在风险和防护措施 | 智能在线客服采用人工智能技术,其服务质量受客户输入文字信息顺序、语句顺序等影响,可能影响意图识别率。我行通过丰富场景化的训练语料,持续提升算法模型的适应性提高特殊情况的识别率。 |
算法应用必要性 | 利用人工智能算法实现以7x24小时全渠道触达服务,统一服务标准,服务质量可控,从而达到降低客服成本,提升客户满意度的业务目标。 |
算法应用预期效果 | 日均服务量同比人工服务提升28倍、客户问题识别率达97.33%。 |
(四)算法数据信息披露情况
算法数据信息披露是对算法使用的数据来源、数据采集、数据质量控制以及数据与场景的关联性进行充分说明,信息披露情况见表 4
表 4 算法数据信息披露情况
披露项 | 信息披露内容 |
算法数据与金融应用相关性说明 | 智能在线客服主要采集客户输入的文字数据,用于客服、催收、营销问答。 |
算法数据来源说明 | 算法训练、调优、测试数据集主要来源于我行历史在线客服文字数据集。 |
算法数据采集说明 | 智能在线客服场景所有算法模型涉及的训练数据、调优数据、测试数据、推理数据均已经数据所有者(控制者)授权,采用去标识化进行脱敏处理,脱敏后无法直接关联真实客户身份。 |
算法数据质控说明 | 建立健全严格的算法数据质量管理制度,覆盖数据采集、数据清洗、数据整理、数据标注、数据集构建各个环节,保障算法数据的完整性、一致性,数据分布的合理性、无偏性,数据样本的充足性,数据操作的规范性、合规性。 |
算法组合使用的第三方软件产品 | 不涉及。 |
(五)算法主体信息披露情况
算法主体信息披露是对人工智能算法金融应用服务提供者建立的算法管理相关机制(安全保障、风险防范、伦理治理等机制)的说明,信息披露情况见表 5。
表 5 算法主体信息披露情况
披露项 | 信息披露内容 |
算法主体建立安全保障机制说明 | 我行建立健全数据使用管理办法、敏感信息内控管理制度,明确各环节责任分工,为智能在线客服提供算法安全保障和数据安全保障。智能在线客服场景模型训练和部署环境均属于安全开发和生产环境,且有操作日志保存,保障训练和推理过程安全。生产环境模型有应急处理机制,遇到任何上线失败情况可立刻回退。 |
算法主体建立风险防范机制说明 | 我行建立健全人工智能技术应用安全管理制度、数据使用管理办法、敏感信息内控管理制度,形成“事前审核准入、事中监控预警、事后处置问责”的风险防范及补偿机制,作为智能在线客服的责任主体确保客户权益得到有效保障。 |
算法主体建立伦理治理机制说明 | 我行成立金融科技伦理故管理工作组,负责建立伦理治理规章制度并开展伦理治理审查工作,伦理治理的内容包括道德层面、技术层面、法制层面,对于不同国家、不同民族、不同文化、不同性别等都有明确的规范。伦理管理工作组由评审领导小组、风险管理领导小组、信息科技项目管理领导小组共同构成。 我行印发《广西农村合作金融机构金融科技伦理管理暂行办法》,规范金融科技伦理管理相关工作开展和实施的程序、角色分工以及议事规则。 |
算法主体建立信息披露组织实施保障措施说明 | 建立健全严格的算法数据质量管理制度,覆盖数据采集、数据清洗、数据整理、数据标注、数据集构建各个环节,保障算法数据的完整性、一致性,数据分布的合理性、无偏性,数据样本的充足性,数据操作的规范性、合规性。 |
(六)算法变更信息披露情况
人工智能算法金融应用采用在线实时服务,由于人工干预程度越少,服务及其策略的调整可能更加频繁快速,可能引发风险性活动,应运用与之匹配的实时监测技术并及时披露相关调整以及变更信息,信息披露情况见表 6。
表 6 算法变更信息披露情况
披露项 | 信息披露内容 |
算法变更版本号 | 多轮对话算法,版本 10.0,更新时间 2021-7-18。 意图识别算法,版本 10.0,更新时间 2021-8-05。 对话决策算法,版本 10.0,更新时间 2021-8-05。
更新内容为融合多轮对话算法和意图识别算法,提升整体意图识别准确率,将原来对话决策算法的串行调度合为一次调用。 |
算法变更原因说明 | |
算法变更影响说明 | |
算法变更生效时间 | |
算法变更实施说明 | 《广西农村商业联合银行股份有限公司生产应用系统上线与变更规范》《广西农村合作金融机构信息科技项目验收管理实施办法》等要求,开展与算法更新、软件更新的类型、内容和程度相适宜的验证与确认活动,将风险管理、可追溯分析贯穿于更新全程,形成算法产品客户接受测试报告、算法变更审批、应急处置及回退方案和上线验证报告等记录以供核查。 |
算法变更保障措施 | 从技术架构实现、功能完备性、数据一致性、性能稳定性等方面,对算法变更前后进行差距分析并予以记录,并针对变更前后的性能差距采取人工优化、算法回退旁路等方式进行必要补救。 变更后,算法依旧限制在智能客户场景的应用范围内使用,并提供自动语音播报警示提示信息。 |
(七)算法审计信息披露情况
人工智能算法金融应用涉及数据、算力、场景等多种要素的深度融合与交互,一定程度上增加了算法金融应用的风险。为保证金融产品和服务的业务连续性,降低技术风险、操作风险,有必要对人工智能算法金融应用进行合规性审计,并及时将算法审计活动所依据的政策、法规、标准等信息以及审计结果进行说明,信息披露情况见表 7。
表 7 算法审计信息披露情况
披露项 | 信息披露内容 |
算法审计依据 | 我行对智能外呼系统主要开展内部算法审计,主要流程如下: 1.上线前,利用算法对抗鲁棒性测试工具进行自动化算法审计,审计活动覆盖算法安全漏洞扫描、算法逻辑漏洞扫描等方面;所有严重和一般问题已完成整改。 2.上线前,依据《广西农村商业联合银行股份有限公司生产应用系统上线与变更规范》进行算法审计,审计活动覆盖算法公平性、算法可解释性、算法鲁棒性等方面。 3.通过算法审计活动,确认智能外呼算法组合满足算法上线条件。 4.上线后,依据《广西农村合作金融机构信息科技项目管理办法》、《广西农村合作金融机构信息科技项目后评价管理实施办法》开展算法跟踪审计,审计活动覆盖算法运行情况、算法安全风险事件、算法合规情况等方面。 |
算法审计信息 | |
审计内容说明 | |
算法审计结论 | |
算法审计频率 |
五、重大事项
报告期内,我行无人工智能算法金融应用业务相关的重大诉讼、仲裁事项。
报告期内,我行未发生人工智能算法金融应用业务相关的重大案件、重大差错等情况。