阿里云 × 天润融通：基于智能体的企业营销与客户服务实践分享
内容介绍：
一、天润融通和智能体概述
二、智能体平台架构
三、天润融通基于阿里云的AICC架构
四、客户案例
主讲人
安静波
北京天润融通科技股份有限公司的CTO
本次分享：阿里云 × 天润融通：基于智能体的企业营销与客户服务实践，将以客户实践案例为基础，分享企业应如何通过智能体与知识管理提升营销转化率和客户满意度。
一、天润融通和智能体概述
天润融通智能体在客户营销和客服这两个场景的实践，天润融通是首家在香港主板上市的客户联络云平台公司，过去的18年一直专注于客户联络，目前也是国内最大的客户联络云平台。在北京、南京和成都三个地方有研发中心，分支机构分布在全国各地，服务于客户。在18年的发展过程中，大体分为四个阶段。
第一个阶段，天润融通从06年成立到12年，这个阶段我们最主要的工作是把原先的呼叫中心硬件化变成了软件，用软交换的方式实现呼叫中心，成功实现了较大规模的、几千多级的平台。相当于把原先需要硬件交付，每个企业自己采购的方式变成用云的方式。最早成立公司做这个事情的时候还没有云的概念，当时提了一个概念叫托管，实际上就是云的模式。
第二个阶段，从2013年到2016年，我们和阿里云深度合作。我们基于云的原生重构平台。这个阶段，与云公司的合作大幅拓展了平台容量和产品架构。基于云的架构，完全实现了大容量、极高的可能性，实现了非常稳定的系统，做到十几万多起的并发，每天有上千万的呼叫。在这种情况下，高可用性超过了4个9。一方面是研发团队的努力，另一方面是基于比较成熟的云服务来提供能力。
第三个阶段，从2017年到2022年，开始扩展业务。在17年之前主要做的是语音呼叫中心，比如客服、电销场景；17年后开始扩展业务，从单纯的呼叫中心扩展到全渠道，包括在线、音视频AM、相关的工单系统、知识管理系统等，扩展到完整、全渠道的联络系统。
23年以后，进入到新时代——大模型的广泛应用。从这个时代，我们开始用AI重构现有的联络平台。通过重构把智能化和AI融入客户联络场景。2022年在香港主板上市，23年收购了两家公司，一是环信的客户云业务，另一是web800，收购后组成了天润集团现在三位一体的完整服务。天润融通主要做的是大型公有云平台，私有云的交付主要由web800提供，环信主要负责打造国际化品牌，并逐渐成为了一个比较完整的产品服务模式。
服务客户18年来，为千行百业的客户提供客户联络场景，提供优质的产品和服务。主要典型的行业和场景有金融、汽车、制造、消费、家居、互联网、企业服务，还有大健康和教育。值得一提的是，我们在金融保险领域提供单客户超过1多期并发，给客户稳定的服务连续五年超过4个9、1个5的高可用指标，而且是在每周系统不断一迭代的情况下做到的，这也是我们产品可以服务于大客户和对稳定性要求极高的客户。在汽车领域，我们主要给汽车行业提供ECC的邀约，搭建有汽车邀约、购车咨询、客户意向筛选、跟踪客户的销售过程的系统。最近，汽车行业比较内卷，每家都希望通过数字化和AI大模型技术实现新增。智能体也应用于汽车的营销领域。在教育客户里，我们有个很大的客户，其单体在单一租户下超过四万多起，故教育行业比较值得和大家分享。
今天的主题关于智能体，2023年可算作AI应用落地的元年，在整体的规划里也是要用AI重塑客户联络。在2023年和2024年上半年一直在探索，2023年整体的盘子比较热闹，但落地的并不多，但在2024年会逐渐加速，而加速的关键因素就是智能体的概念以及智能体的落地。智能体和大模型的核心区别是智能体包含客户场景的适配，还有和客户业务的结合，它不仅是一个决策机构，能够和周边的子系统、环境结合，根据场景贴合更好，通过切合真正的加速落地。智能体的落地将会对企业未来的营销和客服两个场景产生巨大的变化。随着AI的快速发展、快速落地、能力快速增强，企业未来的客服和营销场景的组织结构和业务流程都将发生深刻的变革。变革体现在将来的客服团队、营销团队，不仅是现在的有一个带头人/业务主管，有一个团队的人做客服的方式，或是我们23年的实践的一些辅助性帮助，帮助线上客服润色、回答问题，变革会非常深刻，将来完全有可能有新的角色和新的组织形式来完成这两个场景。比如可能出现我们设想的一个场景，在客服领域里只有少量的金牌员工，大量的工作都由智能体完成，这个体系能形成一个闭环，即智能体环境大量的工作，同时智能体还会帮助一些有潜力员工提升到金牌员工水平。普通员工做的很多工作都用来积累数据，数据不断的积累，能够让智能体的智能化程度更强。金牌员工的日常的工作就是帮助AI积累知识或纠正，我们现在的在线客服场景基于辅助人。更多的时候不会有任何人直接回答客户的问题。所有在线客服的问题都由智能体完成，金牌员工负责检查智能体回复的内容是否正确，如果不对就纠正，如果对就提交。金牌员工的工作内容就是和智能体结合。如果出现组织结构变化，业务流程也会发生巨大变化。通过一线客服进来的一些服务请求转到二线流转、决策，所有的决策、流转过程都会通过智能体的决策自动化处理，改变现有的业务流程。
Every Step With Agent是我们的产品口号，在2023年开始提出，2023年，我们的产品口号是Every Step With AI ，即我们要把我们的AI能力融入到客户联络平台里的所有环节、节点、业务流程。今年，我们升级为Every Step With Agent。从去年到今年，我们结合客户场景，已梳理出八十多个共享的功能点，逐渐的通过智能体的方式对点进行重塑和升级。我们从2023年进入AI重构元年，我们并不清楚具体做什么，现在逐渐清晰，我们把传统上难以实现或做的不好的功能，比如预测、自然语言的理解等方面，通过智能体将其替代。当然不是全部替代，不是把原有的软件都替代，因为我们坚持一个原则，传统上做的很好的地方不要用新的技术替代。一定是传统上做的不好，比如分类、判断客户的情绪、判断客户的意图等在传统上用规则、NLP LP都做的不好，都有较大的问题，AI就在这些点上重塑结构，在功能点上完成替代，Every Step With Agent就是我们非常重要的理念。
同时有大量的例子，横跨整个客户联络过程和联络后的业务处理流程，以及在联络和应用处理过程中运营和洞察环节，每个Agent都是一组分类，相当于每个小点都是一个Agent，Agent完成特定的工作。除了我们内置的典型应用或标准应用外，智能体平台还可以给客户提供类似于低代码能力的编辑平台，使客户和客户的员工能够在此平台根据业务需求尝试，比如一个客户主管原先抱怨产品设计要很多步才能完成作息的上线和下线，主管根据情况增加上线，他现在尝试通过智能体串联，可以直接按住按钮，设定今天下午四点钟张三作息下线，智能体会驱动完成命令。这是之前我们完全没有想到的，没想到客户会做出这样的东西。给客户提供一个创新工程，能做实验，能根据场景解决问题是一个非常大的变化。具体的Agent就不做过多介绍了。
二、智能体平台架构
我们在完成上述功能之前要有智能体平台架构，这个架构来自企业的知识库，因为企业联络的框架是这样的。工具里一定要有内容，内容的核心就是企业的知识，从企业知识库进入，智能体平台包含了电智能体的搭建、调试、大模型的集成，智能体工具对效果评测，要有数据集和结果，发布的流程，持续的运营做监控、评价、优化，形成个完整闭环，实现可迭代。
最核心的东西是企业知识，是一个企业高度发展非常重要的一环。企业不管在什么场景下，你高速发展私有认知，积累知识，不然在快速发展过程中会丢掉很多东西。我们过去发现很多企业缺少一个可维护的企业知识，成为它业务发展的绊脚石。知识的准确性、时效性，高维护性影响了企业的核心竞争力，企业一定要体现企业价值，运动过程中积累下来的经验需要传承使用。上面这四个场景是天润客户联络平台里的四个最典型的场景，分别是营/销一体化、客户服务、给一些大企业提供的共享服务，以及给超大的互联网平台商业赋能，这些场景都依赖于企业知识。所以企业知识使客户联络场景非常核心的一点。
怎样构建企业的有效知识库，我们提出了一个概念叫知识工程。在工程里，比较重要的是我们提供完整的一套工具、流程和理论。通过这套工具，我们完成知识的收集、梳理、加工、运营，让企业的知识从高成本、低效率、难以维护的状态变成低成本、容易维护的状态，整个过程分为企业原有的知识库和企业文档，以及迭代完成后，在天润平台上留存的历史绘画信息和实时的沟通信息，对这些信息做抽取、扩写、美化、解析等进入知识工程，最后进行健康检查和测试发布上线，以及后续持续跟踪运营的优化。智能体通过流程化分析让企业知识沉淀、运转。
三、天润融通基于阿里云的AICC架构
基于阿里云AICC架构做的客户联络平台，天润18年来一直在做此事，完成了3-4次的重大架构迭代。这是我们最近一次完成架构迭代的新架构。这个架构的重点是完上下分层、应用解耦，应用解耦的结果会让团队的协作、开发效率、产品质量显著提高。重点是pass层，很多SaaS企业都想打造一个pass层，因为SaaS需要不断的适应客户需求做定制，以及功能不断的增加，增加到一定程度，开发效率、控制能力出问题时会崩溃。
每一家都希望能够沉淀出pass层，能够向上支撑应用。pass层不是简单能做的，而且要分场景，我们目前只有两个pass层，一个是CC的pass，通信本身是一个标准化东西，在此之内，上面的应用和下面pass层的关联关系不紧密，下面能做到非常稳定，我们通过上下分层，做上层的做多下层的不是一个团队，它们之间的接口仅通过API交互。我们这么多年来就沉淀了一个CC的pass，但是从今年开始，认为智能体平台构建另一pass，因为它能解决上面应用的各种需求、各种场景不同客户的定制要求。
在智能体平台的下一层支撑pass平台的有知识引擎、阿里云提供的各类服务（典型的组件有ASR、TTS、通译千问大模型），最下一层我们和阿里的基础设施支持。架构的右侧又分为统一的运维体系、权限管理体系、计费体系，并与阿里紧密结合。天润融通和阿里的合作非常早，早期我们会和阿里的产品线一起推进产品的迭代、上线。
我们从13年到16年期间开始上云，所以和阿里云的合作以及基于阿里云的架构保证为客户通过非常高的稳定性和非常快速的创新。
分享的主要两个点：一是实时智能体，很多的智能体是非实时的应用，比如做summarize、小结、填单、或者做一个数据分析、给客户打标签等都是非实时的应用，但通讯对实时性的要求非常高。所谓的实时征集，可以理解成是语音的机器人，不论是客服的机器人还是向外打电话的机器人都算云机器人。
其用户体验里最重要的两个核心指标，一是客户侧感受到的想象时间，即客户说了一句话智能体反应的时间；二是智能体能不能及时正确的打断，这两点是非常重要的体验。在响应时延方面，我们做了大量的产品优化，希望极致的优化能让时延降低到1s以内，这是我们目前已经做到的。
并分享一下优化点：首先是全流程的流式（全链路的流式），从语音进来到ASR到转写送到大模型，大模型的流式返回到TTS,都要做流式才能做到全流程的流式，这是较大的一个时延因素。
第二，流程里除非必要的点都要去掉TTS握手，会用连接池的技术保持连接，去掉TTS握手过程。
第三， TTS也要选择流式，不是大家理解的只是返回的按照语言包的流式，而是每出一个字先给TTS，流式返回后，很快开始播放。除了传统软件相关的优化，还有一个比较重要的就是PSTN，就是到电话侧的优化，取决于是否是直连运营商、是否是网间呼叫，移动和联通之间互打会有几百毫秒的延时，并联动到我们与运营商的连接和调度能力。
另外还有一些软交换的媒体转发性能，是否要做解码、转码也比较重要。这些看起来都是很小的点，但通过极致的优化，可以把响应的时间降低到1s内。
大模型里相关经验：第一，在业务允许的范围内尽量选一些小模型，响应可以更快。
第二，要充分的利用好大模型厂商的缓存，把可变化的部分放到后面，前面是一个相对固定的prompt，有效利用大模型缓存。第三，把提示词变少不能提高大模型的速度，这个有测试，结果差别不大。除此之外，我们还有产品优化，在与客户过程中及时响应，比如客户问一个问题，回答“好的，正在查询”，或客户问完问题后播放背景音表示机器人正在查询，都能有效提升客户体感。已经能做到0.85s的时延，如果大一些模型可能会到2s，但都在可接受的范围。
大模型的缓存优化，第一，根据客户问题进行缓存，命中的就不会请求大模型，也可能在某一些场景里使用小模型微调，希望极致目标降低至600毫秒，这已经超过了很多人的表现，这是我们如何优化响应。第二，打断的大部分的逻辑都比较简单。比如有没有声音，客户一旦有声音就去打断，这与人的行为有很大差距。并分享一个比较简单有效的逻辑，先看有没有声音，如果有声音，再看是不是人的声音，如果是背景音乐或汽车鸣笛是不能打断的，不然会让人觉得这个机器人很傻。所以我们有一个人声分类器判断是否为人声，若是，则做转写，转写后根据客户说的话打断，比如客户说 “嗯”、“啊”这类无意义的词不会打断。
四、客户案例
两个案例。
第一个案例是全球知名的啤酒品牌，由于其有一万多名员工，有上百个系统，但只有十几人的IP服务，所帮助的是企业知识的梳理、运营，知识提取后完成企业知识的闭环，最终实现问答准确率达到90%，知识运营的效率提高40%。
第二个案例是比较知名的主机厂。在汽车行业里新能源的竞争，都希望通过数字化、智能化提高营销效率，所帮助的是一个完整的DCC项目，通过AI助手、知识推荐、竞品分析、邀约到店的识别实现效率提升100%，客户有效的沟通时长提高近200%。
以上就是我的分享，非常感谢大家，谢谢。
