云端问道23期—方案讲解
内容介绍
1. 技术解决方案概述
2. 客户使用商业场景
3. 行业应用分析
4. 客户案例展示
5. 商业价值与效益
6. 实践落地案例
7. 技术未来展望
01. 技术解决方案概述
整个教学方案给大家做一个概括。
1.1 技术集成与功能
目前在技术应用过程中，其实已经逐步从原来的单模态的纯文本和图像的音频的处理，逐步到多模态的融合。
（1）多模态数据融合：数据的处理就是图片和文本结合，音频和文本结合，音频和视频结合，这种多模态的全面提取和理解的方式。
（2）智能识别功能：整个智能识别的功能也从原来的单向识别逐步到视频当中的切片之后，能够去识别人脸和语音信息等。
（3）实时数据处理：这个处理过程中是整个系统能够支持实时的来审核动态进行结合，因此得到实时的信息提取。
1.2 业务场景适用性
在应用场景上，大家我们分这样四个方面。
（1）金融行业应用：由我们的金融行业里面的信息提取，用于做风险评估和欺诈提高决策的一个效率。
（2）医疗健康分析：另外在医疗的健康的分析的过程中，类似于大家日常的拍片或者有医疗报告，其实可以从里面提取信息辅助医生做判断，并且对治疗计划的制定。
（3）智能安防监控：还有智能安防监控就在整个零售商通过对于客户语音表情，包括购物行为的，通过这些数据去了解现在客户购买的东西和并进行对应的那个商品的排布，增加整体的销售的一个布景,更快就能够让客户进行购买。
（4）智能交通监控：剩余的数据也有我们对应的智能交通的监控活动，它也能够获取到当时的车流，车牌信息和人员时间。
1.3技术优势分析
那么整体我们整个多模态的技术优势在于这样的四大方向。
（1）提高数据处理效率：能够提高数据提取的效率，因为我们有很多不同的能力，所以能够同时提取特征，并进行交叉的事件分析。
（2）增强信息识别准确性：整个使用大模型之后，信息提取的准确性比原来的准确性可能会好很多，减少错误率。
（3）支持复杂场景应用：由于过去多半是以规则方式来进行构建，现在基本上是以多模态的模式来做建构，大模型能够更好的理解。
（4）扩展性强，易于集成：另外因为在多模态的场景下，其实可以做到多数据相互之间结合，能够去应用到复杂场景，所以整个技术方案搭建部署完成之后，比较易于跟原始的业务流程和业务系统进行结合与使用。
02. 客户使用商业场景
这种实际过程中，客户使用到的商业场景如下：
2.1文本信息提取应用
（1）社交媒体情感分析：文本提取类多半现在是跟社交舆情的情感分析和舆情分析相关。
（2）市场调研数据整理：在做整个试诊报告和注意研究的时，会产生大批量的问卷和生产信息需要进行抽取，而且将非结构化的数据转变为结构化，能够更快的来分析整个消费者的需求和市场趋势。
（3）客户服务自动化：客户服务过程中的文本和信息提取，能够识别过程中的问题，提高难度。
2.2图片信息提取应用
图片信息提取基本上是在整个新零售和广告中。
（1）智能图像识别：在整个智能图像识别的时，其实新零售应该更多的是通过识别对应的商品，来理解现在堆货的情况。也能够知道目前在货品当中的库存管理的使用率的情况。
（2）广告内容分析：第二个事情是利用整体的图片和现在的广告视频元素的分析来提高营销团队的广告的推广和项目。
（3）社交媒体监控：最后一件事情是现在的社交媒体其实比较多，在社交媒体过程中是可以含图片，也会含文本，包括视频。从图片，文本视频当中提取关键信息，能够帮助使人去实时监控品牌的舆情和品牌的思想影响情况。
2.3视频信息提取应用
最后一个是食品类的。
（1）零售行业客户行为分析：食品类的过程中，其实会有几类就刚刚跟大家讲过的就是新零售。其实在整个布局当中，过去都会有很多摄像头。其实可以根据暗访去分析客户的购买行为和行走路径。这样能够去在行走路径中部署更多的商品，更方便客户做交叉购买。
（2）智能交通监控：整个智慧交通里面提取车辆和事故防控信息，以至于能够更便捷和理解。
（3）安全监控异常检测：剩余是安防类，安防类的类似于产房和家居食品，能够提取老人和儿童的生活习惯。现在的疫情异常情况，不再是之前只能细心陪伴。现在家中摄像头有移动捕捉，那么现在是可以实时的告诉您，在移动的过程中，到底小孩或者老人遇到了什么，是不是有些不良状态。
03. 行业应用分析
第三类是整个行业的应用分析。
3.1金融行业应用
（1）欺诈检测：现在在金融行业里面基本上都是属于叫做使用，通过它的购买或者个人信息诉求，能够去对欺诈行为和信用卡勒索行为进行分析。因为这一块会有个人数据也会有对象和人物之间的交流数据可以做交叉评估。
（2）信用评分：然后另外一件事是通过社媒和多模态的信息，能够去对于信用评级进行数据搜寻的信息提供。
（3）智能投顾：最后在整个市场分析过程中，投资顾问里面会需要去研究整体的市场市场报告和财报和行业报告，通过这些行业报告，形成系统，能够去辅助投资者进行判断。
3.2医疗行业应用
整个医疗行业里面大概有这样的四个点。
（1）电子病历信息提取：其实现在病历单还是十分重要，虽然很多人是线上病历，但还是会有诊疗是属于图片的信息需要去提取。那这一类其实是可以作为分析单位，能够去加强对病人的病症和信息的理解。
（2）医学影像分析：医学过程中拍片的医疗，可以从对应的医疗和病症当中，然后去进行分析病状的特征。
（3）药物研发辅助：对于新药和过去老药品当中的主要结构和成分进行获取，用于科研方面的分析。
（4）患者健康检测：最后一件事情就是患者的健康，多模态里面会有几种不同的类别，最重要的一类是获取提取，还有新的多模态的设备能够去实时监控身体状态，并且结合过去的病情事件来进行预警。
3.3教育与制造业应用
（1）智能教育平台：最后一块是教育和智能行业现在大家写的日常应该用的平板和那个学习机的比较多了，如图片中所示，比如说小孩要去做语音交互和视频画面，包括陪读之类的，其实也是分析小孩的行为和提供任意的教学指导。
（2）制造业质量控制：现在在整个我们制造行业当中，通过视频识别能够去抽取当前在现场的情况，机器这边运行的情况，保障整体产品生产的质量。
04. 客户案例展示
那么我们进入到第4块来讲讲客户的实际案例。
4.1电商行业案例
（1）智能客服系统：实际上，你们基本上是说在智能客服行业里面，通过对于小R和客户之间的智能客服提取，能够去更多的获取到客户现在在图片里面想表达的信息，包括有时录音后，多轮之间相互之间交错的信息，能够给小R辅助，之后提升小R回复给客户的满意度。
（2）商品推荐算法：第二件事情就是商品之后的整体通过客户的行为抽取，包括签字的客服回复的程序，以及售后信息的手续，其实可以能够更多的来理解现在商品里面的优越程度，能够去做商品推荐的算法和行为偏好的数据的支持，支持与对应的推荐算法模型的优化。
（3）图像搜索优化：在整个图片当中可以对图片信息进行抽取，后续其实也可以完成对于图搜的功能的辅助。
4.2、安防行业案例
后面这个就是安防行业，整个安防行业上述已和大家讲述过。
（1）智能视频监控系统：第一个是家居的智能摄像头，对于老人和儿童的异常行为捕捉。
（2）人脸识别门禁系统：整个进门的门禁不但需要只知道能够有人移动，还需要对相关人员进行分析，可能这个时候移动男女包括是不是快递员，包括所有快递放在门口，其实都能够去得到进一步的认知，也能准确的做返回和识别。
（3）交通流量分析：剩余就是交通和交通类的流量大型的防控。其实这个时候是代替了过去全国新的模态团购需要更多的识别，包括能够制造生产的语音和画面的交错的行为进行分析。
4.3、医疗行业案例
在医疗行业中上述已和详细讲述，可以查看上文，主要是电子病历、医学影像分析以及药物研发数据整合。
05. 商业价值与效益
5.1提高业务流程效率
我们来讲讲整个学这样做完动态分析里面的业务价值。
（1）自动化数据处理：这里会有通过自动获取从单模态来逐步到多模态。其实在这样的过程中，我们会更多的使用自动化和大模型能力来减少人工的操作提供效率，与此同时其实人工还是需要复核，保证它的准确性的。
（2）实时决策支持：第二块是说一个实施决策性，因为整体的信息量可以更多的时候，在处置和角色的分析当中，其实会有更多的灵活。
（3）优化客户服务：最后一件事情就不论是信息提取还是图片或者整个视频的提取，其实都是为了能更快的去理解客户，能够去改善客户在服务过程中和购买过程中的体验，提高客户的满意度。
5.2降低企业运营成本
对于整个企业来说，整体的数据提取和提高学生和优化资源交配，
其实基本上都是从减少人工成本和降低运营成本的两个角度来出发。
5.3增强决策支持与客户体验
最后，增强决策这一类除了我要求提起之外，还可以为过去的流程和系统提供数据上的支持。
（1）优化个性化推荐系统：这里会有分析完的数据结合到过去的个性化推荐系统。
（2）提高市场趋势预测准确性：同时也会有分析完的数据，结合过去的市场预测或者市场决策的辅助的数据资料和信息。
（3）改善客户服务流程：最后提供更多资源，同时也会有通过动态数据来结合到过去，在服务流的改善和变更的情况下客户能得到更好的体验和资源。
06. 实践落地案例
接下来就跟大家讲述整体线上的动物态的页面长什么样。目前我们是阿里云上在技术方解决方案当中，有一个多模态信息提取点供大家提取及使用。
刚打开整个页面的时候，其实我们可以看到动物态进行提取的信息。对私信的客户要把批量的提取和提高信息效率，包括准确性，对于大量的商品图和搜索信息和电脑平台都可以提供优化。
目前我们有可以大家一起解放单线的能力。当中有文本提取，图片提取以及信息提取。当然，大家在学习会这些搭建过程和流程之后，是可以做多种类型的信息组合提取的。
多模态应用方案当中其实这里会有几类非常很常见的就是我们有一对过去的文本。那么这个时候我们从中去可以提取对应的时间和信息。
然后第二块是结构化，其实我们可以看到此时的来源并不是信息来源，而是一个过去的文档word或者excel的时候，也可以通过对应的信息来提取其中的所需要的资料和信息，不能的话就需要把信息来源列出来。
最后OCR的信息。这个就是给刚刚跟大家讲的，就是医疗检查表里面提取异常对于手术信息能够做使用.
最后一段是目前比较多的，就是对于商品图和商品结构进行识别提取里面的卖点和主要信息和描述方式。后面可能会基于这种处理的时候，再结合上进行2次生存，得到商业描述，因此得到现在卖点的特征。
最后是因为这个是比较新的。目前这个模块里面是支持并使用到视频在视频的语言的内容进行理解和全篇的信息清晰的描述，同时也支持抽取其中热点和商品信息辅助人员。对于整体的视频内容及售卖信息或者视频主要观点和爆点进行书写。
07. 技术未来的展望
除了整体这几个方案外，其实这一次咱们整个功能上线之后，还有一件事情是我们填完整体了后，这里也会在大模型这个过程当中有一个比较目前的就是说比较低价的模式。如果大家使用Batch的离线任务模式的批量提交，在24小时内得到答复，其实整个大模型的调研的费用是在50%，这时价格和成本更低，所以数据的量更大。今天分享到此结束，感谢大家。
