七、 内容安全
阿里云云通信基于多年的风险防控对抗经验、丰富的黑灰产数据积累及大数据分析建模能力,在内容安全领域沉淀了可用、可信、可靠的产品能力,以保障阿里云云通信云平台和客户业务安全稳定运行。
阿里云云通信内容安全产品在短信服务的各个环节进行保护,将阿里云云通信在自然语言识别、大数据实时计算、大数据行为分析等多种技术全面结合,保障风险发现的准确性、全面性、及时性。
阿里云云通信积累了千万级风险画像标签和几百个不同场景风险库,同时积累了大量模型算法能力用于识别内容风险。无论是几个字的签名,还是几十个字的模板、短信内容等,阿里云云通信利用丰富的风险对抗经验及强大的机器学习能力,能够实现情报的准确搜集、异常行为的快速发现、黑灰产行为场景的高效识别等,为客户提供稳定、安全的服务。主要覆盖的风险识别场景有:涉诈、涉赌、涉黄、禁止行业、限制行业、低俗、恶意行为等。
1) 对用户内容安全的保障,从数据能力积累上主要涉及的模型有四类:
• 变异还原类模型:该类模型通过将不同的形近字、音近字、图标、符号、拼音、外文等变异信息或干扰信息进行还原,以识别黑灰产团伙真实要表达的内容。
• 语义识别类模型:通过对文本内容的语义进行建模分析,识别黑灰产在文本内容中表达的真实意图、场景等。
• 特征抽取类模型:通过对文本内容的要素进行建模分析,识别黑灰产在文本内容中表达的关键特征。
• 风险识别类模型:通过对文本内容的场景进行建模分析,识别黑灰产在文本内容表达中可能存在的潜在风险。
2) 对用户内容安全保障从驱动机制上分为主动检测、被动防御两种模式:
• 被动防御主要是基于阿里云云通信自身的业务场景及平台沉淀,在用户使用平台业务过程中及时识别产生的风险,并结合关联信息进行实时或者离线分析识别后进行处置。
• 主动检测主要是通过情报中心主动搜集外部违法违规风险信息,提取内容风险特征及场景,识别潜在威胁主动提升应对能力。
• 被动防御和主动检测互为补充,前者作为业务开展过程中发现安全事件必要采取的措施,后者补充提升被动发现的滞后性不足,并引入更广泛的风险特征和场景定义,提升风险预警的精准性,二者结合形成全面、及时和有效的安全识别能力。
3) 对用户内容安全保障从业务环节上分为事前、事中、事后三个重要阶段进行防控和治理。
• 事前通过主动防御体系中的情报中心,及时引入安全变形和关联风险事件,针对时事热点事件可能引发的风险进行布防。
• 在短信发送过程中,通过三层过滤体系进行风险防控。首先,通过数据中心和风险识别模块在策略中心组装形成实时规则进行风险拦截。其次,依据风险分级分类规则将识别结果分流到系统处置模块,结合人工审核流程形成二次识别判断。最后校验结果直接触发处罚中心对风险实体对象进行处置,包括权限限制、业务关停等,同时对相似内容进行传播识别和干预。
• 短信发送后,阿里云云通信依旧会对离线数据、模型结果进行风险聚类分析,同时结合情报中心不断收集的外部情报,对可能漏出的风险或潜在新型风险进行追溯处置。