阿里云发布黑科技:面对海量的文本翻译任务,阿里翻译团队是如何解决的

本文涉及的产品
文档翻译,文档翻译 1千页
文本翻译,文本翻译 100万字符
图片翻译,图片翻译 100张
简介: 对国际化企业来说语言问题是亟待突破的重要关口。面对海量的文本翻译任务,昂贵低效的人工翻译显然不能满足需求,利用计算机自动进行文本翻译的机器翻译才是解决这个问题的关键。阿里翻译团队在机器翻译领域做了大量技术储备,并针对我们所处的电子商务领域进行算法优化,进而打造阿里巴巴自己的机器翻译平台。

对国际化企业来说语言问题是亟待突破的重要关口。面对海量的文本翻译任务,昂贵低效的人工翻译显然不能满足需求,利用计算机自动进行文本翻译的机器翻译才是解决这个问题的关键。阿里翻译团队在机器翻译领域做了大量技术储备,并针对我们所处的电子商务领域进行算法优化,进而打造阿里巴巴自己的机器翻译平台。

目前阿里翻译API已经正式上线阿里云平台,让所有的阿里云用户可以申请使用阿里翻译的最新技术成果啦,今天就让我们一起进入机翻黑科技时间-解密阿里翻译。

1、阿里翻译支持的业务场景

阿里翻译积极助力集团国际化、全球化业务,不仅在电商业务场景有着扎实的积累和优质的服务能力,同时也在不断拓展创新业务场景,借助AI技术赋能产品和服务。
目前已为集团内十几条业务线提供机器翻译和本地化支持,覆盖了Alibaba.com 、 AliExpress 、 Lazada 、钉钉、阿里云、优酷、支付宝、菜鸟、天猫精灵、高德、飞猪等众多产品。
image001

1.1跨境电商解决方案

阿里机器翻译深入剖析“网站/APP本地化”、“引流拉新”、“到站搜索”、“用户转化”、“支付物流”、“留存复购”等全链路环节,提供多类的翻译和语言服务,积极提升业务价值。
image002

以下是部分链路环节介绍:
1.1.1搜索翻译

跨境电商中目前搜索引擎主要基于英文做索引,需要将本地用户输入的搜索词进行语种识别然后再翻译成英文,通过英文进行索引匹配,返回搜索结果,这是保障多语言流量转化率的关键环节,直接影响多语言电商GMV。
除跨语言搜索翻译外,目前阿里翻译在搜索自动化上支持完整的人工解决方案,能够针对电商平台高流量top search query快速提供人工语种识别&翻译结果,干预生效,同时挖掘搜索业务低转化的badcase search query并快速人工修正翻译结果的能力,快速提升转化指标。

image003

1.1.2商品翻译

跨境电商中需要对全站商品信息进行多语言化,包括商品标题、商品详情、商品评论等内容进行翻译。其中商品标题是用户获取商品信息的重要途径,在商品标题翻译场景上,通过对源语言是中文或者英文的标题进行NER识别,并根据不同业务方的业务规则对识别后的标题根据成分进行重新改写生成,改写后再翻译成目标语种。对商品的购买转换率有非常重要的影响。
商品详情是用户阅读商品信息的主要内容,包括商品属性、商品描述等信息,商品属性是商品的关键信息,机器翻译系统会通过翻译记忆将关键信息进行高质量存储提高翻译准确率,这部分内容能够帮助用户更好的了解商品各种规格材质,有效帮助用户进行购买决策。

由于网站买家来自全球各地,所以用户对商品的评价信息也是来自多国多语言,网站提供选项将多语言评论信息勾选统一翻译成英文的功能,帮助买家更好了解其他买家对商品的评价反馈信息。

image004
image005

1.1.3沟通翻译:
网站买卖家都是来自世界各地,所以对商品的基本信息,售前咨询,售后服务都需要进行基本的语言沟通,这是翻译最基本的应用场景,通过提供实时机器翻译同时能够对翻译结果进行后编辑,提升翻译后译文的质量。可以帮助电商网站大大提升购买转化和售后投诉等等问题。
image006

1.2网站国际化解决方案

阿里翻译目前服务集团内数十个业务方的产品国际化及本地化需求,支持数十种语言的人工精翻,实现网站本地化的标准化、自动化、中台化。
image007

1.3 人机结合翻译解决方案
目前现有机器翻译质量还不完美的前提下,对于一些对质量要求极高的内容通过适当加入人工翻译的力量可以快速达成业务目标,目前阿里翻译拥有上百家语言供应商和数十万个人译者的庞大翻译资源,可以针对重点商品进行高效快速的低成本人工翻译,对快速启动新业务起到了不可或缺的作用。
image008

1.4创新服务场景解决方案

阿里翻译沉淀了优质的跨境语料数据库,充分利用先进的机器翻译算法技术和海量的数据资源,深度打磨机器翻译质量和产品体验,并积极拓展机器翻译业务的产品形态,将各项机器翻译技术产品化,如语音翻译、会场同传、实时沟通等新产品和服务形态。
阿里巴巴实时语音翻译,于18年初随阿里AI军团一同出征美国CES(国际消费电子展),在拉斯维加斯精彩亮相,成功吸引了国内外众多媒体和观众的目光。
image009

2、阿里机器翻译技术体系的特点

在线上快速发展以及随着集团开始全面国际化的背景下,阿里机器翻译平台经过多年的打磨逐渐形成自己的体系。

2.1高性能高并发服务能力

当前在线机器翻译系统提供SMT和NMT两种翻译模型,近两年来由于硬件计算能力的大幅提升和深度机器学习的广泛使用,在翻译质量上NMT翻译质量已经远超传统的SMT模型,不过NMT在计算上的复杂使得NMT在速度上也远慢于SMT。NMT解码速度的提升是系统提供高吞吐,低延迟服务的关键。

2.1.1 分布式并行翻译

当前机翻平台承接的业务相当大的一部分翻译需求为大本文和网页,将这些请求按照对应的格式进行结构化的解析,然后通过分句模型把篇章级的请求分隔为句子级别,然后再分布式批量调用解码服务,这样不仅能大幅提高分布式缓存的命中率,环节性能压力同时也能大幅降低长文本的翻译延迟。

2.1.2 Inference优化

今年NMT已经成了翻译行业的一个标配,随着这种技术的普及也给系统性能带来了新的挑战。这一年多基于GPU的NMT优化极大的提高了系统的解码速度,对系统的解码速度有数倍的提升。

2.1.3 SMT和NMT混合解码

根据实际业务场景,我们发现在处理商品页的时候会出现大量短句,而且这些短句的NMT翻译结果还不如SMT的翻译结果,所以在调用decoder前通过一个策略模块来决策调用SMT或者NMT,从而减少NMT的吞吐量,极大的减少了GPU资源的消耗同时也提升了翻译质量。

2.2 服务全球化以及高可用的保障

2.2.1 全球多机房部署

阿里集团的涉及到的多语言翻译业务需求遍布全球,为了更好的支持不同地域的翻译需求同时能尽量减小由于地域带来的访问延迟,翻译平台实现了全球中国、俄罗斯、美国、新加坡多机房部署。 不仅实现了单地域的多机房容灾同时还支持跨地域全球容灾。

2.2.2 多场景差异化支持

阿里翻译接入的场景比较多情况也比较复杂,不同的应用场景对系统的要求也不尽相同,所以针对不同的应用场景实现了同步和异步两套处理机制,架构上实现两种不同的对外接口,但是机翻引擎保持同一套代码同一套服务,

同步:
接收到请求后实时的调用后端引擎,能够做到实时返回,用于对rt要求高的场景,另外通过多级缓存进一步的提高吞吐量和降低rt。

异步:
大文本商品翻译和离线翻译场景。通过metaq消息队列实现异步化,通过不同的消息队列来对应用设置不同的优先级,使用信号量来控制不同队列消费的线程数,动态的解决翻译热点时消息堆积问题。

2.3 Transformer 新型神经网络结构

阿里机器翻译基于业界最新的Transformer结构进行了网络结构的改进和对词语位置信息的充分利用,全面改进了机器翻译的性能。
image010

2.4 多模态服务能力

现阶段的机器翻译已不仅仅局限于文字到文字的翻译, 多模态的翻译已成为发展趋势。将多模态的信息如语音、图像、类目等通过神经网络进行融合,并利用Attention机制将信息加以聚焦,可以获得良好的效果。阿里翻译实时语音翻译demo在云栖大会、CES展会上都有亮眼的表现。

3、阿里云机器翻译API接入流程

介绍了技术能力和如此广阔的应用场景,接下来详细介绍下我们到底应该如何接入使用?

1、打开阿里云主页(https://www.aliyun.com),在导航栏选择产品-人工智能-机器翻译,进入自然语言处理页面选择开通服务
image011

2、勾选阅读并同意协议,单击立即开通
image012

3、进入自然语言处理控制台,选择购买资源包
image013

4、购买对应的资源包,购买量越大单价越便宜。
image014

5、购买完成后就可以进行调用了。可在API调试界面进行调试
image015

6、机器翻译调用说明文档
image016

7、代码调用示例
image017

8、代码调用失败示例,查看错误信息
image018

4、未来展望
为了更好地迎接国际化带来的挑战, 阿里翻译团队在未来还有着很大的想象空间,在翻译模型上会向“统一化,多任务化,多模态化”方向发展,产品形态上除了目前基于文本的翻译外,会扩展跟多模态的翻译产品,例如语音翻译、图像翻译等领域,同时还是针对具体应用场景例如搜索、实时沟通、旅游推出相关接口服务,在服务部署上也会针对客户需求推出定制化私有化部署的能力,助力企业解决国际化过程中的语言问题。

点击观看产品发布会:https://promotion.aliyun.com/ntms/act/aiproduct.html?spm=a2c4e.11154000.rtdmain.1.319d6c12HQSW25

相关文章
|
6月前
|
编解码 人工智能 测试技术
ShareGPT4V作者团队又一力作!百万高质量视频-字幕数据助力社区提升多模态大模型视频理解及生成能力
【6月更文挑战第30天】ShareGPT4Video`团队推出百万视频-字幕数据集,强化多模态模型的视频理解和生成。包括40K视频的`ShareGPT4Video`数据集、`ShareCaptioner-Video`模型和8B参数的`ShareGPT4Video-8B`模型,后者在视频基准测试中取得最佳效果。差异化字幕生成策略解决了传统方法的局限。尽管取得突破,但数据规模和模型泛化仍是未来挑战。[论文链接](https://arxiv.org/abs/2406.04325v1)
70 1
|
5月前
|
人工智能 运维 Serverless
|
6月前
|
人工智能 自然语言处理 决策智能
超长小说可以用AI翻译了,新型多智能体协作系统媲美人工翻译
【6月更文挑战第11天】研究人员开发了一种基于大型语言模型的多智能体协作系统TransAgents,用于文学翻译,挑战复杂的文学文本翻译。通过单语人类偏好和双语LLM偏好评估,系统在保留文学风格和表达上表现出色,尤其在需要领域知识的文本中。然而,系统在捕捉文学翻译的细微差别、文化特定元素和长文本翻译效率上仍有局限性。相关论文链接:https://arxiv.org/abs/2405.11804
167 1
|
数据采集 人工智能 数据可视化
ChatGPT4 Plus只需上传一个文件,自动进行数据分析,数据遇上Ai会碰撞出什么火花?
ChatGPT4 Plus只需上传一个文件,自动进行数据分析,数据遇上Ai会碰撞出什么火花?
|
JavaScript 前端开发 开发工具
如何做到一站检索前沿主流 AIGC / GPT 文章?定时任务抓取文章!
如何做到一站检索前沿主流 AIGC / GPT 文章?定时任务抓取文章!
292 0
|
人机交互 容器
《在线时代先进文档编辑器设计探索-Suki》演讲视频&文字版
《在线时代先进文档编辑器设计探索-Suki》演讲视频&文字版
224 0
|
机器学习/深度学习 人工智能 自然语言处理
华为诺亚开源首个亿级中文多模态数据集-悟空,填补中文NLP社区一大空白
华为诺亚开源首个亿级中文多模态数据集-悟空,填补中文NLP社区一大空白
227 0
|
机器学习/深度学习 人工智能 监控
《花雕学AI》23:中文调教ChatGPT的秘诀:体验测试与通用案例,解锁无限有趣玩法!
ChatGPT是一个基于深度学习的中文对话生成系统,它可以根据用户的输入,生成流畅、自然、有趣的对话回复。ChatGPT不仅可以进行各种主题和风格的闲聊,还可以进行各种类型和形式的创作、学习、娱乐和社交。ChatGPT具有强大的逻辑推理和创造性思维能力,可以应对各种复杂和有趣的情境和挑战。 但是,要充分发挥ChatGPT的潜力和魅力,你需要了解如何调教它,让它更符合你的期望和需求。在本文中,我将为你揭示中文调教ChatGPT的秘诀,通过体验测试和通用案例,让你解锁无限有趣玩法,享受与ChatGPT的对话乐趣。请跟随我,一起探索ChatGPT的奇妙世界吧!
664 0
|
机器学习/深度学习 监控 算法
这场评分卡模型直播解答了我对于信贷风险的大部分疑问
8月4日下午15:00顶象第三期业务安全大讲堂正式开讲。本期业务安全大讲堂由顶象研发总监管胜老师进行分享,针对信贷风控,管胜老师就评分卡模型做了深入浅出的讲解,深刻剖析了评分卡模型的原理、如何构建评分卡模型以及评分卡模型如何评估、应用、跟踪等问题,不仅让大家对信用贷有了更深的理解,同时对评分卡模型的构建产生了极大关注度。
469 0
这场评分卡模型直播解答了我对于信贷风险的大部分疑问
|
机器学习/深度学习 人工智能 自然语言处理
6.2万字报告剖析「智能写作」全貌,从落地产品看NLP商业化突破
近年来字节跳动、百度、阿里巴巴、美团点评、微软等各大互联网巨头纷纷加注智能创作/写作,并已在自有资讯、内容平台、电商、办公文书等业务场景中广泛应用;同时达观数据、智搜、妙笔智能、文因互联等 NLP 领域领先创业公司扎根营销文案、文本业务自动化、金融数据分析等场景,让 NLP 技术产生更显著的商业价值。 「智能写作」让我们看到论文中 SOTA 的 NLP 模型也可以被快速应用到工业场景中,辅助或直接成为人类的生产力。因此我们针对这一技术应用领域,搜集了数百余篇论文、第三方市场报告及国内外新闻报道,并采访了多位国内智能写作公司与产品线的产品经理或技术负责人,撰写了 6.2 万字报告,从基础概念到
1507 0
6.2万字报告剖析「智能写作」全貌,从落地产品看NLP商业化突破