2017论文回顾 | Yann LeCun:中英日韩语文本分类通用编码机制(附论文下载)

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介:

今天的头条文章是Nature关于“论文零引用”的研究。2017年,各路AI会议颇多、论文频出,有哪些论文值得关注?它们给这个世界带来了什么样的影响?我们希望这个小栏目的存在,能让论文重新“发声”,得到更多关注。

如果你也有印象深刻的论文,本栏目欢迎你带着对论文的解读投稿,也希望更多论文作者主动联系我们。联系邮箱:zz@bigdatadigest.cn

今年8月,纽约大学教授、Facebook人工智能实验室主任Yann LeCun及其博士生Xiang Zhang在Arxiv上发表了论文“何种编码机制最适合中文、英语、日语、韩语的文本分类?”

d5c83fd1f03d5aa67e8f1f213aa55acf2efb051b

他们首次对37种现有编码方法进行了系统性研究,使用到14个多语言数据库(共473个模型),数据集来自中国在线餐饮评论网站dianping.com,日本在线购物网站rakuten.co.jp,韩国在线购物网站11st.co.kr和“纽约时报”等网站,样本量超过1000万。

最终,性能最佳的是字符级5-gram fastText模型。fastText是Facebook AI实验室开发的一种开源方法。

他们的研究让多语言文本处理更加高效,对中文、日语和韩语的文本处理也在提醒我们AI研究的全球性。

他们也将开源他们的代码,代码地址:

https://github.com/zhangxiangxiao/glyph

bcf5099c5e7818cfc364786a14cc18aea9b3c76d


论文第一作者Xiang Zhang的个人主页:

http://xzh.me/

信息来源:Twitter, Medium

论文地址:

https://arxiv.org/abs/1708.02657


原文发布时间为:2017-12-27

本文作者:龙牧雪

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
SQL 存储 分布式计算
了解Hive 工作原理:Hive 是如何工作的?
Apache Hive 是一个建立在 Hadoop 之上的分布式数据仓库系统,提供类 SQL 查询语言 HiveQL,便于用户进行大规模数据分析。Hive Metastore(HMS)是其关键组件,用于存储表和分区的元数据。Hive 将 SQL 查询转换为 MapReduce 任务执行,适合处理 PB 级数据,但查询效率较低,不适合实时分析。优点包括易于使用、可扩展性强;缺点则在于表达能力有限和不支持实时查询。
710 3
|
芯片 网络架构
开关电源DC-DC电源应用设计原理
**DC-DC转换器**是电子设备中用于电压转换的关键组件,尤其在开关电源中,因其高效、小型化和高可靠性被广泛应用于各种领域,包括通信、工控和便携式设备。转换器由控制芯片、电感、二极管等组成,其性能受外围电路和布局影响。工作原理涉及滤波、变换和调节,通过PWM或PFM控制实现电压稳定。设计时,考虑元件选择如电感、电阻和电容的平衡,以及布局布线,如电源芯片靠近负载、避免电磁干扰、加强地线和散热设计,以优化性能和稳定性。
476 0
|
NoSQL Linux Redis
centos7搭建redis集群系统
这里创建6个redis节点,其中三个为主节点,三个为从节点。 redis和端口对应关系: 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 从: 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 步骤: 1,下载redis。
1845 0
|
22天前
|
Linux 程序员 数据格式
【2026最新】Notepad++下载、安装和使用一篇搞定(附中文版安装包)
Notepad++ 是一款免费开源、轻量高效的 Windows 文本编辑器,支持 C/Python/HTML 等 80+ 语言语法高亮、代码折叠、正则替换、编码转换及插件扩展,专为程序员与文本处理用户打造,完美替代系统记事本。(239字)
|
8天前
|
人工智能 缓存 安全
Claude Code 封号真实原因曝光,这次彻底不装了,直接针对国内开发者的账号下手?
Claude Code 封号潮背后:逆向扒出客户端隐写区域标记,Anthropic 政策收紧叠加 DeepSeek 7 月涨价,国产替代更紧迫。
|
13天前
|
人工智能 JSON 自然语言处理
让教学更智慧:用阿里云百炼工作流,自动生成中小学教材内容#小有可为#有温度的AI
通过可视化工作流编排,将大模型推理能力转化为标准化的教学内容生成引擎。教师只需输入教材标题和适用学段,即可自动获得结构完整、符合课程标准的章节内容,大幅降低备课门槛,助力教育资源均衡化。
496 127
|
17天前
|
存储 人工智能 监控
QoderWork完全指南:从入门到精通,把“AI实习生”变成你的全能工作搭档
阿里云2026年推出的桌面端AI工作助手QoderWork,不止聊天,更可动手干活:本地运行、安全可控,支持文件整理、数据分析、PPT生成、网页开发等;内置专家套件、多Agent协作与自定义Skills,让AI真正成为你身边的“AI实习生”。
|
8天前
|
人工智能 安全 程序员
终于,Claude Code 封号的原因被曝光了!竟然针对中国用户,植入隐形代码?!
通俗易懂地揭秘 Claude Code 封号的手段,分享一些自己对 AI 编程困境的思考,Codex、Cursor、DeepSeek、智谱 GLM、甚至是豆包,都有所行动了
461 1