AI 助理
文档备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 文章 正文

分词

2022-10-28 371
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 中文分词介绍

【Task简介】

给定连续输入文本内容，分词模型会将给出分词结果


【说明视频】


【输入与输出】

Input就是一段文字，StructBERT+softmax序列标注模型,序列标注标签体系(B、I、E、S),四个标签分别表示单字处理单词的起始、中间、终止位置或者该单字独立成词，output就是根据输出标签确定的分词结果



【场景应用】

中文数据词云展示、需要先将数据进行分词


【数据集链接】

数据集：

https://modelscope.cn/datasets/dingkun/chinese_word_segmentation_pku/summary

https://modelscope.cn/datasets/dingkun/chinese_word_segmentation_pku/summary

模型文件：

https://modelscope.cn/models/damo/nlp_structbert_word-segmentation_chinese-base/files

文章标签：
自然语言处理
自然语言处理
BI
ModelScope运营小助手
目录
相关文章
1040603911771223
|
计算机视觉
教你如何玩转Modelscope （一、图片编辑与描述生成）
本文通过一个有趣的图片处理例子，教你如何利用modelscope强大且多样的模型能力去解锁你专属的图片编辑能力。
1040603911771223
3636 1
教你如何玩转Modelscope （一、图片编辑与描述生成）
魏红斌
|
机器学习/深度学习 人工智能 编解码
ModelScope开源模型社区小白测评
简易操作无脑上手
魏红斌
3631 0
ModelScope开源模型社区小白测评
ModelScope运营小助手
|
搜索推荐 流计算 索引
图文检索
图文检索简介
ModelScope运营小助手
3124 0
图文检索
栈江湖
|
Prometheus 监控 Cloud Native
无痛入门Prometheus：一个强大的开源监控和告警系统，如何快速安装和使用？
Prometheus 是一个完全开源的系统监控和告警工具包，受 Google 内部 BorgMon 系统启发，自2012年由前 Google 工程师在 SoundCloud 开发以来，已被众多公司采用。它拥有活跃的开发者和用户社区，现为独立开源项目，并于2016年加入云原生计算基金会（CNCF）。Prometheus 的主要特点包括多维数据模型、灵活的查询语言 PromQL、不依赖分布式存储、通过 HTTP 拉取时间序列数据等。其架构简单且功能强大，支持多种图形和仪表盘展示模式。安装和使用 Prometheus 非常简便，可以通过 Docker 快速部署，并与 Grafana 等可
栈江湖
6216 2
梯舞蜡纸
|
SQL 自然语言处理 数据库
【Star2.0】在ModelScope 平台体验STAR2.0预训练表格模型
近期在耶鲁大学的CoSQL和SParC表格问答榜单上，多轮表格预训练模型STAR取得了双榜单第一的效果，阿里近期打造的Modelscope模型即服务共享平台已接入了STAR模型，笔者在该平台做了尝试，可以轻松调用该模型进行表格问答的预测。
梯舞蜡纸
1350 0
纠结这个
|
编解码 人工智能 自然语言处理
ModelScope体验人像卡通化模型
该任务采用一种全新的域校准图像翻译模型DCT-Net（Domain-Calibrated Translation），利用小样本的风格数据，即可得到高保真、强鲁棒、易拓展的人像风格转换模型，并通过端到端推理快速得到风格转换结果。
纠结这个
1455 94
holdtao
3.4bochs的调试方法
3.4bochs的调试方法
holdtao
505 0
ModelScope运营小助手
|
文字识别 计算机视觉 Python
使用ModelScope社区搭建OCR应用
简介： 本文介绍通过ModelScope来完成光学字符识别（OCR）这一应用，该应用使用两个模型： ● 文本检测（ocr_detection） ● 文本识别（ocr_recognition）
ModelScope运营小助手
1863 0
使用ModelScope社区搭建OCR应用
云内容小助手
|
机器学习/深度学习 算法 数据挖掘
模型训练及评估（上）| 学习笔记
快速学习模型训练及评估（上）
云内容小助手
826 0
模型训练及评估（上）| 学习笔记
GoAlaaa
|
机器学习/深度学习 自然语言处理 搜索推荐
深度学习推荐模型-DeepCrossing
2016年，微软提出Deep Crossing模型，旨在解决特征工程中特征组合的难题，降低人力特征组合的时间开销，通过模型自动学习特征的组合方式，也能达到不错的效果，且在各种任务中表现出较好的稳定性。与之前介绍的FNN、PNN不同的是，Deep Crossing并没有采用显式交叉特征的方式，而是利用残差网络结构挖掘特征间的关系。本文将对DeepCrossing从原理到实现细节进行详细分析。
GoAlaaa
1006 0
深度学习推荐模型-DeepCrossing
ModelScope模型即服务

自然语言处理

热门文章

最新文章

  • 1
    [大模型实战 01] 本地大模型初体验：Ollama 部署与 Python 调用指南
  • 2
    [大模型实战 06] 我的模型我做主：在 Kaggle 上用 Unsloth 极速微调 Qwen3
  • 3
    OpenScholar：华盛顿大学联合艾伦研究所开源的学术搜索工具
  • 4
    [大模型实战 03] 拆解 Transformers：从原理图解到 HuggingFace Transformers 实战
  • 5
    Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • 6
    [大模型实战 05] 大模型实战的杀手锏： 模型微调
  • 7
    Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 8
    [大模型实战 03预备] 云端炼丹房 1：Google Colab 上手指南
  • 9
    LLM 大模型学习必知必会系列(一)：大模型基础知识篇
  • 10
    告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • 1
    [大模型实战 05] 大模型实战的杀手锏： 模型微调
    115
  • 2
    [大模型实战 03预备] 云端炼丹房 1：Google Colab 上手指南
    100
  • 3
    [大模型实战 06] 我的模型我做主：在 Kaggle 上用 Unsloth 极速微调 Qwen3
    144
  • 4
    [大模型实战 03] 拆解 Transformers：从原理图解到 HuggingFace Transformers 实战
    116
  • 5
    [大模型实战 01] 本地大模型初体验：Ollama 部署与 Python 调用指南
    771
  • 6
    深夜的“懂我”瞬间：我在杭州开元名都，体验了一把“AI+闪购”投喂黑科技
    113
  • 7
    写小说时，Claude 4.0 和 4.5 的差别在哪里？
    363
  • 8
    基于Qwen-3B-Raw的本地化SD Prompt生成器研究
    140
  • 9
    杭州速车携手蚂蚁百宝箱，快速抢滩文旅AI新市场
    168
  • 10
    一年输送旅客数千万次，浦东国际机场的效率秘密藏在这个智能体里
    195

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！