开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

这个分词跟jieba分词比如何?

这个分词跟jieba分词比如何? 能在机器上使用吗? 能加词典吗

展开
收起
xpjandy 2022-10-31 13:31:03 1232 0
1 条回答
写回答
取消 提交回答
  • 跟jieba分词的差别主要是分词模型的差别。jieba采用的是词典+统计分词模型的模式, BaStructBERT模型是基于预训练语言模型+CRF的序列标注模型, BaStructBERT分词模型的泛化性对比jieba会好很多,但是运行效率相应的也会慢一些。目前BaStructBERT分词暂时不支持添加词典的功能

    2022-11-02 15:51:24
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载