开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

超长文本AI批量个性化总结内容作为大模型微调数据应该怎么做?

超长文本AI批量个性化总结内容作为大模型微调数据应该怎么做?
我现在已经把超长文本给他分割成了,是每一份3000字。
然后我尝试。用本地的gpt进行总结,结果不太行,速度不太理想,所以想问一下有没有在线的网站可以帮助我解决这个问题。

展开
收起
游客dsgb7rcwcjvqs 2024-02-28 18:31:38 214 0
1 条回答
写回答
取消 提交回答
  • 收集大量具有代表性的超长文本数据,这些数据应覆盖多个主题和领域。
    对原始文本进行清洗和预处理,包括去除无关字符、停用词过滤、分词等。
    使用现有的自动文本摘要技术(如基于抽取式或生成式的AI模型)对每篇超长文本进行个性化总结。这一步的目标是将每篇长文本转化为精炼且保留核心信息的短文本摘要。

    2024-02-28 19:02:59
    赞同 1 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
2023云栖大会:PolarDB for AI 立即下载
2023云栖大会:Lindorm一站式AI数据平台实战 立即下载
释放算力潜能加速应用构建Serverless为AI创新提速 立即下载