模板信息提取阶段方案一

简介: 模板信息提取阶段方案一

一、数据采集
1.采集地点数据(可做)
通过各方面的api、网络爬虫、数据免费提供中心、数据字典等。
//要求地点数据 包含1000w+,1周实现
尽量采用ztree的方式,对所有的地点数据进行结构化

2.时间数据提取(可做)
//采集所有关于节日节气的数据
表结构如下
name beginTime endTime defaultTime

二、信息识别建立
类别1 A A1 A2 A3 + B1 B2 B3…+ D1 D2 D3 D4
各个类别建立ztree树状图形式
(已经实现)
三、信息提取
(1)采用模板方式进行提取
A+信 息 1 + B + {信息1}+B+信息1+B+{信息2}
如果模板是 提醒 信 息 1 + 早 上 + {信息1}+早上+信息1+早上+{信息2}
说一句话是 提醒 我 早上 看书
那么信息1为 我 信息2 为看书
(算法代码已经实现)
(2)时间建立
1>基本的时间设置,例如 周一 通常是这个周一、yyyy年MM月dd日
2>时间的推理 比如下个周一 下一天 诸如此类需要进行推理出来
评判标准 >大于第三方服务、过测试组

四、相似信息识别
(1)例如小明昨天买游戏卡火影100花了30元
我们需要将信息提取出来
A 买游戏卡
B 花了30元
C 小明
D 昨天
E 小明昨天
然后根据我们所需要功能,进行对这些提取后的信息进行识别

思想:
1.知识生态化构建,也就是现在说的深度学习、反馈纠正,利用数据包的进行,实现半监督、无监督方式
2.多种方式进行评估,然后根据多种方式权重之和,进行判断是否

相关文章
|
3月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
146 66
|
1天前
|
数据采集 人工智能 自然语言处理
文档智能与检索增强生成结合的LLM知识库方案测评:优势与改进空间
《文档智能 & RAG让AI大模型更懂业务》解决方案通过结合文档智能和检索增强生成(RAG)技术,构建企业级文档知识库。方案详细介绍了文档清洗、向量化、问答召回等步骤,但在向量化算法选择、多模态支持和用户界面上有待改进。部署过程中遇到一些技术问题,建议优化性能和增加实时处理能力。总体而言,方案在金融、法律、医疗等领域具有广泛应用前景。
23 11
|
18天前
|
机器学习/深度学习 自然语言处理 算法
通过RAG增强大模型回答原本无法回答的问题
RAG(检索增强生成)是一种结合信息检索和文本生成技术的方法,旨在提升大规模语言模型处理特定问题的能力。通过先从大量文档中检索相关信息,再利用这些信息生成更准确的答案,RAG特别适用于需要最新数据或专业知识的场景,如医疗咨询、法律建议等。此方法不仅提高了答案的质量和准确性,还增强了系统的可扩展性和适应性。随着技术进步,RAG有望在更多领域发挥重要作用。
|
2月前
|
机器学习/深度学习 存储 人工智能
让模型评估模型:构建双代理RAG评估系统的步骤解析
在当前大语言模型(LLM)应用开发中,评估模型输出的准确性成为关键问题。本文介绍了一个基于双代理的RAG(检索增强生成)评估系统,使用生成代理和反馈代理对输出进行评估。文中详细描述了系统的构建过程,并展示了基于四种提示工程技术(ReAct、思维链、自一致性和角色提示)的不同结果。实验结果显示,ReAct和思维链技术表现相似,自一致性技术则呈现相反结果,角色提示技术最为不稳定。研究强调了多角度评估的重要性,并提供了系统实现的详细代码。
56 10
让模型评估模型:构建双代理RAG评估系统的步骤解析
|
25天前
|
机器学习/深度学习 并行计算 数据可视化
目标分类笔记(二): 利用PaddleClas的框架来完成多标签分类任务(从数据准备到训练测试部署的完整流程)
这篇文章介绍了如何使用PaddleClas框架完成多标签分类任务,包括数据准备、环境搭建、模型训练、预测、评估等完整流程。
69 0
目标分类笔记(二): 利用PaddleClas的框架来完成多标签分类任务(从数据准备到训练测试部署的完整流程)
|
25天前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
42 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
2月前
|
语音技术 计算机视觉 开发者
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
【9月更文挑战第15天】LMMS-EVAL 是一项由多家研究机构联合开发的多模态模型评测框架,旨在为大型多模态模型提供全面、低成本且零污染的评测基准。该框架包含超过50个任务和10多个模型,覆盖图像分类、目标检测、语音识别等多个领域,使研究人员能够在有限资源下轻松评估和比较模型性能。通过利用实时更新的数据源,LMMS-EVAL 还确保了模型在真实世界中的泛化能力。论文地址: https://arxiv.org/abs/2407.12772
46 5
|
2月前
|
存储 DataWorks 数据挖掘
方案内容的技术细节评估
该方案通过明确的文档指导、可用的代码示例及数据分析需求评估,提升用户体验。文档需详列操作步骤与资源要求,并提供异常处理指南;代码示例应保持更新,附带错误处理与必要注释;方案需评估数据处理规模、复杂分析功能及实时性需求,以确定是否需额外优化或补充策略。总体而言,方案在基础架构描述上表现良好,但需在技术细节等方面进一步完善。
|
3月前
|
机器学习/深度学习 算法
ChatGPT 等相关大模型问题之收集数据并构建训练样本如何解决
ChatGPT 等相关大模型问题之收集数据并构建训练样本如何解决
|
6月前
灵活标签导出:一键满足多样化下游数据需求!
Dataphin标签平台支持导出标签时同步导出代码名称,解决了业务人员理解代码值的难题。用户可选择导出标签值、代码名称或两者,支持多数据源一键建表,实现与业务系统无缝对接。
灵活标签导出:一键满足多样化下游数据需求!