【大模型入门系列6】Qwen模型微调实战
本文介绍了使用开源框架LLaMA Factory进行大模型微调的技术学习过程,包括环境搭建、数据准备、模型选择、微调、评估及最终的模型导出与测试。通过阿里云PAI提供的DSW环境,以Qwen1.5-0.5B模型为例,展示了如何利用Web UI界面零代码完成模型微调,并通过对比微调前后模型的性能,验证了微调效果。
Big data Doc Analyze
本文介绍了文本分析的基本概念、应用场景及技术细节,涵盖了结构化、半结构化和非结构化数据的概述,重点探讨了中文分词工具如jieba、SnowNLP等,以及中文关键词提取和相似度计算的方法,最后提出了文本分析的架构图和实施步骤,强调了NLP在文本数据处理中的重要性和应用前景。
创建基于REST风格的简单接口实现远程交互或控制
本文介绍了如何使用Python创建一个简单的REST风格Web服务,包括两个基本功能:问候用户和获取当前时间。通过`wsgiref`库搭建服务器,使用`urllib`库进行客户端测试。文章详细解析了代码结构和实现过程,适合初学者学习参考。
Python 爬虫必备杀器,xpath 解析 HTML
【11月更文挑战第17天】XPath 是一种用于在 XML 和 HTML 文档中定位节点的语言,通过路径表达式选取节点或节点集。它不仅适用于 XML,也广泛应用于 HTML 解析。基本语法包括标签名、属性、层级关系等的选择,如 `//p` 选择所有段落标签,`//a[@href='example.com']` 选择特定链接。在 Python 中,常用 lxml 库结合 XPath 进行网页数据抓取,支持高效解析与复杂信息提取。高级技巧涵盖轴的使用和函数应用,如 `contains()` 用于模糊匹配。