AIweker_个人页

2024年11月

• 11.02 00:06:01
  发表了文章 2024-11-02 00:06:01

  NotebookLM与NotebookLlama 了解下 | AI工具

  在AI技术飞速发展的今天，Google和Meta分别推出了基于大型语言模型的笔记本应用——NotebookLM和NotebookLlama。这两款产品不仅提供了强大的文档处理和编码支持，还在文档和编码领域引领了创新。NotebookLM强调个性化和隐私保护，而NotebookLlama则以开源和高度定制性著称。本文将深入解析这两款产品并进行对比分析。【10月更文挑战第16天】

2024年10月

• 10.31 22:56:25
  发表了文章 2024-10-31 22:56:25

  swarm Agent框架入门指南：构建与编排多智能体系统的利器 | AI应用开发

  Swarm是OpenAI在2024年10月12日宣布开源的一个实验性质的多智能体编排框架。其核心目标是让智能体之间的协调和执行变得更轻量级、更容易控制和测试。Swarm框架的主要特性包括轻量化、易于使用和高度可定制性，非常适合处理大量独立的功能和指令。【10月更文挑战第15天】
• 10.30 22:22:47
  发表了文章 2024-10-30 22:22:47

  Neo4j从入门到精通：打造高效知识图谱数据库 | AI应用开发

  在大数据和人工智能时代，知识图谱作为一种高效的数据表示和查询方式，逐渐受到广泛关注。本文从入门到精通，详细介绍知识图谱及其存储工具Neo4j，涵盖知识图谱的介绍、Neo4j的特点、安装步骤、使用方法（创建、查询）及Cypher查询语言的详细讲解。通过本文，读者将全面了解如何利用Neo4j处理复杂关系数据。【10月更文挑战第14天】
• 10.29 06:56:45
  发表了文章 2024-10-29 06:56:45

  Parquet 文件格式详解与实战 | AI应用开发

  Parquet 是一种列式存储文件格式，专为大规模数据处理设计，广泛应用于 Hadoop 生态系统及其他大数据平台。本文介绍 Parquet 的特点和作用，并演示如何在 Python 中使用 Pandas 库生成和读取 Parquet 文件，包括环境准备、生成和读取文件的具体步骤。【10月更文挑战第13天】
• 10.26 00:09:04
  发表了文章 2024-10-26 00:09:04

  Claude 3.5：一场AI技术的惊艳飞跃 | AIGC

  在这个科技日新月异的时代，人工智能（AI）的进步令人惊叹。博主体验了Claude 3.5 Sonnet的最新功能，对其卓越的性能、强大的内容创作与理解能力、创新的Artifacts功能、视觉理解与文本转录能力、革命性的“computeruse”功能、广泛的应用场景与兼容性以及成本效益和易用性深感震撼。这篇介绍将带你一窥其技术前沿的魅力。【10月更文挑战第12天】
• 10.24 01:36:00
  发表了文章 2024-10-24 01:36:00

  Beautiful Soup 解析html | python小知识

  在数据驱动的时代，网页数据是非常宝贵的资源。很多时候我们需要从网页上提取数据，进行分析和处理。Beautiful Soup 是一个非常流行的 Python 库，可以帮助我们轻松地解析和提取网页中的数据。本文将详细介绍 Beautiful Soup 的基础知识和常用操作，帮助初学者快速入门和精通这一强大的工具。【10月更文挑战第11天】
• 10.23 12:34:41
  发表了文章 2024-10-23 12:34:41

  了解Python中的装饰器 | python小知识

  装饰器是Python中一个非常强大且灵活的特性，它允许程序员在不改变函数本身的情况下扩展或修改函数的行为。本文将带你从零开始，了解装饰器的工作原理，常见的基本操作，并深入介绍`@dataclass`和`@property`装饰器的用法。 【10月更文挑战第10天】
• 10.22 00:55:01
  发表了文章 2024-10-22 00:55:01

  AI攻克132年的未解之谜 | AI大咖说

  本文探讨了AI在数学证明和自然科学研究中的最新进展，特别是AI成功找到新的李雅普诺夫函数，解决了132年的数学难题。文中介绍了李雅普诺夫函数的重要性，AI如何通过Transformer模型实现高准确率的预测，并讨论了AI在数学和自然科学领域的广泛应用及未来挑战。【10月更文挑战第9天】
• 10.21 20:38:01
  发表了文章 2024-10-21 20:38:01

  深入理解 Python 中的异步操作 | python小知识

  在现代编程中，异步操作是一个非常重要的概念，尤其是在处理 I/O 密集型任务时。使用异步操作可以显著提高程序的性能和响应速度。Python 提供了 `async` 和 `await` 关键字，使得编写异步代码变得更加直观和简洁【10月更文挑战第8天】
• 10.20 10:19:04
  发表了文章 2024-10-20 10:19:04

  介绍一款好用的开源画图神器-draw.io | AI应用开发

  draw.io 是一款基于浏览器的开源绘图工具，无需安装即可使用，支持多种操作系统和设备。其简洁的界面、丰富的形状库、智能对齐功能和强大的云端协作能力，使其成为专业人士和创意爱好者的首选。无论是产品设计、流程图绘制还是思维导图构建，draw.io 都能满足你的多样化需求。【10月更文挑战第7天】
• 10.19 00:21:32
  发表了文章 2024-10-19 00:21:32

  看看AI大佬都开了什么公司 | AI大咖说

  看看AI大佬都开了什么公司 【10月更文挑战第6天】
• 10.18 21:28:35
  发表了文章 2024-10-18 21:28:35

  2024年诺贝尔奖：AI科学家的辉煌时刻 | AI大咖说

  在今年的诺贝尔物理学奖和化学奖颁奖典礼上，AI科学家分别摘得了这两项殊荣，这无疑为AI技术的发展和应用注入了新的动力【10月更文挑战第5天】
• 10.17 07:31:57
  发表了文章 2024-10-17 07:31:57

  python操作和解析ppt文件 | python小知识

  本文将带你从零开始，了解PPT解析的工具、工作原理以及常用的基本操作，并提供具体的代码示例和必要的说明【10月更文挑战第4天】
• 10.16 13:49:02
  发表了文章 2024-10-16 13:49:02

  读取excel工具：openpyxl | AI应用开发

  `openpyxl` 是一个 Python 库，专门用于读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件。它是处理 Excel 文件的强大工具，可以让你在不需要安装 Excel 软件的情况下，对 Excel 文件进行创建、修改、读取和写入操作【10月更文挑战第3天】
• 10.15 01:10:18
  发表了文章 2024-10-15 01:10:18

  python读取word文档 | AI应用开发

  在RAG系统中，构建知识库时需读取多种外部文档，其中Word文档较为常见。本文介绍如何使用`python-docx`库读取Word文档（.docx格式）中的标题、段落、表格和图片等内容。首先通过`pip install python-docx`安装库，然后利用提供的接口提取所需信息。尽管该库功能强大，但在识别标题样式时需自定义逻辑，并且仅提供图片的URI而非直接加载。示例代码展示了读取文本、识别标题、读取表格及获取图片URI的方法。【10月更文挑战第2天】
• 10.13 00:35:40
  发表了文章 2024-10-13 00:35:40

  ollama 大模型部署 工具 | AIGC

  Ollama是一个集成了多种大型语言模型的工具，它支持模型的部署、运行以及API的整合和调用。Ollama为不同操作系统的用户提供了便捷的安装方式，并具备丰富的命令行界面（CLI）和API接口，使得用户可以轻松地管理和运行大型模型。【10月更文挑战第1天】
• 10.02 22:07:38
  发表了文章 2024-10-02 22:07:38

  OPENAI DevDay 2024：推动AI技术的新边界

  在今年的OPENAI DevDay活动中，尽管形式更为低调，但OpenAI依然带来了四项令人瞩目的技术创新，展示了其在推动人工智能开发者生态方面的持续努力，以及向更高效、用户友好的AI工具转型的决心。我将为大家详细介绍这些新产品

2024年09月

• 09.15 23:44:32
  发表了文章 2024-09-15 23:44:32

  OpenAI o1模型：AI通用复杂推理的新篇章

  OpenAI发布了其最新的AI模型——o1，这款模型以其独特的复杂推理能力和全新的训练方式，引起了业界的广泛关注。今天，我们就来深入剖析o1模型的特点、背后的原理，以及一些有趣的八卦信息。
• 09.10 22:39:29
  发表了文章 2024-09-10 22:39:29

  2024外滩大会 AI+ | AI大咖说

  2024年外滩大会在上海黄浦世博园区成功举办，主题为“科技·创造可持续未来”。大会汇聚了众多AI领域的专家、学者和企业代表，共同探讨AI技术的最新进展及其应用前景。中国工程院院士王坚和未来学家凯文·凯利的发言尤为引人注目。王坚强调了AI、AI+和AI基础设施的重要性，并指出ChatGPT的成功在于其平台化思维。凯文·凯利则讨论了AI时代下的全球文化和劳动力变化，预测金融和医疗行业将率先受益于AI技术。大会还展示了多项AI成果，包括智能仿生手、AI生活管家等，展现了AI技术的广泛应用和未来潜力。

2024年07月

• 07.29 12:49:32
  发表了文章 2024-07-29 12:49:32

  Chroma | AI应用开发

  文将详细介绍Chroma向量数据库的功能特点、适应场景，并通过Python实操演示其基本使用方法【7月更文挑战第7天】

  
• 07.28 14:03:47
  发表了文章 2024-07-28 14:03:47

  如何画一个词云 | python小知识

  词云，又称文字云，是文本数据的视觉表示，通过将网络文本或大量文本数据中出现频率较高的“关键词”以不同大小的字体、颜色或形状进行可视化展示，形成类似云的彩色图形。这种视觉上的突出使得浏览者能够一眼扫过文本就领略到文本的主旨，是数据可视化的一种重要形式 【7月更文挑战第6天】
• 07.13 23:03:46
  发表了文章 2024-07-13 23:03:46

  LLaMA-Factory：大语言模型微调框架 | AIGC

  LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计【7月更文挑战第5天】
• 07.11 21:37:54
  发表了文章 2024-07-11 21:37:54

  介绍一个大语言模型的微调框架Swift | AIGC

  介绍一个大语言模型的微调框架Swift 【7月更文挑战第4天】
• 07.10 22:53:54
  发表了文章 2024-07-10 22:53:54

  向量数据库-Milvus

  Milvus 是一个开源的、高性能的向量数据库，专为海量向量数据的快速检索而设计。在人工智能、计算机视觉、推荐系统和其他需要处理大规模向量数据的领域有着广泛应用【7月更文挑战第3天】
• 07.09 22:54:10
  发表了文章 2024-07-09 22:54:10

  向量和向量数据 | AI应用开发

  向量vector 通常出现在自然语言NLP领域，NLP中称为词嵌入word embedding，词嵌入的工作就是如何将人类语言中的词汇、短语或句子转化为计算机能够理解和操作的数学向量。【7月更文挑战第2天】
• 07.08 22:57:30
  发表了文章 2024-07-08 22:57:30

  AI大咖说-李飞飞高徒/特斯拉前AI总监出的最新AI课程

  今天要推荐一位AI界的大神Andrej Karpathy的几门大模型的开源项目和课程，希望对你有帮助【7月更文挑战第1天】

2024年06月

• 06.23 00:27:41
  发表了文章 2024-06-23 00:27:41

  ransformers从入门到精通：常用的subword tokenizer算法

  - WordPiece、BPE/BBPE最小字词进行合并最终字词，BPE/BBPE直接采用词频判断合并规则而WordPiece采用最大似然的方式 - unigram采用从最大的字词集合里移除那些对语料库整体概率贡献最小的子词【6月更文挑战第7天】
• 06.19 22:37:37
  发表了文章 2024-06-19 22:37:37

  Transformers从入门到精通：token和它的三种粒度

  大家对于token的概念可能司空见惯了，现在的大语言模型的计费方式一般都采用输入和输出的token数量来计费。那到底什么是token，它的作用是什么？【6月更文挑战第6天】
• 06.19 00:29:51
  发表了文章 2024-06-19 00:29:51

  大语言模型的长文本处理能力

  最近大语言模型的一个发展方向就是大语言的模型的长下文能力（long context），谷歌的Gemini 1.5 100万输入，kimi chat支持允许200万输入。那么于大语言模型的长文本能力到底如何呢？ 今天通过分析下两个观点【6月更文挑战第5天】
• 06.14 21:35:24
  发表了文章 2024-06-14 21:35:24

  推荐3个文本转语音AI工具

  三款文本转语音工具各具特色，适用于不同的场景和需求。ELEVENLABS语音合成凭借其高质量的语音输出和先进的技术支持，适合对音质有较高要求的用户；TTSMAKER语音合成简单易用，功能丰富，适合普通用户日常使用；SPEECHIFY文本转语音则注重实用性和便捷性，特别适用于长时间阅读或学习场景。无论你是职场人士、学生还是语言学习者，都能在这些工具中找到适合自己的选择。【6月更文挑战第4天】
• 06.06 23:39:30
  发表了文章 2024-06-06 23:39:30

  国内大模型调用实战

  前面我们一览了国内主要大模型厂商的API价格，今天我们就来具体看下具体API的使用【6月更文挑战第3天】
• 06.04 22:37:35
  发表了文章 2024-06-04 22:37:35

  python小知识-jupyter lab

  Jupyter Lab 是一个基于网页的交互式开发环境，它支持 Jupyter Notebook、文本编辑器、终端、数据可视化以及其他自定义组件。它提供了一个灵活的用户界面，允许用户创建和共享包含实时代码、方程、可视化以及解释性文本的文档。【6月更文挑战第2天】
• 06.03 21:51:07
  发表了文章 2024-06-03 21:51:07

  python小知识-typing注解你的程序

  typing 是 Python 的一个标准库，它提供了类型注解的支持，但并不会强制类型检查。类型注解在 Python 3.5 中引入，并在后续版本中得到了增强和扩展。typing 库允许开发者为变量、函数参数和返回值等提供预期的类型信息，这有助于代码的可读性、可维护性和文档化。此外，一些第三方工具（如 MyPy）可以使用这些类型注解进行静态类型检查。【6月更文挑战第1天】

2024年05月

• 05.24 22:37:06
  发表了文章 2024-05-24 22:37:06

  FastAPI入门指南

  FastAPI是基于Python类型提示的高性能Web框架，用于构建现代API。它提供高性能、直观的编码体验，内置自动文档生成（支持OpenAPI）、数据验证和安全特性。安装FastAPI使用`pip install fastapi`，可选`uvicorn`作为服务器。简单示例展示如何定义路由和处理函数。通过Pydantic进行数据验证，`Depends`处理依赖。使用`uvicorn main:app --reload`启动应用。FastAPI简化API开发，适合高效构建API应用。5月更文挑战第21天
• 05.23 22:35:29
  发表了文章 2024-05-23 22:35:29

  python任务调度利器-APScheduler

  APScheduler是Python的任务调度库，提供基于时间、固定时间点和CRONTAB的任务调度，适用于离线作业和缓存更新等场景。它包含触发器、调度器、任务存储器、执行器和任务事件组件。安装使用`pip install apscheduler`，简单示例展示了如何配置调度器、添加任务并监听任务异常。支持的触发器有间隔、日期和CRON类型，执行器包括线程池和进程池等。任务存储器可选择内存或各种数据库存储。调度器模式有BlockingScheduler和BackgroundScheduler等，可进行任务的添加、删除、暂停和修改，并监听任务事件。5月更文挑战第20天
• 05.22 22:15:30
  发表了文章 2024-05-22 22:15:30

  python小知识-数据验证和解析神器pydantic

  Pydantic是一个Python库，用于数据验证和设置管理，基于类型提示提供数据模型验证。它可以用于用户输入验证、JSON序列化和解析，以及API交互中的数据校验。安装Pydantic可使用`pip install -U pydantic`或`conda install pydantic -c conda-forge`。通过定义BaseModel子类并使用Field进行约束，可以创建数据模型并进行验证。例如，定义User模型验证用户名、邮箱和年龄。Pydantic还支持自定义验证器，允许在字段赋值时执行特定逻辑，如密码强度检查和哈希处理。5月更文挑战第19天
• 05.21 22:10:37
  发表了文章 2024-05-21 22:10:37

  绘制你的图像-turtle

  `turtle`是Python中的一个图形绘制库，源自1967年的Logo编程语言。它使用tkinter创建图形界面，让用户仿佛操控一支在画布上画画的笔。基本操作包括设置画笔颜色、填充、移动及旋转。示例代码展示了如何创建图形，如红黄相间的形状和太极图。turtle还可用于制作动画，如小球下落效果。此外，文中还给出了绘制玫瑰曲线、螺旋和扇子的代码示例。turtle是引导初学者学习编程的好工具。5月更文挑战第18天
• 05.20 22:24:48
  发表了文章 2024-05-20 22:24:48

  一文读懂python分布式任务队列-celery

  # 一文读懂Python分布式任务队列-Celery Celery是一个分布式任务执行框架，支持大量并发任务。它采用生产者-消费者模型，由Broker、Worker和Backend组成。生产者提交任务到队列，Worker异步执行，结果存储在Backend。适用于异步任务、大规模实时任务和定时任务。5月更文挑战第17天
• 05.19 16:56:57
  发表了文章 2024-05-19 16:56:57

  python时间序列异常检测ADTK

  `adtk`是Python中用于无监督时间序列异常检测的工具包，包含简单算法、特征加工和流程控制。安装使用`pip install adtk`。数据要求为`DatetimeIndex`格式。异常检测包括滑动窗口统计特征、季节性拆解、降维和重构。提供了ThresholdAD、QuantileAD、InterQuartileRangeAD、GeneralizedESDTestAD等离群点检测算法，以及PersistAD和LevelShiftAD检测突变。此外，SeasonalAD用于季节性异常检测，Pipeline可组合多种算法。5月更文挑战第16天

  
• 05.18 22:10:14
  发表了文章 2024-05-18 22:10:14

  机器学习分布式框架Ray

  Ray是UC Berkeley RISELab推出的一个高性能分布式执行框架，它比Spark更具计算优势，部署简单，支持机器学习和深度学习的分布式训练。Ray包括节点（head和worker）、本地调度器、object store、全局调度器（GCS），用于处理各种分布式计算任务。它支持超参数调优（Ray Tune）、梯度下降（Ray SGD）、推理服务（Ray SERVE）等。安装简单，可通过`pip install ray`。使用时，利用`@ray.remote`装饰器将函数转换为分布式任务，通过`.remote`提交并用`ray.get`获取结果。5月更文挑战第15天
• 05.17 23:36:10
  发表了文章 2024-05-17 23:36:10

  AI大咖说-如何评价论文的创新性

  《AI大咖说》探讨论文创新性，强调新意、有效性和领域研究问题的重要性。创新点在于用新颖方法有效解决研究问题。评价公式：价值=问题大小*有效性*新意度。该观点源于《跟李沐学AI》视频，提供1-100分评分标准，助力评估论文价值。5月更文挑战第14天
• 05.16 21:38:50
  发表了文章 2024-05-16 21:38:50

  AI大咖说-如何有效的读论文

  # AI大咖李沐教你高效读论文 李沐，亚马逊资深首席科学家，MXNet框架作者，推荐其在B站的“跟李沐学AI”。他建议读论文分三步：粗读（标题、摘要、结论）、快速浏览（整体理解）和精读（深入细节）。通过这三遍阅读，判断论文是否相关，理解解决问题的方法和实验。5月更文挑战第13天
• 05.15 22:07:34
  发表了文章 2024-05-15 22:07:34

  AI大咖说-关于深度学习的一点思考

  周志华教授探讨深度学习的成效，指出其关键在于大量数据、强大算力和训练技巧。深度学习依赖于函数可导性、梯度下降及反向传播算法，尽管硬件和数据集有显著进步，但核心原理保持不变。深度意味着增加模型复杂度，相较于拓宽，加深网络更能增强泛函表达能力，促进表示学习，通过逐层加工处理和内置特征变换实现抽象语义理解。周志华教授还提到了非神经网络的深度学习方法——深度森林。5月更文挑战第12天
• 05.14 00:20:33
  发表了文章 2024-05-14 00:20:33

  测试CLIP zero-shot learning

  CLIP是OpenAI的多模态预训练模型，使用对比学习在大量文本-图像对上训练，便于迁移至各种下游任务，如图像分类、OCR等。它通过分别编码文本和图像并计算相似度来评估匹配度。在图像分类测试中，CLIP能有效识别图像类别。此外，CLIP还可用于图像描述生成、文本搜图和文本生成图片（如AIGC）。近期研究致力于优化CLIP的数据、模型和监督方法。5月更文挑战第11天
• 05.13 22:16:03
  发表了文章 2024-05-13 22:16:03

  测试本地部署ChatGLM-6B | ChatGPT

  ChatGLM-6B是款62亿参数的中英对话模型，类似ChatGPT，可在6GB显存（INT4量化）的GPU或CPU上运行。它提供流畅、多样的对话体验。用户可从Hugging Face或清华云下载模型配置。部署涉及创建Python环境，安装依赖，下载模型到`ckpt`文件夹。测试时加载tokenizer和模型，使用示例代码进行交互。应用包括基于MNN和JittorLLMs的推理实现，以及langchain-ChatGLM、闻达、chatgpt_academic和glm-bot等项目。5月更文挑战第10天
• 05.12 15:26:10
  发表了文章 2024-05-12 15:26:10

  AI工具-标注工具labelme

  Labelme是一款Python开源图像标注工具，支持图像分类、目标检测、语义分割和实例分割等任务。它提供了一个GUI界面，用户可绘制圆形、方形和多边形进行标注。安装通过`pip install labelme`和`lxml`，使用时可导入预定义标签列表。标注结果保存为json文件，包含类别、边界框信息和形状类型。Labelme还支持格式转换，如转换为VOC或COCO格式。这款工具对视频标注也兼容。5月更文挑战第9天
• 05.11 22:04:16
  发表了文章 2024-05-11 22:04:16

  Objection Detection 手记

  本文介绍了四个目标检测的经典算法：Faster R-CNN、FPN、SSD和RetinaNet。Faster R-CNN是两阶段算法，包括CNN特征提取、RPN（候选框生成）和RoI Pooling+Classifier。FPN通过高层到低层的信息传递增强特征金字塔，提高小物体检测性能。SSD是一阶段算法，直接在多尺度特征图上预测默认边界框。RetinaNet采用FPN结构和Focal Loss解决类别不平衡问题，优化one-stage检测。5月更文挑战第8天
• 05.10 22:37:24
  发表了文章 2024-05-10 22:37:24

  深度学习之ResNet家族

  ResNet是深度学习中的标志性架构，由何恺明在2016年提出，解决了深度网络训练的难题。ResNet通过残差块使得网络能有效学习，即使层数极深。后续发展包括ResNetV2，优化了信息传递和激活函数顺序；Wide Residual Networks侧重增加网络宽度而非深度；ResNeXt引入基数概念，通过多路径学习增强表示能力；Stochastic Depth通过随机丢弃层加速训练并提升泛化；DenseNet采用密集连接，增加信息交互；DPN结合ResNet和DenseNet优点；ResNeSt则综合了注意力机制、多路学习等。这些演变不断推动深度学习网络性能的提升。5月更文挑战第7天
• 05.09 22:28:23
  发表了文章 2024-05-09 22:28:23

  深度学习之解构基础网络结构

  本文和大家梳理分享一下大师们的探索成果，即经典的基础网络（backbone）以及关键思想，附带实现过程。5月更文挑战第6天