AIweker
AIweker_个人页
AIweker
文章
112
问答
0
视频
0
个人介绍
人工智能微客（aiweker）, 阿里云开发者社区和infoQ写作社区签约作者， 长期跟踪和分享人工智能前沿技术、应用、领域知识，不定期的发布相关产品和应用，欢迎关注和转发
擅长的技术
- 数据库
- Python
- 敏捷开发
- 计算机视觉
- 机器学习/深度学习
- 数据可视化
- 人工智能
- 算法
- 算法框架/工具
-
发表了文章 2024-10-29
Parquet 文件格式详解与实战 | AI应用开发
Parquet 是一种列式存储文件格式，专为大规模数据处理设计，广泛应用于 Hadoop 生态系统及其他大数据平台。本文介绍 Parquet 的特点和作用，并演示如何在 Python 中使用 Pandas 库生成和读取 Parquet 文件，包括环境准备、生成和读取文件的具体步骤。【10月更文挑战第13天】
-
发表了文章 2024-10-17
python操作和解析ppt文件 | python小知识
本文将带你从零开始，了解PPT解析的工具、工作原理以及常用的基本操作，并提供具体的代码示例和必要的说明【10月更文挑战第4天】
-
发表了文章 2024-10-13
ollama 大模型部署 工具 | AIGC
Ollama是一个集成了多种大型语言模型的工具，它支持模型的部署、运行以及API的整合和调用。Ollama为不同操作系统的用户提供了便捷的安装方式，并具备丰富的命令行界面（CLI）和API接口，使得用户可以轻松地管理和运行大型模型。【10月更文挑战第1天】
-
发表了文章 2024-10-02
OPENAI DevDay 2024：推动AI技术的新边界
在今年的OPENAI DevDay活动中，尽管形式更为低调，但OpenAI依然带来了四项令人瞩目的技术创新，展示了其在推动人工智能开发者生态方面的持续努力，以及向更高效、用户友好的AI工具转型的决心。我将为大家详细介绍这些新产品
-
发表了文章 2024-09-15
OpenAI o1模型：AI通用复杂推理的新篇章
OpenAI发布了其最新的AI模型——o1，这款模型以其独特的复杂推理能力和全新的训练方式，引起了业界的广泛关注。今天，我们就来深入剖析o1模型的特点、背后的原理，以及一些有趣的八卦信息。
-
发表了文章 2024-07-29
Chroma | AI应用开发
文将详细介绍Chroma向量数据库的功能特点、适应场景，并通过Python实操演示其基本使用方法【7月更文挑战第7天】
-
发表了文章 2024-07-13
LLaMA-Factory：大语言模型微调框架 | AIGC
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计【7月更文挑战第5天】
-
发表了文章 2024-07-11
介绍一个大语言模型的微调框架Swift | AIGC
介绍一个大语言模型的微调框架Swift 【7月更文挑战第4天】
-
发表了文章 2024-07-10
向量数据库-Milvus
Milvus 是一个开源的、高性能的向量数据库，专为海量向量数据的快速检索而设计。在人工智能、计算机视觉、推荐系统和其他需要处理大规模向量数据的领域有着广泛应用【7月更文挑战第3天】
-
发表了文章 2024-07-09
向量和向量数据 | AI应用开发
向量vector 通常出现在自然语言NLP领域，NLP中称为词嵌入word embedding，词嵌入的工作就是如何将人类语言中的词汇、短语或句子转化为计算机能够理解和操作的数学向量。【7月更文挑战第2天】
-
发表了文章 2024-07-08
AI大咖说-李飞飞高徒/特斯拉前AI总监出的最新AI课程
今天要推荐一位AI界的大神Andrej Karpathy的几门大模型的开源项目和课程，希望对你有帮助【7月更文挑战第1天】
-
发表了文章 2024-06-23
ransformers从入门到精通：常用的subword tokenizer算法
- WordPiece、BPE/BBPE最小字词进行合并最终字词，BPE/BBPE直接采用词频判断合并规则而WordPiece采用最大似然的方式 - unigram采用从最大的字词集合里移除那些对语料库整体概率贡献最小的子词【6月更文挑战第7天】
-
发表了文章 2024-06-19
Transformers从入门到精通：token和它的三种粒度
大家对于token的概念可能司空见惯了，现在的大语言模型的计费方式一般都采用输入和输出的token数量来计费。那到底什么是token，它的作用是什么？【6月更文挑战第6天】
-
发表了文章 2024-06-19
大语言模型的长文本处理能力
最近大语言模型的一个发展方向就是大语言的模型的长下文能力（long context），谷歌的Gemini 1.5 100万输入，kimi chat支持允许200万输入。那么于大语言模型的长文本能力到底如何呢？ 今天通过分析下两个观点【6月更文挑战第5天】
-
发表了文章 2024-06-14
推荐3个文本转语音AI工具
三款文本转语音工具各具特色，适用于不同的场景和需求。ELEVENLABS语音合成凭借其高质量的语音输出和先进的技术支持，适合对音质有较高要求的用户；TTSMAKER语音合成简单易用，功能丰富，适合普通用户日常使用；SPEECHIFY文本转语音则注重实用性和便捷性，特别适用于长时间阅读或学习场景。无论你是职场人士、学生还是语言学习者，都能在这些工具中找到适合自己的选择。【6月更文挑战第4天】
-
发表了文章 2024-06-06
国内大模型调用实战
前面我们一览了国内主要大模型厂商的API价格，今天我们就来具体看下具体API的使用【6月更文挑战第3天】
-
发表了文章 2024-05-24
FastAPI入门指南
FastAPI是基于Python类型提示的高性能Web框架，用于构建现代API。它提供高性能、直观的编码体验，内置自动文档生成（支持OpenAPI）、数据验证和安全特性。安装FastAPI使用`pip install fastapi`，可选`uvicorn`作为服务器。简单示例展示如何定义路由和处理函数。通过Pydantic进行数据验证，`Depends`处理依赖。使用`uvicorn main:app --reload`启动应用。FastAPI简化API开发，适合高效构建API应用。5月更文挑战第21天
-
发表了文章 2024-05-23
python任务调度利器-APScheduler
APScheduler是Python的任务调度库，提供基于时间、固定时间点和CRONTAB的任务调度，适用于离线作业和缓存更新等场景。它包含触发器、调度器、任务存储器、执行器和任务事件组件。安装使用`pip install apscheduler`，简单示例展示了如何配置调度器、添加任务并监听任务异常。支持的触发器有间隔、日期和CRON类型，执行器包括线程池和进程池等。任务存储器可选择内存或各种数据库存储。调度器模式有BlockingScheduler和BackgroundScheduler等，可进行任务的添加、删除、暂停和修改，并监听任务事件。5月更文挑战第20天
-
发表了文章 2024-05-22
python小知识-数据验证和解析神器pydantic
Pydantic是一个Python库，用于数据验证和设置管理，基于类型提示提供数据模型验证。它可以用于用户输入验证、JSON序列化和解析，以及API交互中的数据校验。安装Pydantic可使用`pip install -U pydantic`或`conda install pydantic -c conda-forge`。通过定义BaseModel子类并使用Field进行约束，可以创建数据模型并进行验证。例如，定义User模型验证用户名、邮箱和年龄。Pydantic还支持自定义验证器，允许在字段赋值时执行特定逻辑，如密码强度检查和哈希处理。5月更文挑战第19天
-
发表了文章 2024-05-20
一文读懂python分布式任务队列-celery
# 一文读懂Python分布式任务队列-Celery Celery是一个分布式任务执行框架，支持大量并发任务。它采用生产者-消费者模型，由Broker、Worker和Backend组成。生产者提交任务到队列，Worker异步执行，结果存储在Backend。适用于异步任务、大规模实时任务和定时任务。5月更文挑战第17天
-
发表了文章 2024-05-19
python时间序列异常检测ADTK
`adtk`是Python中用于无监督时间序列异常检测的工具包，包含简单算法、特征加工和流程控制。安装使用`pip install adtk`。数据要求为`DatetimeIndex`格式。异常检测包括滑动窗口统计特征、季节性拆解、降维和重构。提供了ThresholdAD、QuantileAD、InterQuartileRangeAD、GeneralizedESDTestAD等离群点检测算法，以及PersistAD和LevelShiftAD检测突变。此外，SeasonalAD用于季节性异常检测，Pipeline可组合多种算法。5月更文挑战第16天
-
发表了文章 2024-05-18
机器学习分布式框架Ray
Ray是UC Berkeley RISELab推出的一个高性能分布式执行框架，它比Spark更具计算优势，部署简单，支持机器学习和深度学习的分布式训练。Ray包括节点（head和worker）、本地调度器、object store、全局调度器（GCS），用于处理各种分布式计算任务。它支持超参数调优（Ray Tune）、梯度下降（Ray SGD）、推理服务（Ray SERVE）等。安装简单，可通过`pip install ray`。使用时，利用`@ray.remote`装饰器将函数转换为分布式任务，通过`.remote`提交并用`ray.get`获取结果。5月更文挑战第15天
-
发表了文章 2024-05-10
深度学习之ResNet家族
ResNet是深度学习中的标志性架构，由何恺明在2016年提出，解决了深度网络训练的难题。ResNet通过残差块使得网络能有效学习，即使层数极深。后续发展包括ResNetV2，优化了信息传递和激活函数顺序；Wide Residual Networks侧重增加网络宽度而非深度；ResNeXt引入基数概念，通过多路径学习增强表示能力；Stochastic Depth通过随机丢弃层加速训练并提升泛化；DenseNet采用密集连接，增加信息交互；DPN结合ResNet和DenseNet优点；ResNeSt则综合了注意力机制、多路学习等。这些演变不断推动深度学习网络性能的提升。5月更文挑战第7天
-
发表了文章 2024-05-13
测试本地部署ChatGLM-6B | ChatGPT
ChatGLM-6B是款62亿参数的中英对话模型，类似ChatGPT，可在6GB显存（INT4量化）的GPU或CPU上运行。它提供流畅、多样的对话体验。用户可从Hugging Face或清华云下载模型配置。部署涉及创建Python环境，安装依赖，下载模型到`ckpt`文件夹。测试时加载tokenizer和模型，使用示例代码进行交互。应用包括基于MNN和JittorLLMs的推理实现，以及langchain-ChatGLM、闻达、chatgpt_academic和glm-bot等项目。5月更文挑战第10天
-
发表了文章 2024-05-08
盘点开源大语言模型LLMs
本文总结了开源大语言模型的发展，从word2vec到Transformer，再到BERT和GPT系列。重点介绍了几个开源GPT项目，如斯坦福的Alpaca、清华的ChatGLM-6B、Vicuna、复旦的MOSS和Lamini，以及mini-GPT4，这些项目致力于以较小参数量接近ChatGPT性能并实现友好部署。各模型特点和相关资源链接亦有提供。5月更文挑战第5天
-
发表了文章 2024-05-12
AI工具-标注工具labelme
Labelme是一款Python开源图像标注工具，支持图像分类、目标检测、语义分割和实例分割等任务。它提供了一个GUI界面，用户可绘制圆形、方形和多边形进行标注。安装通过`pip install labelme`和`lxml`，使用时可导入预定义标签列表。标注结果保存为json文件，包含类别、边界框信息和形状类型。Labelme还支持格式转换，如转换为VOC或COCO格式。这款工具对视频标注也兼容。5月更文挑战第9天
-
发表了文章 2024-05-06
对大模型和AI的认识与思考
2023年，笔者也参与了各种学习和实践，从大语言模型、多模态算法，文生图（Stable Diffusion）技术，到prompt工程实践和搭建文生图（Stable Diffusion）webui实操环境。在此对谈谈对大模型和AI的认识与思考，是为总结。5月更文挑战第3天
-
发表了文章 2024-05-05
Transformers从入门到精通：Transformers介绍
transformer是当前大模型中最流行的架构，而Transformers是实现transformer的最流行的实现的库，由著名的huggingface推出。Transformers提供了丰富的API和工具，可以轻松下载和训练最先进的预训练模型。使用预训练的模型可以降低计算成本，并为从头开始训练模型节省所需的时间和资源。5月更文挑战第2天
-
发表了文章 2024-03-05
python机器学习超参数调优
超参数（hyper parameters）就是机器学习或深度学习算法中需要预先设置的参数，这些参数不是通过训练数据学习到的参数；原始算法一般只给出超参数的取值范围和含义，根据不同的应用场景，同一个算法的同一超参数设置也不同。【2月更文挑战第14天】
-
发表了文章 2024-03-03
人工智能项目的python版本管理工具DVC
dvc即data version control, 是一种针对人工智能项目（机器学习或者深度学习）的数据版本管理工具。DVC的操作和GIT类似，可以认为为GIT的二次开发封装。结合GIT，DVC可以有效的管理人工智能项目的整个流程，包括代码，数据，训练配置，模型【2月更文挑战第12天】
-
发表了文章 2024-03-02
一文读懂python分布式任务队列-celery
celery是一个简单，灵活、可靠的分布式任务执行框架，可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列，众多消费者从任务队列中取任务执行【2月更文挑战第11天】
-
发表了文章 2024-05-04
推荐几个AI的好工具，大家快收藏
随着chatgpt出现，各式各样的AI应用不断刷新大家的认知。今天，我就为大家推荐几个实用的AI工具，不管你有没有听说过，走过路过不容错过。5月更文挑战第1天
-
发表了文章 2024-02-27
python 图像相似性评估
相似性经常通过距离的方式来度量，但图像是高纬度的数据，而且图像相似性判断和人类的主观感受存在一定的关系。本文针对图像相似性，梳理了传统的经典算法和基于感知的深度学习方法【2月更文挑战第7天】
-
发表了文章 2024-02-23
找论文参考：机器视觉会议和期刊
这里分享下机器学习和人工智能的顶会和期刊，可以在这些会议和期刊上找与你相关的paper。【2月更文挑战第3天】
-
发表了文章 2024-02-25
python多进程multiprocessing使用
如果你想在python中使用线程来实现并发以提高效率，大多数情况下你得到的结果是比串行执行的效率还要慢；这主要是python中GIL（全局解释锁）的缘故，通常情况下线程比较适合高IO低CPU的任务，否则创建线程的耗时可能比串行的还要多。GIL是历史问题，和C解释器有关系。 为了解决这个问题，python中提供了多进程的方式来处理需要并发的任务，可以有效的利用多核cpu达到并行的目的。【2月更文挑战第5天】
-
发表了文章 2024-03-04
用Python做一个翻译器
之前有分享过gradio制作web App，我们今天就基于此做一个翻译器【2月更文挑战第13天】
-
发表了文章 2024-02-29
用纯python写web app：Streamlit
一句话，Streamlit是一个可以用python编写web app的库，可以方便的动态展示你的机器学习的项目。【2月更文挑战第9天】
-
发表了文章 2024-01-11
Stable Diffusion 本地安装 | AIGC
今天要介绍Stable Diffusion webUI则第三方通过Gradio搭建的Stable Diffusion的web前端，功能丰富，而且所有功能都是开源的。 【1月更文挑战第7天】
-
发表了文章 2024-01-06
C中回调函数 | AI工程化部署
回调函数是一种常见的编程概念，在程序设计中经常被使用。回调函数是指在某个特定事件发生时，由某个已注册的函数进行调用。通常情况下，回调函数作为参数传递给另一个函数，当特定事件发生时，这个函数会调用传入的回调函数；【1月更文挑战第2天】
-
发表了文章 2024-01-07
C/C++编译工具：makefile | AI工程化部署
Makefile是一种用于管理和组织源代码的工具，通常用于构建和编译软件项目。它由一系列规则组成，每个规则指定如何生成一个或多个目标文件。Makefile也包括变量和注释，使得用户能够灵活地配置和定制构建过程。【1月更文挑战第3天】
-
发表了文章 2024-01-08
C/C++编译工具：cmake | AI工程化部署
CMake 是一个跨平台的开源构建工具，用于管理软件构建流程。它使用一个名为 CMakeLists.txt 的文本文件来描述构建过程。【1月更文挑战第4天】
-
发表了文章 2024-01-05
日志 | AI工程化部署
日志在任何一种语言编程中都会涉及到，python中有logging库，java中有log4j。当然C也有日志功能，一般可以用宏和函数来实现。 需要明确下日志的功能，一般会设置一个日志等级，比如trace < debug < info < warn < error < fatal 等，根据设置的等级高低来判断是否显示日志。 【1月更文挑战第1天】
-
发表了文章 2023-12-25
.h 头文件 | AI工程化部署
使用头文件时需要注意保持代码的整洁性和可维护性，避免对其他模块产生负面影响。同时，对于大型项目，建议使用合适的工具来管理头文件的依赖关系，以确保代码结构的清晰性和可靠性
-
发表了文章 2024-01-10
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型，比如文生图，顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型，如DALE-2, midjourney以及今天要介绍的Stable Diffusion，这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
-
发表了文章 2023-11-22
前言 | AI工程化部署
要达到AI工程化部署的诸多要求，需要除了AI算法以外的诸多技术，因此结合实际的项目经验，希望总结一些在AI工程化部署的有用技术供大家参考
-
发表了文章 2023-03-21
5分钟构建API接口服务 | python小知识
Flask是python中轻量的web框架，Flask的两个核心模块除了模板渲染之外就是请求响应处理，其中请求响应处理是由 Werkzeug（WSGI 工具库）完成，而模板渲染是由Jinja（模板渲染库）完成。 Flask因为轻量灵活，用来构建API接口十分合适
-
发表了文章 2023-02-18
python小知识-正则表达
正则表达式是一种匹配字符串的规则，我们可以通过正则表达式去搜索指定规则的字符串
-
发表了文章 2023-02-15
python小知识-好用的配置工具yaml
配置是开发中常用的手段，通过配置可以灵活的设置可变的参数，而不需要调整代码。 python中有使用不同的文件格式来做配置，如json，xml等。今天这里分享一个好用的配置工具yaml文件。
-
发表了文章 2023-02-07
python小知识-好用的eval
eval的功能是将一个字符串转换成python对象
-
发表了文章 2023-01-27
深度学习-分享几个开源AI模型库
现在市面上有很多的深度学习预训练模型库，这些预训练库收集了不同AI任务的SOTA模型，有的还提供推理的SDK。这对于做AI应用和AI开发来说，是宝贵的开源资源。
暂无更多信息
-
发表了文章
2024-11-12
何恺明CV课程 | AI大咖说
-
发表了文章
2024-11-02
NotebookLM与NotebookLlama 了解下 | AI工具
-
发表了文章
2024-10-31
swarm Agent框架入门指南：构建与编排多智能体系统的利器 | AI应用开发
-
发表了文章
2024-10-30
Neo4j从入门到精通：打造高效知识图谱数据库 | AI应用开发
-
发表了文章
2024-10-29
Parquet 文件格式详解与实战 | AI应用开发
-
发表了文章
2024-10-26
Claude 3.5：一场AI技术的惊艳飞跃 | AIGC
-
发表了文章
2024-10-24
Beautiful Soup 解析html | python小知识
-
发表了文章
2024-10-23
了解Python中的装饰器 | python小知识
-
发表了文章
2024-10-22
AI攻克132年的未解之谜 | AI大咖说
-
发表了文章
2024-10-21
深入理解 Python 中的异步操作 | python小知识
-
发表了文章
2024-10-20
介绍一款好用的开源画图神器-draw.io | AI应用开发
-
发表了文章
2024-10-19
看看AI大佬都开了什么公司 | AI大咖说
-
发表了文章
2024-10-18
2024年诺贝尔奖：AI科学家的辉煌时刻 | AI大咖说
-
发表了文章
2024-10-17
python操作和解析ppt文件 | python小知识
-
发表了文章
2024-10-16
读取excel工具：openpyxl | AI应用开发
-
发表了文章
2024-10-15
python读取word文档 | AI应用开发
-
发表了文章
2024-10-13
ollama 大模型部署 工具 | AIGC
-
发表了文章
2024-10-02
OPENAI DevDay 2024：推动AI技术的新边界
-
发表了文章
2024-09-15
OpenAI o1模型：AI通用复杂推理的新篇章
-
发表了文章
2024-09-10
2024外滩大会 AI+ | AI大咖说
滑动查看更多
暂无更多信息
暂无更多信息