勋章
粉丝
技术能力
暂时未有相关云产品技术能力~
AI冲
-
发表了文章 2024-06-22
LLM主要类别架构（二）
**LLM主要类别概览：** 1. **自回归模型 (AR)** - 如GPT，特点是Decoder-Only，利用上下文信息预测单词，适合自然语言生成任务。 2. **自编码模型 (AE)** - 以BERT为代表，利用上下文的双向信息进行预训练，擅长自然语言理解任务。 3. **序列到序列模型 (Seq2Seq)** - 包含编码器和解码器，用于序列转换任务，如机器翻译。 GPT是Decoder-Only模型，预训练包括两阶段： - **无监督预训练**：预测序列中缺失的单词。 - **有监督微调**：根据下游任务调整模型，如分类、问答等。
-
发表了文章 2024-06-22
LLM主要类别架构（一）
**LLM主要类别包括自编码模型（如BERT，专注内容理解），自回归模型，和序列到序列的encoder-decoder模型。BERT是预训练的双向编码器，使用Transformer架构，通过Masked LM和Next Sentence Prediction任务学习上下文表示。其特点包括：使用Transformer层、12层深度、768维特徵、12个注意力头和约1.15亿总参数。BERT在多项NLP任务中刷新纪录，适用于分类和理解任务，但不适合生成任务。**
-
发表了文章 2024-06-22
大模型Prompt-Tuning技术入门（二）
Prompt-Tuning是一种在大型语言模型中进行下游任务适配的技术，起源于GPT-3的In-context Learning和Demonstration Learning。它通过构建Prompt（提示）和Verbalizer（标签映射）来转换任务，比如将分类任务转化为填空问题。PET模型是Prompt-Tuning的早期实践，通过固定模板（Pattern）和标签词（Verbalizer）来实现。Prompt-Oriented Fine-Tuning是Prompt-Tuning的一种形式，将任务转换为与预训练任务相似的形式，如BERT的MLM任务。
-
发表了文章 2024-06-22
大模型Prompt-Tuning技术入门（一）
Prompt-Tuning是NLP领域的新兴技术，旨在减少预训练模型Fine-Tuning的需要。它通过构造提示（Prompt）使预训练模型能适应各种任务，降低了语义偏差和过拟合风险。Prompt作为任务的“提示词”，可以是人工定义、自动搜索或生成的模板，与预训练的MLM头结合使用，只需少量甚至无标注数据，通过标签词映射进行预测。此方法从GPT-3的In-Context Learning发展至今，包括了连续Prompt、大规模模型的Instruction-tuning和Chain-of-Thought等进展。 Prompt-Tuning是向少监督、无监督学习迈进的关键研究。
-
发表了文章 2024-06-22
机器学习归一化特征编码（一）
特征缩放是机器学习预处理的关键步骤，它包括归一化和标准化。归一化通过最大最小值缩放，将数据转换到[0,1]区间，有助于梯度下降算法更快收敛，减少数值较大特征的影响。标准化则通过减去均值并除以标准差，确保数据具有零均值和单位方差，适用于关注数据分布情况的算法。例如，欧氏距离计算时，未归一化的特征可能导致模型偏向数值较大的特征。归一化能提升模型精度，尤其是当距离度量如欧式距离时。常见的实现方法有`MinMaxScaler`，它将每个特征值缩放到用户指定的范围，如[0,1]。而`StandardScaler`执行Z-Score标准化，数据分布符合标准正态分布。
-
发表了文章 2024-06-22
GBDT算法超参数评估（二）
GBDT算法超参数评估关注决策树的不纯度指标，如基尼系数和信息熵，两者衡量数据纯度，影响树的生长。默认使用基尼系数，计算快速，而信息熵更敏感但计算慢。GBDT的弱评估器默认最大深度为3，限制了过拟合，不同于随机森林。由于Boosting的内在机制，过拟合控制更多依赖数据和参数如`max_features`。相比Bagging，Boosting通常不易过拟合。评估模型常用`cross_validate`和`KFold`交叉验证。
-
发表了文章 2024-06-22
GBDT算法超参数评估（一）
GBDT（Gradient Boosting Decision Tree）是一种强大的机器学习技术，用于分类和回归任务。超参数调整对于发挥GBDT性能至关重要。其中，`n_estimators`是一个关键参数，它决定了模型中弱学习器（通常是决策树）的数量。增加`n_estimators`可以提高模型的复杂度，提升预测精度，但也可能导致过拟合，并增加训练时间和资源需求。
-
发表了文章 2024-06-22
Transformer介绍
Transformer模型于2017年由Google提出，其在BERT中大放异彩，革新了NLP领域。Transformer的优势在于并行计算能力和处理长距离依赖，通过自注意力机制避免了RNN/LSTM的梯度问题。它由编码器和解码器组成，使用位置编码处理序列信息。Transformer在机器翻译、文本生成、问答系统等多个任务中提升效率和准确性，并扩展至计算机视觉和语音识别。随着AI发展，Transformer成为大模型核心技术，推动整个产业进步。
-
发表了文章 2024-06-22
大模型Prompt-Tuning技术进阶
近年来，随着Prompt-Tuning技术的崛起，研究者们发现，在拥有超过10亿参数的大规模模型上，采用Prompt-Tuning相较于传统的Fine-tuning方法能带来显著的性能提升。特别是在小样本甚至零样本学习场景下，Prompt-Tuning能够极大地激发模型的潜力。这一成就的取得主要归功于三个关键因素：模型庞大的参数量、训练过程中使用的海量语料，以及精心设计的预训练任务。
-
发表了文章 2024-06-22
AB测试实战（二）
AB测试是一种数据驱动的产品优化方法，用于比较不同版本的网页、应用界面或营销策略的效果。
-
发表了文章 2024-06-22
AB测试实战（一）
AB测试是一种数据驱动的产品优化方法，用于比较不同版本的网页、应用界面或营销策略的效果。
-
发表了文章 2024-06-22
机器学习中的集成学习（一）
集成学习是一种将多个弱学习器组合成强学习器的方法，通过投票法、平均法或加权平均等策略减少错误率。它分为弱分类器集成、模型融合和混合专家模型三个研究领域。简单集成技术包括投票法（用于分类，少数服从多数）、平均法（回归问题，预测值取平均）和加权平均法（调整模型权重以优化结果）。在实际应用中，集成学习如Bagging和Boosting是与深度学习并驾齐驱的重要算法，常用于数据竞赛和工业标准。
-
发表了文章 2024-06-22
大模型应用框架-LangChain（一）
LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言，GPT3.5、GPT4是LLMs最先进的代表，国内百度的文心一言、阿里的通义千问也属于LLMs。LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度，方便开发者快速地开发复杂的LLMs应用。 LangChain目前有两个语言的实现：python、nodejs。
-
发表了文章 2024-06-22
大模型应用框架-LangChain（二）
LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言，GPT3.5、GPT4是LLMs最先进的代表，国内百度的文心一言、阿里的通义千问也属于LLMs。LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度，方便开发者快速地开发复杂的LLMs应用。 LangChain目前有两个语言的实现：python、nodejs。
-
发表了文章 2024-06-22
LLM主流开源代表模型（二）
随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。
-
发表了文章 2024-06-22
LLM主流开源代表模型（一）
随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。
-
发表了文章 2024-06-22
RNN、LSTM、GRU神经网络构建人名分类器（一）
这个文本描述了一个使用RNN（循环神经网络）、LSTM（长短期记忆网络）和GRU（门控循环单元）构建的人名分类器的案例。案例的主要目的是通过输入一个人名来预测它最可能属于哪个国家。这个任务在国际化的公司中很重要，因为可以自动为用户注册时提供相应的国家或地区选项。
-
发表了文章 2024-06-22
注意力机制详解（二）
注意力机制（Attention Mechanism）对比分析：无Attention模型中，Encoder-Decoder框架处理文本序列时，输入信息被编码为单一的中间语义表示，导致每个目标单词生成时使用相同编码，忽视了输入序列中各单词的不同影响。引入Attention模型后，每个目标单词根据输入序列动态分配注意力权重，更好地捕捉输入相关性，尤其适用于长序列，避免信息丢失。Self-Attention则进一步在序列内部建立联系，用于理解不同部分间的关系，常见于Transformer和BERT等模型中。
-
发表了文章 2024-06-22
注意力机制详解（一）
注意力机制是受人类认知过程启发的一种深度学习技术，它允许模型动态地聚焦于输入的不同部分，根据上下文分配“注意力”。这种机制最早在序列到序列模型中提出，解决了长距离依赖问题，增强了模型理解和处理复杂数据的能力。基本的注意力计算涉及查询（Q）、键（K）和值（V），通过不同方式（如点积、拼接等）计算相关性并应用softmax归一化，得到注意力权重，最后加权组合值向量得到输出。自注意力是注意力机制的一种形式，其中Q、K和V通常是相同的。在自然语言处理（NLP）中，注意力机制广泛应用在Transformer和预训练模型如BERT中，显著提升了模型的表现。
-
发表了文章 2024-06-22
安装PyTorch详细步骤
安装PyTorch时，选择CPU或GPU版本。有Nvidia显卡需装CUDA和cuDNN，可从NVIDIA官网下载CUDA 11.8和对应版本cuDNN。无Nvidia显卡则安装CPU版。安装PyTorch通过conda或pip，GPU版指定`cu118`或`rocm5.4.2`镜像源。验证安装成功使用`torch._version_`和`torch.cuda.is_available()`。
-
发表了文章 2024-06-22
梯度下降算法（一）
梯度下降是一种迭代优化算法，用于找到多变量函数的最小值。它不直接求解方程，而是从随机初始点开始，沿着梯度（函数增大幅度最大方向）的反方向逐步调整参数，逐步逼近函数的最小值。在单变量函数中，梯度是导数，而在多变量函数中，梯度是一个包含所有变量偏导数的向量。通过计算梯度并乘以学习率，算法更新参数以接近最小值。代码示例展示了如何用Python实现梯度下降，通过不断迭代直到梯度足够小或达到预设的最大迭代次数。该过程可以类比为在雾中下山，通过感知坡度变化来调整前进方向。
-
发表了文章 2024-06-22
简单的神经网络
softmax激活函数将多个未归一化的值转换为概率分布，常用于多分类问题。交叉熵损失函数，特别是与softmax结合时，是评估分类模型性能的关键，尤其适用于多分类任务。它衡量模型预测概率与实际标签之间的差异。在PyTorch中，`nn.CrossEntropyLoss`函数结合了LogSoftmax和负对数似然损失，用于计算损失并进行反向传播。通过`loss.backward()`，模型参数的梯度被计算出来，然后用优化器如`SGD`更新这些参数以减小损失。
-
发表了文章 2024-06-22
Stable Diffusion AI绘画
Stable Diffusion是人工智能领域的文本到图像生成模型，基于概率的连续扩散过程，学习数据潜在分布并生成新样本。模型使用Web UI进行交互，提供不同采样器如Euler和DPM++，后者常配以Karras算法。提示词对生成效果至关重要，可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外，模型文件（ckpt/safetensors）和Lora微调模型需存放在正确目录以确保功能正常。
-
发表了文章 2024-06-22
机器学习项目实践-基础知识部分
创建Python隔离环境使用`python -m venv`命令，如`python -m venv ml`来创建名为`ml`的虚拟环境。激活环境通过`.\<Scripts>\activate`（Windows）。然后可以使用`pip`安装库，如`numpy`、`pandas`、`matplotlib`和`jupyter notebook`。在虚拟环境中，`numpy`是用于数组计算的库，支持数学操作和绘图。`pip install`命令后面可添加`-i Simple Index`指定索引源。完成安装后，激活环境并启动`jupyter notebook`进行开发。
-
发表了文章 2024-06-22
神经网络之防止过拟合
防止神经网络过拟合的方法包括正则化，如L1（Lasso）和L2（岭回归）正则化，以及Dropout技术。L1正则化能产生稀疏权重，帮助特征选择；L2正则化避免权重过大但不使其为零。Dropout在训练时随机关闭部分神经元，减少依赖，提高模型泛化能力。此外，还有数据增强、早停法等策略来改善过拟合问题。
-
发表了文章 2024-06-22
LLM-AI大模型介绍
大语言模型（LLM）是深度学习的产物，包含数十亿至数万亿参数，通过大规模数据训练，能处理多种自然语言任务。LLM基于Transformer架构，利用多头注意力机制处理长距离依赖，经过预训练和微调，擅长文本生成、问答等。发展经历了从概率模型到神经网络，再到预训练和大模型的演变。虽然强大，但存在生成不当内容、偏见等问题，需要研究者解决。评估指标包括BLEU、ROUGE和困惑度PPL。
-
发表了文章 2024-06-22
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格（一）
在群晖NAS上使用Docker部署WPS Office并结合Cpolar内网穿透的步骤包括： 1. 通过SSH命令行拉取`linuxserver/wps-office`镜像。 2. 在群晖容器管理界面运行镜像，设置启动选项和端口映射。 3. 本地访问群晖IP:3000端口以使用WPS Office。 4. 安装Cpolar套件，手动添加并安装到群晖，通过9200端口访问其Web管理界面。 5. 使用Cpolar配置内网穿透，实现远程访问WPS Office。 这一过程允许用户即使在没有公网IP的情况下，也能通过Cpolar将内网的WPS Office服务暴露到公网，便于远程办公和文档处理。
-
发表了文章 2024-06-22
AI - 机器学习GBDT算法
梯度提升决策树（Gradient Boosting Decision Tree），是一种集成学习的算法，它通过构建多个决策树来逐步修正之前模型的错误，从而提升模型整体的预测性能。
-
发表了文章 2024-06-22
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格（二）
使用Docker部署的WPS Office服务可以通过内网穿透工具Cpolar实现远程访问。首先，创建一个名为“wps office”的隧道，选择HTTP协议和3000端口，分配免费的随机域名，并指定中国地区。然后，通过Cpolar的管理界面获取HTTP公网地址，用以远程访问WPS Office。由于随机域名会变化，可以升级Cpolar套餐并保留一个二级子域名，确保长期稳定的远程访问。配置子域名后，更新隧道设置，完成固定公网地址的绑定，从而实现随时随地通过固定地址访问WPS Office。
-
发表了文章 2024-06-22
AI-线性回归模型（二）
这篇内容介绍了梯度下降法在机器学习中的应用，特别是在线性回归中的角色。它是一种迭代优化算法，用于找到损失函数最小值的参数。全梯度下降（FGD）使用所有数据计算梯度，适合大数据但计算成本高；随机梯度下降（SGD）随机选取样本，速度快但可能收敛到局部最小值。随机平均梯度下降（SAG）结合两者的优点，提高收敛速度。评估线性回归模型的性能通常使用平均绝对误差、均方误差和均方根误差。文中还展示了波士顿房价预测案例，使用SGDRegressor进行训练，并讨论了学习率的影响。最后提到了如何使用`joblib`库保存和加载模型。
-
发表了文章 2024-06-21
YOLO算法
YOLO（You Only Look Once）是一种实时目标检测算法，将目标检测视为回归问题，通过单个CNN模型预测边界框和类别。YOLOv1使用24个卷积层和2个全连接层，将输入图像划分为7x7网格，每个网格预测2个边界框。模型直接从448x448图像输出7x7x30的张量，每个单元负责检测中心在其内的目标。YOLO训练涉及构造训练样本和损失函数，常采用预训练的Backbone（如CSPDarknet53）和数据增强技术。YOLOv4是YOLO系列的改进版，包括SPP和PANet等结构，提升了精度和速度，使用IOU损失函数，并采用CutMix和马赛克数据增强。
-
发表了文章 2024-06-21
DFS算法及应用（一）
DFS（深度优先搜索）是一种图遍历算法，常用于解决穷举问题，如全排列、迷宫问题、图的连通性等。它沿着树的深度分支进行探索，直至达到叶子节点，若无法继续则回溯。例如，将数字6拆分为3个正整数的递增序列问题可以通过DFS实现，类似地，分糖果问题和买瓜问题同样可以用DFS求解。DFS通常涉及递归或栈结构，通过标记已访问节点避免重复。在编程中，会定义递归函数，设定结束条件，然后枚举可能的情况，并处理下一层节点。
-
发表了文章 2024-06-21
Docker技术仓库
本文详细介绍了Docker中数据卷的作用、特点、管理方式，包括bindmounts和volumes挂载、Dockerfile中的数据卷使用、Docker仓库（公有与私有）以及DockerCompose在多容器应用中的应用。
-
发表了文章 2024-06-21
如何在IDEA中使用固定公网地址SSH远程连接服务器开发环境（一）
该文介绍了如何通过IDEA设置远程连接Linux服务器的步骤，使用Cpolar内网穿透工具实现在没有公网IP的情况下进行远程开发。主要内容包括检查Linux SSH服务、本地连接测试、在Linux上安装Cpolar、创建远程连接的公网地址、公网远程连接测试以及固定连接公网地址。文章还提供了相关截图辅助说明，适用于IDEA2023.2.5版本。
-
发表了文章 2024-06-21
KNN算法原理及应用（一）
**KNN算法**是一种监督学习的分类算法，适用于解决分类问题。它基于实例学习，无需训练过程，当新样本到来时，通过计算新样本与已有训练样本之间的距离，找到最近的K个邻居，然后根据邻居的类别进行多数表决（或加权表决）来预测新样本的类别。K值的选择、距离度量方式和分类决策规则是KNN的关键要素。KNN简单易懂，但计算复杂度随样本量增加而增加，适用于小规模数据集。在鸢尾花数据集等经典问题上表现良好，同时能处理多分类任务，并可应用于回归和数据预处理中的缺失值填充。
-
发表了文章 2024-06-21
AI ppt生成器 Tome（一）
Tome是一款AI驱动的幻灯片生成工具，输入标题或描述即可自动生成包含标题、大纲、内容和图片的PPT。它提供丰富的模板、素材库、多语言支持及多种内容类型，如文本、图片、视频等。用户可通过提示栏、DALL-E 2生成图像，并可嵌入网页内容。注册后，用户可以方便地创作高质量PPT，支持视频录制和个性化定制。[链接：Tome | Polished & Professional AI Presentations](https://beta.tome.app/)
-
发表了文章 2024-06-21
AI ppt生成器 Tome（二）
Tome 是一个AI PPT生成器，能根据用户输入自动生成内容和图片。用户可通过工具栏与AI对话来调整PPT，支持样式定制。优点包括：AI生成内容（支持中英文）、图片生成、多媒体嵌入及多语言输入。缺点：不支持导出下载和模板有限。
-
发表了文章 2024-06-21
Pandas透视表及应用（二）
这个文本是关于使用Pandas进行数据分析的教程，主要关注会员数据的处理和业务指标的计算。
-
发表了文章 2024-06-21
逻辑回归的介绍和应用
**逻辑回归简介** 逻辑回归是一种分类模型，尽管名字含“回归”，实际上是用于二分类问题的。它简单易懂，计算高效，适用于许多领域，如医学、社会科学、市场营销等。优点是模型简单，易于实现，具有强解释性。然而，它易受多重共线性影响，可能欠拟合，分类精度有限，尤其对非线性问题和数据不平衡问题处理不佳。在实践中，逻辑回归常作为其他复杂算法的基线，如用于信用卡欺诈检测和点击率预测。通过调整和与其他技术结合，如GBDT，可以提升其性能。
-
发表了文章
2024-06-22
LLM主要类别架构（二）
-
发表了文章
2024-06-22
LLM主要类别架构（一）
-
发表了文章
2024-06-22
大模型Prompt-Tuning技术入门（二）
-
发表了文章
2024-06-22
大模型Prompt-Tuning技术入门（一）
-
发表了文章
2024-06-22
Sklearn中逻辑回归建模
-
发表了文章
2024-06-22
机器学习归一化特征编码（一）
-
发表了文章
2024-06-22
机器学习归一化特征编码（二）
-
发表了文章
2024-06-22
GBDT算法超参数评估（二）
-
发表了文章
2024-06-22
机器学习多场景实战（二 ）
-
发表了文章
2024-06-22
GBDT算法超参数评估（一）
-
发表了文章
2024-06-22
机器学习多场景实战（一）
-
发表了文章
2024-06-22
反向传播算法
-
发表了文章
2024-06-22
Transformer介绍
-
发表了文章
2024-06-22
梯度提升树GBDT系列算法
-
发表了文章
2024-06-22
BERT+PET方式模型训练（一）
-
发表了文章
2024-06-22
使用seq2seq架构实现英译法（二）
-
发表了文章
2024-06-22
使用seq2seq架构实现英译法（一）
-
发表了文章
2024-06-22
BERT+PET方式模型训练（二）
-
发表了文章
2024-06-22
大模型Prompt-Tuning技术进阶
-
发表了文章
2024-06-22
AB测试实战（二）
