勋章
粉丝
技术能力
暂时未有相关云产品技术能力~
AI冲
-
发表了文章 2024-06-22
LLM主要类别架构（二）
**LLM主要类别概览：** 1. **自回归模型 (AR)** - 如GPT，特点是Decoder-Only，利用上下文信息预测单词，适合自然语言生成任务。 2. **自编码模型 (AE)** - 以BERT为代表，利用上下文的双向信息进行预训练，擅长自然语言理解任务。 3. **序列到序列模型 (Seq2Seq)** - 包含编码器和解码器，用于序列转换任务，如机器翻译。 GPT是Decoder-Only模型，预训练包括两阶段： - **无监督预训练**：预测序列中缺失的单词。 - **有监督微调**：根据下游任务调整模型，如分类、问答等。
-
发表了文章 2024-06-22
LLM主要类别架构（一）
**LLM主要类别包括自编码模型（如BERT，专注内容理解），自回归模型，和序列到序列的encoder-decoder模型。BERT是预训练的双向编码器，使用Transformer架构，通过Masked LM和Next Sentence Prediction任务学习上下文表示。其特点包括：使用Transformer层、12层深度、768维特徵、12个注意力头和约1.15亿总参数。BERT在多项NLP任务中刷新纪录，适用于分类和理解任务，但不适合生成任务。**
-
发表了文章 2024-06-22
大模型Prompt-Tuning技术入门（二）
Prompt-Tuning是一种在大型语言模型中进行下游任务适配的技术，起源于GPT-3的In-context Learning和Demonstration Learning。它通过构建Prompt（提示）和Verbalizer（标签映射）来转换任务，比如将分类任务转化为填空问题。PET模型是Prompt-Tuning的早期实践，通过固定模板（Pattern）和标签词（Verbalizer）来实现。Prompt-Oriented Fine-Tuning是Prompt-Tuning的一种形式，将任务转换为与预训练任务相似的形式，如BERT的MLM任务。
-
发表了文章 2024-06-22
大模型Prompt-Tuning技术入门（一）
Prompt-Tuning是NLP领域的新兴技术，旨在减少预训练模型Fine-Tuning的需要。它通过构造提示（Prompt）使预训练模型能适应各种任务，降低了语义偏差和过拟合风险。Prompt作为任务的“提示词”，可以是人工定义、自动搜索或生成的模板，与预训练的MLM头结合使用，只需少量甚至无标注数据，通过标签词映射进行预测。此方法从GPT-3的In-Context Learning发展至今，包括了连续Prompt、大规模模型的Instruction-tuning和Chain-of-Thought等进展。 Prompt-Tuning是向少监督、无监督学习迈进的关键研究。
-
发表了文章 2024-06-22
机器学习归一化特征编码（一）
特征缩放是机器学习预处理的关键步骤，它包括归一化和标准化。归一化通过最大最小值缩放，将数据转换到[0,1]区间，有助于梯度下降算法更快收敛，减少数值较大特征的影响。标准化则通过减去均值并除以标准差，确保数据具有零均值和单位方差，适用于关注数据分布情况的算法。例如，欧氏距离计算时，未归一化的特征可能导致模型偏向数值较大的特征。归一化能提升模型精度，尤其是当距离度量如欧式距离时。常见的实现方法有`MinMaxScaler`，它将每个特征值缩放到用户指定的范围，如[0,1]。而`StandardScaler`执行Z-Score标准化，数据分布符合标准正态分布。
-
发表了文章 2024-06-22
GBDT算法超参数评估（一）
GBDT（Gradient Boosting Decision Tree）是一种强大的机器学习技术，用于分类和回归任务。超参数调整对于发挥GBDT性能至关重要。其中，`n_estimators`是一个关键参数，它决定了模型中弱学习器（通常是决策树）的数量。增加`n_estimators`可以提高模型的复杂度，提升预测精度，但也可能导致过拟合，并增加训练时间和资源需求。
-
发表了文章 2024-06-22
大模型Prompt-Tuning技术进阶
近年来，随着Prompt-Tuning技术的崛起，研究者们发现，在拥有超过10亿参数的大规模模型上，采用Prompt-Tuning相较于传统的Fine-tuning方法能带来显著的性能提升。特别是在小样本甚至零样本学习场景下，Prompt-Tuning能够极大地激发模型的潜力。这一成就的取得主要归功于三个关键因素：模型庞大的参数量、训练过程中使用的海量语料，以及精心设计的预训练任务。
-
发表了文章 2024-06-22
AB测试实战（二）
AB测试是一种数据驱动的产品优化方法，用于比较不同版本的网页、应用界面或营销策略的效果。
-
发表了文章 2024-06-22
AB测试实战（一）
AB测试是一种数据驱动的产品优化方法，用于比较不同版本的网页、应用界面或营销策略的效果。
-
发表了文章 2024-06-22
大模型应用框架-LangChain（一）
LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言，GPT3.5、GPT4是LLMs最先进的代表，国内百度的文心一言、阿里的通义千问也属于LLMs。LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度，方便开发者快速地开发复杂的LLMs应用。 LangChain目前有两个语言的实现：python、nodejs。
-
发表了文章 2024-06-22
大模型应用框架-LangChain（二）
LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言，GPT3.5、GPT4是LLMs最先进的代表，国内百度的文心一言、阿里的通义千问也属于LLMs。LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度，方便开发者快速地开发复杂的LLMs应用。 LangChain目前有两个语言的实现：python、nodejs。
-
发表了文章 2024-06-22
LLM主流开源代表模型（二）
随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。
-
发表了文章 2024-06-22
LLM主流开源代表模型（一）
随着ChatGPT迅速火爆，引发了大模型的时代变革，国内外各大公司也快速跟进生成式AI市场，近百款大模型发布及应用。
-
发表了文章 2024-06-22
注意力机制详解（二）
注意力机制（Attention Mechanism）对比分析：无Attention模型中，Encoder-Decoder框架处理文本序列时，输入信息被编码为单一的中间语义表示，导致每个目标单词生成时使用相同编码，忽视了输入序列中各单词的不同影响。引入Attention模型后，每个目标单词根据输入序列动态分配注意力权重，更好地捕捉输入相关性，尤其适用于长序列，避免信息丢失。Self-Attention则进一步在序列内部建立联系，用于理解不同部分间的关系，常见于Transformer和BERT等模型中。
-
发表了文章 2024-06-22
注意力机制详解（一）
注意力机制是受人类认知过程启发的一种深度学习技术，它允许模型动态地聚焦于输入的不同部分，根据上下文分配“注意力”。这种机制最早在序列到序列模型中提出，解决了长距离依赖问题，增强了模型理解和处理复杂数据的能力。基本的注意力计算涉及查询（Q）、键（K）和值（V），通过不同方式（如点积、拼接等）计算相关性并应用softmax归一化，得到注意力权重，最后加权组合值向量得到输出。自注意力是注意力机制的一种形式，其中Q、K和V通常是相同的。在自然语言处理（NLP）中，注意力机制广泛应用在Transformer和预训练模型如BERT中，显著提升了模型的表现。
-
发表了文章 2024-06-22
安装PyTorch详细步骤
安装PyTorch时，选择CPU或GPU版本。有Nvidia显卡需装CUDA和cuDNN，可从NVIDIA官网下载CUDA 11.8和对应版本cuDNN。无Nvidia显卡则安装CPU版。安装PyTorch通过conda或pip，GPU版指定`cu118`或`rocm5.4.2`镜像源。验证安装成功使用`torch._version_`和`torch.cuda.is_available()`。
-
发表了文章 2024-06-22
梯度下降算法（一）
梯度下降是一种迭代优化算法，用于找到多变量函数的最小值。它不直接求解方程，而是从随机初始点开始，沿着梯度（函数增大幅度最大方向）的反方向逐步调整参数，逐步逼近函数的最小值。在单变量函数中，梯度是导数，而在多变量函数中，梯度是一个包含所有变量偏导数的向量。通过计算梯度并乘以学习率，算法更新参数以接近最小值。代码示例展示了如何用Python实现梯度下降，通过不断迭代直到梯度足够小或达到预设的最大迭代次数。该过程可以类比为在雾中下山，通过感知坡度变化来调整前进方向。
-
发表了文章 2024-06-22
简单的神经网络
softmax激活函数将多个未归一化的值转换为概率分布，常用于多分类问题。交叉熵损失函数，特别是与softmax结合时，是评估分类模型性能的关键，尤其适用于多分类任务。它衡量模型预测概率与实际标签之间的差异。在PyTorch中，`nn.CrossEntropyLoss`函数结合了LogSoftmax和负对数似然损失，用于计算损失并进行反向传播。通过`loss.backward()`，模型参数的梯度被计算出来，然后用优化器如`SGD`更新这些参数以减小损失。
-
发表了文章 2024-06-22
Stable Diffusion AI绘画
Stable Diffusion是人工智能领域的文本到图像生成模型，基于概率的连续扩散过程，学习数据潜在分布并生成新样本。模型使用Web UI进行交互，提供不同采样器如Euler和DPM++，后者常配以Karras算法。提示词对生成效果至关重要，可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外，模型文件（ckpt/safetensors）和Lora微调模型需存放在正确目录以确保功能正常。
-
发表了文章 2024-06-22
机器学习项目实践-基础知识部分
创建Python隔离环境使用`python -m venv`命令，如`python -m venv ml`来创建名为`ml`的虚拟环境。激活环境通过`.\<Scripts>\activate`（Windows）。然后可以使用`pip`安装库，如`numpy`、`pandas`、`matplotlib`和`jupyter notebook`。在虚拟环境中，`numpy`是用于数组计算的库，支持数学操作和绘图。`pip install`命令后面可添加`-i Simple Index`指定索引源。完成安装后，激活环境并启动`jupyter notebook`进行开发。
-
发表了文章 2024-06-22
LLM-AI大模型介绍
大语言模型（LLM）是深度学习的产物，包含数十亿至数万亿参数，通过大规模数据训练，能处理多种自然语言任务。LLM基于Transformer架构，利用多头注意力机制处理长距离依赖，经过预训练和微调，擅长文本生成、问答等。发展经历了从概率模型到神经网络，再到预训练和大模型的演变。虽然强大，但存在生成不当内容、偏见等问题，需要研究者解决。评估指标包括BLEU、ROUGE和困惑度PPL。
-
发表了文章 2024-06-22
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格（一）
在群晖NAS上使用Docker部署WPS Office并结合Cpolar内网穿透的步骤包括： 1. 通过SSH命令行拉取`linuxserver/wps-office`镜像。 2. 在群晖容器管理界面运行镜像，设置启动选项和端口映射。 3. 本地访问群晖IP:3000端口以使用WPS Office。 4. 安装Cpolar套件，手动添加并安装到群晖，通过9200端口访问其Web管理界面。 5. 使用Cpolar配置内网穿透，实现远程访问WPS Office。 这一过程允许用户即使在没有公网IP的情况下，也能通过Cpolar将内网的WPS Office服务暴露到公网，便于远程办公和文档处理。
-
发表了文章 2024-06-22
如何使用Docker部署WPS Office服务并实现无公网IP远程处理文档表格（二）
使用Docker部署的WPS Office服务可以通过内网穿透工具Cpolar实现远程访问。首先，创建一个名为“wps office”的隧道，选择HTTP协议和3000端口，分配免费的随机域名，并指定中国地区。然后，通过Cpolar的管理界面获取HTTP公网地址，用以远程访问WPS Office。由于随机域名会变化，可以升级Cpolar套餐并保留一个二级子域名，确保长期稳定的远程访问。配置子域名后，更新隧道设置，完成固定公网地址的绑定，从而实现随时随地通过固定地址访问WPS Office。
-
发表了文章 2024-06-22
AI-线性回归模型（二）
这篇内容介绍了梯度下降法在机器学习中的应用，特别是在线性回归中的角色。它是一种迭代优化算法，用于找到损失函数最小值的参数。全梯度下降（FGD）使用所有数据计算梯度，适合大数据但计算成本高；随机梯度下降（SGD）随机选取样本，速度快但可能收敛到局部最小值。随机平均梯度下降（SAG）结合两者的优点，提高收敛速度。评估线性回归模型的性能通常使用平均绝对误差、均方误差和均方根误差。文中还展示了波士顿房价预测案例，使用SGDRegressor进行训练，并讨论了学习率的影响。最后提到了如何使用`joblib`库保存和加载模型。
-
发表了文章 2024-06-21
Docker技术仓库
本文详细介绍了Docker中数据卷的作用、特点、管理方式，包括bindmounts和volumes挂载、Dockerfile中的数据卷使用、Docker仓库（公有与私有）以及DockerCompose在多容器应用中的应用。
-
发表了文章 2024-06-21
AI ppt生成器 Tome（一）
Tome是一款AI驱动的幻灯片生成工具，输入标题或描述即可自动生成包含标题、大纲、内容和图片的PPT。它提供丰富的模板、素材库、多语言支持及多种内容类型，如文本、图片、视频等。用户可通过提示栏、DALL-E 2生成图像，并可嵌入网页内容。注册后，用户可以方便地创作高质量PPT，支持视频录制和个性化定制。[链接：Tome | Polished & Professional AI Presentations](https://beta.tome.app/)
-
发表了文章 2024-06-21
AI ppt生成器 Tome（二）
Tome 是一个AI PPT生成器，能根据用户输入自动生成内容和图片。用户可通过工具栏与AI对话来调整PPT，支持样式定制。优点包括：AI生成内容（支持中英文）、图片生成、多媒体嵌入及多语言输入。缺点：不支持导出下载和模板有限。
-
发表了文章 2024-06-21
Pandas透视表及应用（二）
这个文本是关于使用Pandas进行数据分析的教程，主要关注会员数据的处理和业务指标的计算。
-
发表了文章
2024-06-22
LLM主要类别架构（二）
-
发表了文章
2024-06-22
LLM主要类别架构（一）
-
发表了文章
2024-06-22
大模型Prompt-Tuning技术入门（二）
-
发表了文章
2024-06-22
大模型Prompt-Tuning技术入门（一）
-
发表了文章
2024-06-22
Sklearn中逻辑回归建模
-
发表了文章
2024-06-22
机器学习归一化特征编码（一）
-
发表了文章
2024-06-22
机器学习归一化特征编码（二）
-
发表了文章
2024-06-22
GBDT算法超参数评估（二）
-
发表了文章
2024-06-22
机器学习多场景实战（二 ）
-
发表了文章
2024-06-22
GBDT算法超参数评估（一）
-
发表了文章
2024-06-22
机器学习多场景实战（一）
-
发表了文章
2024-06-22
反向传播算法
-
发表了文章
2024-06-22
Transformer介绍
-
发表了文章
2024-06-22
梯度提升树GBDT系列算法
-
发表了文章
2024-06-22
BERT+PET方式模型训练（一）
-
发表了文章
2024-06-22
使用seq2seq架构实现英译法（二）
-
发表了文章
2024-06-22
使用seq2seq架构实现英译法（一）
-
发表了文章
2024-06-22
BERT+PET方式模型训练（二）
-
发表了文章
2024-06-22
大模型Prompt-Tuning技术进阶
-
发表了文章
2024-06-22
AB测试实战（二）
