游客wsxnwr5p22s5w_个人页

2025年12月

• 12.18 16:36:38
  发表了文章 2025-12-18 16:36:38

  🧠 前馈神经网络

  前馈网络（FFN）是Transformer核心组件，提供非线性变换。标准FFN为两层线性加激活函数，MoE则通过稀疏激活提升参数效率。常用激活函数包括ReLU、GELU和SwiGLU，其中SwiGLU被LLaMA采用。MoE虽参数多但计算高效，表达能力更强。
• 12.18 16:35:12
  发表了文章 2025-12-18 16:35:12

  ⚖️ 归一化技术

  归一化技术对大模型训练至关重要，LayerNorm通过对特征维度归一化提升稳定性，是Transformer标配；RMSNorm简化计算，效率更高，应用于LLaMA等模型；Pre-norm结构因更好稳定性成为现代架构主流。
• 12.18 16:34:30
  发表了文章 2025-12-18 16:34:30

  📍 位置编码详解

  位置编码为模型提供序列顺序信息。绝对编码如可学习和Sinusoidal，简单但外推性差；相对编码如RoPE和ALiBi，支持长序列外推，广泛用于LLaMA、BLOOM等大模型。面试常考其原理、优劣及长序列处理能力。（238字）
• 12.18 16:33:39
  发表了文章 2025-12-18 16:33:39

  🎯 注意力机制详解

  注意力机制是Transformer核心，通过自注意力、交叉注意力、多头、分组、多查询及潜在注意力等形式，实现对序列信息的高效建模。各类机制在参数量、速度与质量间权衡，广泛应用于NLP与多模态任务，是大模型设计与面试考察的重点。
• 12.18 16:32:32
  发表了文章 2025-12-18 16:32:32

  🔤 分词器详解

  分词器将文本转为模型可处理的数字序列，主流算法如BPE、WordPiece和SentencePiece各有特点：BPE高效但中文支持弱；WordPiece用于BERT，适合英文；SentencePiece语言无关，支持多语言。选择时需权衡粒度、速度与模型需求，中文推荐SentencePiece。
• 12.18 16:31:49
  发表了文章 2025-12-18 16:31:49

  Transformer基础结构

  Transformer是Vaswani等人于2017年提出的基于注意力机制的神经网络，彻底革新了自然语言处理。其核心为编码器-解码器架构，通过自注意力机制并行捕捉长距离依赖，结合位置编码、残差连接与层归一化，显著提升建模效率与性能，成为BERT、GPT等大模型的基础。
• 12.18 16:09:05
  发表了文章 2025-12-18 16:09:05

  vue框架

  本文深入解析Vue核心原理，涵盖v-bind与v-model区别、响应式机制（Object.defineProperty）、模板编译为render函数、虚拟DOM渲染流程、数据双向绑定及MVVM模式。详解生命周期、组件通信、路由控制、Vuex状态管理及其内部实现，并对比jQuery，突出Vue数据驱动优势。
• 12.18 16:07:05
  发表了文章 2025-12-18 16:07:05

  React框架

  React基于虚拟DOM和Diff算法实现高效渲染，通过生命周期管理组件状态。支持JSX、服务端渲染，易于测试与优化。强调单向数据流，可与其他框架集成，广泛用于构建高性能前端应用。（239字）
• 12.18 15:57:16
  发表了文章 2025-12-18 15:57:16

  ajax和网络

  Ajax（异步JavaScript与XML）是一种利用已有技术组合实现异步通信的技术，通过XMLHttpRequest对象实现页面局部刷新，提升用户体验。它支持GET/POST请求，解决跨域常用JSONP或CORS，具有高效、按需加载的优点，但存在对搜索引擎不友好、安全机制暴露等缺点。同步阻塞等待，异步非阻塞回调，现代开发多用封装库如jQuery。跨域限制源于同源策略（协议、域名、端口一致），可通过动态script、代理等方式突破。HTTP状态码如200成功、404未找到、500服务器错误等，是通信关键标识。
• 12.18 15:54:18
  发表了文章 2025-12-18 15:54:18

  document

  本文介绍了前端开发中常用的DOM操作API，包括元素查找、节点创建与修改、节点关系获取、属性与样式操作，以及BOM、事件机制、Ajax跨域（如JSONP原理与实现）和本地存储（cookie、localStorage、sessionStorage）等内容，涵盖面试常见考点与浏览器兼容性注意事项，帮助开发者深入理解Web API核心机制。