【AI系统】知识蒸馏原理
本文深入解析知识蒸馏(Knowledge Distillation, KD)，一种将大型教师模型的知识高效转移至小型学生模型的技术，旨在减少模型复杂度和计算开销，同时保持高性能。文章涵盖知识蒸馏的基本原理、不同类型的知识（如响应、特征、关系知识）、蒸馏方式（离线、在线、自蒸馏）及Hinton的经典算法，为读者提供全面的理解。
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术，涵盖动态和静态量化方法，旨在将模型权重和激活从浮点数转换为整数，以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制，文章探讨了如何平衡模型精度与性能，同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
【AI系统】EfficientFormer 系列
本文介绍了一种名为 EfficientFormer 的轻量化 Transformer 模型，旨在优化移动设备上的推理速度。通过重新设计 ViT 及其变体，特别是针对移动设备的延迟优化，EfficientFormer 引入了维度一致的 Transformer Block，并通过网络模型搜索获得了多个系列的模型。EfficientFormer V2 进一步改进了模型设计，引入细粒度联合搜索策略，优化了延迟和参数量，实现了更高的性能和效率。
【AI系统】MobileVit 系列
MobileViT系列是基于Vision Transformer（ViT）架构设计的轻量级视觉模型，专为移动设备和嵌入式系统优化。MobileViT V1通过结合局部卷积和全局Transformer机制，实现了高性能与低资源消耗的平衡。V2进一步优化了Transformer中的多头自注意力机制，引入了线性复杂度的可分离自注意力，显著提升了计算效率。V3则对融合模块进行了简化，用1x1卷积替代3x3卷积，减少了参数量，同时引入了残差连接，进一步提升了模型性能。这些改进使MobileViT系列在保持高效的同时，能够在资源受限的设备上运行，表现出色。
【AI系统】MobileFormer
本文介绍了MobileFormer，一种创新的网络结构，通过双线桥将MobileNet的局部特征与Transformer的全局特征相结合，实现了高效且低计算成本的模型设计。MobileFormer使用少量tokens来学习全局先验，从而在保持高性能的同时，显著降低了计算量。通过本文，读者可以深入了解如何有效结合CNN和Transformer的优势，实现模型的轻量化。
模型训练数据-MinerU一款Pdf转Markdown软件
MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具，专长于复杂PDF文档的高效解析与提取。它能够将含有图片、公式、表格等多模态内容的PDF文档转化为Markdown格式，同时支持从网页和电子书中提取内容，显著提升了AI语料准备的效率。MinerU具备高精度的PDF模型解析工具链，能自动识别乱码，保留文档结构，并将公式转换为LaTeX格式，广泛适用于学术、财务、法律等领域。
HTML5实现人机对战的国际象棋AI版
这是一个基于HTML5的国际象棋小游戏，它也提供人机对战，不过智商相对较低，我们称它为“Cheap AI”，像一个国际象棋初级入门的人都可以轻轻松松赢得比赛。如果你对人工智能感兴趣，你也可以改造这款国际象棋的机器智商，让它变得更为强大。
【AI系统】GhostNet 系列
本文介绍了GhostNet系列网络，重点讲解了GhostNet V1和V2的改进。V1提出了Ghost Module，通过廉价操作生成更多特征图，构建轻量级网络。V2在此基础上引入了解耦全连接注意力（DFC）机制，增强了模型捕捉长距离依赖的能力，同时保持了高效的计算性能，特别适合移动设备。文章详细对比了V2与V1的区别，包括结构改进和性能提升。
【AI系统】EfficientNet 系列
本文介绍了EfficientNet系列模型，特别是EfficientNet V1和V2。EfficientNet V1通过NAS技术同时探索网络的宽度、深度和分辨率对模型性能的影响，提出了复合模型缩放方法，以平衡三者关系，实现高效模型扩展。EfficientNet V2在此基础上，引入Fused-MBConv模块，采用渐进式学习策略和自适应正则化技术，进一步提升了模型的训练速度和推理效率。