NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
万亿参数模型训练神器：Kubeflow 2025量子加速版下载与TPU集群配置详解
Kubeflow 2025 是一个云原生机器学习操作系统，实现了四大突破性创新：量子混合训练（支持经典-量子混合神经网络协同计算）、神经符号系统集成（融合深度学习与逻辑推理引擎）、边缘智能联邦（5G MEC节点自动弹性扩缩容）和因果可解释性框架（集成Pearl、DoWhy等工具链）。该平台通过混合计算架构、先进的硬件配置矩阵和量子增强型安装流程，提供了从基础设施预配置到核心组件安装和安全加固的完整部署方案。此外，Kubeflow 2025 还涵盖全生命周期开发实战案例、智能运维监控体系、安全与合规框架以及高阶调试技巧，帮助用户高效构建和管理复杂的机器学习项目。
MindIE BenchMark
MindIE Benchmark工具通过部署昇腾服务化配套包，以终端命令方式测试大语言模型在不同配置下的推理性能和精度。它支持Client和Engine两种推理模式：Client模式适用于多用户并发场景，兼容多种接口；Engine模式直接调用底层API，测量NPU卡的真实性能。该工具支持多个数据集进行精度和性能测试，如CEval 5-shot、CMMLU、GSM8K等，并将结果保存为本地csv文件。评测方法包括调用大模型输入题目，解析返回结果并与正确答案比较，计算平均分和其他指标如准确率、EM等。
《解锁AI芯片新境界：提升专用人工智能芯片通用性与灵活性的热点技术》
在人工智能快速发展的背景下，专用AI芯片虽在特定任务上表现出色，但提升其通用性和灵活性成为关键。热点技术包括：可重构架构（如FPGA），支持动态调整硬件结构；混合精度计算，根据任务需求调整计算精度；多模态处理，融合视觉、语音等数据；软件定义硬件，通过编程实现功能灵活配置；硬件虚拟化，将物理资源虚拟化为多个独立逻辑单元；异构集成，结合CPU、GPU、NPU等单元协同工作。这些技术共同推动AI芯片的广泛应用和性能提升。
阿里云与麒麟软件签署全面合作协议
近日，麒麟软件与阿里云签署全面合作协议。双方明确建立长期、稳定的战略合作伙伴关系，在操作系统+人工智能领域展开深度合作，共同推动信息产业技术高速发展。