NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时,若安装了GPU版本的onnxruntime(`onnxruntime-gpu`),可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`,并根据官方文档适配NPU,通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码,使用`--use_cann`参数构建,并安装生成的whl包。最后,配置CANNExecutionProvider进行推理。
【硬件测试】基于FPGA的16QAM调制+软解调系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
本文基于之前开发的16QAM调制与软解调系统,增加了硬件测试功能。该系统包含FPGA实现的16QAM调制、软解调、高斯信道、误码率统计模块,并新增了ILA在线数据采集和VIO在线SNR设置模块。通过硬件测试,验证了不同SNR条件下的系统性能。16QAM软解调通过比较接收信号采样值与16个调制点的距离,选择最近的调制点来恢复原始数据。核心Verilog代码实现了整个系统的功能,包括SNR设置、信号处理及误码率统计。硬件测试结果表明系统在不同SNR下表现良好,详细操作步骤可参考配套视频。
NeoBERT:4096 tokens上下文窗口,参数更少但性能翻倍
NeoBERT是新一代双向编码器模型,整合了前沿架构改进、大规模数据集和优化预训练策略,缩小了传统编码器与高性能自回归语言模型的差距。它支持4096 tokens的扩展上下文窗口,仅250M参数规模,却在MTEB基准中超越多个更大参数量的模型。通过技术创新如旋转位置嵌入和SwiGLU激活函数,以及两阶段预训练策略,NeoBERT在高效性和性能上取得了显著突破。
阿里云产品二月刊来啦
通义万相2.1重磅开源,OpenSearch LLM智能问答版支持DeepSeek-R1系列模型,容器服务 Edge 版支持共享GPU调度能力,详情请点击阿里云产品二月刊