虚实联动:智能机器人实践

简介: 本篇内容分享了虚实联动:智能机器人实践。

分享人:

王  鑫 阿里云基础设施事业部高级技术专家

施家栋 阿里巴巴达摩院XR实验室硬件及系统负责人

正文:

本篇内容将通过个部分来介绍虚实联动:智能机器人实践。

一、智能机器人的应用技术概览

二、智能机器人的智慧苹果生产实践

三、阿里云全球布局概览

四、阿里云智能运维机器人详解

image.png

一、智能机器人的应用技术概览

我们可以让机器人接收来自数数字世界的任务指令,让物理世界执行各种任务,解决各种现场的问题。比如我们可以让机器人在全息的工厂里做搬运操作任务同时,机器人在执行任务的过程中,也可以为数字世界模型的更新提供实时的感知数据不断优化数字模型优化数字模型又可以为机器人的导航定位提供鲜艳的环境模型和知识最终实现虚拟和现实之间良好联动。

image.png

我们在智能机器人操作方案上的技术架构,主要包括能源单元移动底盘作业执行机构传感器及计算单元。在硬件系统的基础上,通过硬件驱动程对硬件模块进行抽象,然后通过系统软件集成感知规划,操纵移动算法能力按照一定的业务逻辑,把它运行每一个机器人系统上最后通过云端软件,对更多机器人进行统一的任务调度运行监测和日常运维。

image.png

机器人在农业,工业服务业都有着非常广泛的应用前景。特别是这些年人工智能算法的发展,加速了智能机器人在更多的业务场景落地我们也尝试将机器人操纵技术,应用到智慧农业机房运维,仓储物流,智能制造等业务场景中。

image.png

二、智能机器人的智慧苹果生产实践

接下来跟大家介绍我们团队在苹果自动产生项目的探索。去年,我们团队到新疆,甘肃,陕西的苹果基地做调研。苹果是我国种植面积和产量第二大的水果。近10年来,全国的种植面积基本稳定在3000万亩左右产量在逐年上升。到2020年,苹果的产量已经达到了4400万吨中国苹果总产量占全球苹果产量的近一半。但是根据联合国粮农组织的数据,在2013年世界单产前三名的国家奥地利,瑞士,荷兰他们的单产分别达到了6吨,5.8吨,3.4吨在2020年,我们国家平均单产只能达到1.5吨低于其他主要生产国家。这说明我国的苹果生产还处质量发展阶段,还有很大的提升空间

image.png

我国80%到90的果园基本采用传统的强化栽培模式。这种栽培模式的种植密度很低且树形荫蔽严重,很难保证苹果品质的一致性。在2012年我国开始引进矮砧密植的栽培模式。这种模式产量能够达到3到5吨。陕西省近10年就基本更新了200多万亩矮砧密植型果园全国近10年种植面积基本保持不变,但产量逐渐上升主要的原因就是栽培模式的改变这种栽培模式,有利于进行标准化,机械化和规模化的管理为将来果园的精细化管理和自动化生产,创造了有利条件。

image.png

我们一起来看一下矮砧密植苹果生产的过程它主要包括四个环节整地建,田间管理,花果期管理采收转运第一个环节整地建园是一次性投入,而且大部分的专业环节都可以实现机械化作业。田间管理环节大部分都会采用水肥一体的设备来实现水肥定时定量的精准的水平。供应除草打药,也能够实现基本的机械化作业。只有整形修剪这个环节需要有经验的果农完成。在花果期管理的授粉,一般是靠种植行间的授粉树自然授粉

image.png

果园经营者目前主要面临的三个问题是用工难,管理难果率低。苹果采摘的季节性用工需求缺口大劳动人口年龄老化严重用工成本高人员管理难其次在管理环节对农技要求高,技能培训难度大,临时用工很难保证操作规范。由于用工缺口大,优果率只能达到50%-60%。

image.png

针对以上问题,我们从两个方面入手解决。从系统的角度讲,我们综合考虑人机环等因素,采用合适的格架栽培和整形技术,提高树势生长标准化;实现气候和土壤监测、环境控制,精准灌溉、施肥与打药,精准自动疏花疏果、高效自动采收;联合农学专家和果园基地,提供一套标准化、数字化、自动化的苹果精准生产解决方案,建立智慧苹果生产示范园。近期,我们在不改造果园环境和果树的条件下,通过研发自动采收机器人,提高采收效率,降低采收人员需求与果园基地合作,推进项目合作和试点运行。

image.png

今年,我们针对苹果采收的需求,结合团队,人工智能和机器人技术的能力,研制了一款适用于现代果园的苹果阐述机器人解决果园季节性劳动匮乏,采摘成本高的问题,以提升果园生产的效率。

image.png

机器人的移动能力方面,我们采用纯电四驱的方案,越障性能强,能够很好地适应果园环境主干道行间道路平缓坡地等地形机器人搭载了一组四百八十的铝电池组,配置一台5000瓦的程器。机器人可以实现一边工作一边充电,这样可以满足一天24小时连续工作的要求我们的机器还配备rtk的接收机可以达到厘米级的高精度定位。在集合之前果园的环境模型,我们可以人工设置或者自动规划采收路径来实现机器人的自主地行驶。

image.png

我们构建苹果识别的神经网络模型,采集大量的苹果数据进行训练,实现苹果种类的识别成熟度果静生长情况的检测再结合深度图像信息进行苹果的精确定位在夜间机器人也可以在一定的补光条件下,对苹果的识别检测和定位达到很好的效果我们根据果树的高度行距等一些结构参数采用桁架机械臂方案设计了一套两侧六的彩色机构,实现了多动态规划的高精度采摘能力。单个的动作时间可以控制在6秒以内,理论上机器人可以实现1秒钟采摘一个苹果的效率。

image.png

在收集能力方面避免磕碰降低损伤是在收集过程中必须要解决问题我们采用多级传送带和缓冲装置将苹果输送到果筐升降机会自动调整收集盘果筐的距离果筐装满之后会自动地降到地面,再由叉车转移到卡车上。整个过程我们可以将破损率控制在5%以内。

image.png

我们的农事专业服务管理平台可以对果园作业的机器人进行任务调度和管理,也可以通过平台对正在果园作业的机器人进行状态的监测在异常的情况下,可以进行远程介入控制。机器人在作业过程中采集的数据也会上传到这个作业平台,然后用来做苹果模型的识别训练,后续产品溯源作为依据。未来,我们还会结合其他IOT的数据来训练果树生长的模型,实现苹果精准的一个种植和生产。

image.png

最后让我们一起憧憬一下未来的果园场景,我们希望能够利用我们的技术能力,携手农业专家提出一套更先进的苹果生产方式,通过专业的服务公司为果园经营者提供社会化的农事服务,让果农们不再风吹日晒,不看天吃饭也能种出产量更高,品质更好绿色有机苹果。

image.png

三、阿里云全球布局概览

阿里云的数据中心从成立之初就一直在伴随着阿里巴巴业务在不断的向前成长。走到今天,我们在全国范围内开始进行呃自荐的基础设施。园区的一个建设。今天,阿里云在全球范围内20多个地域运行着60多个可用区。每一座数据中心内都运行着上万台的服务器。

image.png

在国内,我们到今年已经建成并投入运营了五大超级的数据中心。北方的张北乌兰察布数据中心,南通和杭州的数据中心以及服务华南的河源数据中心如此体量巨大分布广泛的数据中心,对数据中心的运维提出了巨大的挑战。那这个挑战不仅是单纯的人力资源的挑战,更是对我们运维系统自动化和智能化的挑战。

image.png

 

四、阿里云智能运维机器人详解

为了应对这样的挑战,我们一直推进数据中心的智能化与自动化运营我们将基础设施进行IT化,通过IOT技术,数据化和网络化手段,让设施层面的所有信息进行同步上传。在我们平台上的智能运维系统。通过对数据的整理和分析,通过可视化的资源分析和全生命周期的管理,实现数据中心内部的线上和线下资源和系统信息层面的同步

但是在数据中心内,所有的业务都是落在服务器上。如果上万台服务器众多的IT设备出现故障怎么办?所以我们必须要有能力对线下的客观物理实体进行改造。我们不仅要在数据数据中心内实现线上与线下系统的联动,同时,也有能力去延伸线上的预约平台,让有能力改变线下的物理实体进行运维操作所以我们提出了阿里云智能运维机器人系统。

image.png

今天基础设施事业部联手达摩院XR实验室共同研发了这一款阿里云智能运维机器人系统。这台智能运维机器人系统,融合了众多先进技术。具有自主定位导航能力的移动底盘。我们搭载了协作行的机械臂,在末端设计了融合视觉触觉以及驾驶能力的操作器。

通过这样的配置,基于优化机械臂轨迹规划算法叠加,我们实现了机器人对复杂的运维操作的学习,IT部件复杂操作的更换。基于立体视觉的点云立即匹配技术基于深度学习的目标识别技术,我们可以实现运维机器人在数据中心内,对整个环境的适配,对于不同类型IT设备服务器的识别运维和更换。

image.png 

在机器人本体之后,我们也搭建了智能化运维的后台。通过后台,运维人员可以远程管理和获悉机器人的运行状态,也可以通过机器人观察和了解机房现场的环境。进行资产盘点,数据中心的环境巡检等一系列操作。

image.png 

在数据中心内,我们通过IOT技术将整个数据中心内的设备进行系统串联,我们联动数据中心的门禁系统,资产设备的备件库,废品回收箱大型自动化销毁产线。在这样的移动数据中心内我们实现机器人可以跨楼层跨房间的运维操作,可以将所有的设备串联

最终实现了一块新硬盘进入数据中心,到完成使命,报废进入销毁产线离开数据中心整个过程无人参与自动化完成,大大提高了现场的运维能力。不仅提高了现场运维的效率,也保障了业务的运行的稳定。最重要的是保证了数据中心内的资产和数据的安全。

image.png

面向未来,阿里巴巴基础设施将继续和XR Lab联手进行深度的研发,共同推进数据中心智能化运维智能化和自动化运维我们将通过对数据中心内部的3D模型重建结合AR/VR技术实现远程运维一起推进数据中心向可持续可自卫,可自愈的方向发展

相关文章
|
5月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
434 1
|
11月前
|
人工智能 自然语言处理 机器人
9.9K star!大模型原生即时通信机器人平台,这个开源项目让AI对话更智能!
"😎高稳定、🧩支持插件、🦄多模态 - 大模型原生即时通信机器人平台"
382 0
|
9月前
|
弹性计算 自然语言处理 Ubuntu
从0开始在阿里云上搭建基于通义千问的钉钉智能问答机器人
本文描述在阿里云上从0开始构建一个LLM智能问答钉钉机器人。LLM直接调用了阿里云百炼平台提供的调用服务。
从0开始在阿里云上搭建基于通义千问的钉钉智能问答机器人
|
8月前
|
机器人
陌陌自动回复消息脚本,陌陌自动打招呼回复机器人插件,自动聊天智能版
这是一款为陌陌用户设计的自动回复软件,旨在解决用户无法及时回复消息的问题,提高成交率和有效粉丝数。软件通过自动化操作实现消息检测与回复功能
|
10月前
|
前端开发 机器人 API
答疑机器人实践:AgentScope多智能体带你玩转多源召回
答疑机器人实践:AgentScope多智能体带你玩转多源召回
443 3
答疑机器人实践:AgentScope多智能体带你玩转多源召回
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
TsingtaoAI具身智能机器人开发套件及实训方案
该产品套件创新性地融合了先进大模型技术、深度相机与多轴协作机械臂技术,构建了一个功能强大、灵活易用的人机协作解决方案。其核心在于将智能决策、精准感知与高效执行完美结合,为高校实训领域的发展注入新动力。
996 10
|
传感器 算法 机器人
机器人SLAM建图与自主导航:从基础到实践
通过Gazebo平台和gmapping算法成功生成并保存了一张二维仿真环境地图,为后续的机器人自主导航实验奠定了基础。完整代码及更多细节可参考[GitHub仓库](https://github.com/Jieshoudaxue/ros_senior/tree/main/mbot_navigation/config/move_base)。
2472 23
|
人工智能 自然语言处理 算法
具身智能高校实训解决方案 ----从AI大模型+机器人到通用具身智能
在具身智能的发展历程中,AI 大模型的出现成为了关键的推动力量。高校作为培养未来科技人才的摇篮,需要紧跟这一前沿趋势,开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合,为学生搭建一个实践平台。
1555 64
|
人工智能 机器人 API
AppFlow:无代码部署Dify作为钉钉智能机器人
本文介绍如何通过计算巢AppFlow完成Dify的无代码部署,并将其配置到钉钉中作为智能机器人使用。首先,在钉钉开放平台创建应用,获取Client ID和Client Secret。接着,创建消息卡片模板并授予应用发送权限。然后,使用AppFlow模板创建连接流,配置Dify鉴权凭证及钉钉连接凭证,完成连接流的发布。最后,在钉钉应用中配置机器人,发布应用版本,实现与Dify应用的对话功能。
2555 7
AppFlow:无代码部署Dify作为钉钉智能机器人
|
人工智能 自然语言处理 算法
基于DeepSeek的具身智能高校实训解决方案——从DeepSeek+机器人到通用具身智能
本实训方案围绕「多模态输入 -> 感知与理解 -> 行动执行 -> 反馈学习」的闭环过程展开。通过多模态数据的融合(包括听觉、视觉、触觉等),并结合DeepSeek模型和深度学习算法,方案实现了对自然语言指令的理解、物体识别和抓取、路径规划以及任务执行的完整流程。
1655 12