开发者社区 > 物联网 > 正文

IOT hub流转大量设备问题质询

有一个问题,通过IOT hub接入超过10000个设备, 如何通过数据流转才可以保证数据不丢失,不延时。 我的方案是:.直接将IOT hub流转到MQ。当设备量大的时候,但比较容易出现MQ堆积,处理不完的情况。 请教各位是否有其它案例或者见解。谢谢

展开
收起
ricman 2021-11-25 10:30:32 11131 0
4 条回答
写回答
取消 提交回答
  • 这个可以咨询官方人员,是否有相关的最佳实践,有数据验证的方案才可以采用。

    2022-11-07 08:14:27
    赞同 展开评论 打赏
    1. 物联网平台购买企业实例,选择足够大的规格(上下行tps和规则引擎tps),确保物联网平台侧数据可以实时流转
    2. MQ侧,增加消费者数量,把ack逻辑进行优化(耗时的业务逻辑异步处理,不要阻塞ack)

    这样基本没问题了。

    2022-10-31 12:03:16
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    通过规则引擎的云产品流转功能,物联网平台可将指定Topic的数据,流转至其他Topic和其他阿里云产品中。本文介绍设置数据流转解析器的完整操作步骤,依次是创建解析器、关联数据源和数据目的、配置流转数据的解析脚本。

    前提条件 已添加数据源和数据目的,请参见: 添加待流转的数据源。 添加数据流转目的。 创建解析器 登录物联网平台控制台。 在实例概览页面,找到对应的实例,单击实例进入实例详情页面。 通过规则引擎的云产品流转功能,物联网平台可将指定Topic的数据,流转至其他Topic和其他阿里云产品中。本文介绍设置数据流转解析器的完整操作步骤,依次是创建解析器、关联数据源和数据目的、配置流转数据的解析脚本。

    前提条件 已添加数据源和数据目的,请参见: 添加待流转的数据源。 添加数据流转目的。 创建解析器 登录物联网平台控制台。 在实例概览页面,找到对应的实例,单击实例进入实例详情页面。 在解析器详情页面,单击数据目的。 单击关联数据目的,在弹出的对话框中,单击数据目的下拉列表,选择已创建的数据目的,单击确定。 单击异常数据目的下的关联数据目的,将重试失败的错误消息转发至指定位置。 注意 最多支持添加一个错误操作。 正常操作和错误操作的转发目的地不能是相同的云产品。例如,不能同时转发到表格存储。 错误消息转发失败后,不会再进行重试。 这里的错误消息仅针对因其他云产品实例问题导致的规则引擎转发失败错误。 消息转发至云产品失败后,会进行重试。若重试失败,将根据错误操作数据转发的设置转发错误消息。 错误消息格式: { "ruleName":"", "topic":"", "productKey":"", "deviceName":"", "messageId":"", "base64OriginalPayload":"", "failures":[ { "actionType":"OTS", "actionRegion":"cn-shanghai", "actionResource":"table1", "errorMessage":"" }, { "actionType":"RDS", "actionRegion":"cn-shanghai", "actionResource":"instance1/table1", "errorMessage":"" } ] } 详细情况可以看看这个https://help.aliyun.com/document_detail/270934.html#section-khk-p2i-9r8

    2022-10-27 14:23:12
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    针对这个问题,个人建议可以提工单咨询阿里云物联网平台专业技术人员,因为如果去查文档的话,耗时且不一定会有查询结果,直接咨询专业人士效率更高,官方文档地址:https://help.aliyun.com/document_detail/270934.html,专业人士可以更快的获取解决方案; 当然如果提工单问题仍未解决的话,可以顺着你当前的思路,将数据流转到MQ消息队列,毕竟消息队列就是异步解耦和削峰填谷的作用,当然如果出现MQ堆积的话,可以考虑水平扩容,增加消费端的并发数来提升总体的消费性能。但是需要注意的一点是,在扩容Consumer的实例数量的同时,必须同步扩容主题中的分区(也叫队列)数量,确保Consumer的实例数和分区数量是相等的。如果Consumer的实例数量超过分区数量,这样的扩容实际上是没有效果的。因为对于消费者来说,在每个分区上实际上只能支持单线程消费。

    2022-10-26 18:32:32
    赞同 展开评论 打赏

物联网领域前沿技术分享与交流

相关电子书

更多
ST + AliOS > Smart IoT ! 立即下载
IOT赋能旅行场景的实践与展望 立即下载
阿里云IoT物联网市场暨合作伙伴计划发布 立即下载