有一个问题,通过IOT hub接入超过10000个设备, 如何通过数据流转才可以保证数据不丢失,不延时。 我的方案是:.直接将IOT hub流转到MQ。当设备量大的时候,但比较容易出现MQ堆积,处理不完的情况。 请教各位是否有其它案例或者见解。谢谢
这样基本没问题了。
通过规则引擎的云产品流转功能,物联网平台可将指定Topic的数据,流转至其他Topic和其他阿里云产品中。本文介绍设置数据流转解析器的完整操作步骤,依次是创建解析器、关联数据源和数据目的、配置流转数据的解析脚本。
前提条件 已添加数据源和数据目的,请参见: 添加待流转的数据源。 添加数据流转目的。 创建解析器 登录物联网平台控制台。 在实例概览页面,找到对应的实例,单击实例进入实例详情页面。 通过规则引擎的云产品流转功能,物联网平台可将指定Topic的数据,流转至其他Topic和其他阿里云产品中。本文介绍设置数据流转解析器的完整操作步骤,依次是创建解析器、关联数据源和数据目的、配置流转数据的解析脚本。
前提条件 已添加数据源和数据目的,请参见: 添加待流转的数据源。 添加数据流转目的。 创建解析器 登录物联网平台控制台。 在实例概览页面,找到对应的实例,单击实例进入实例详情页面。 在解析器详情页面,单击数据目的。 单击关联数据目的,在弹出的对话框中,单击数据目的下拉列表,选择已创建的数据目的,单击确定。 单击异常数据目的下的关联数据目的,将重试失败的错误消息转发至指定位置。 注意 最多支持添加一个错误操作。 正常操作和错误操作的转发目的地不能是相同的云产品。例如,不能同时转发到表格存储。 错误消息转发失败后,不会再进行重试。 这里的错误消息仅针对因其他云产品实例问题导致的规则引擎转发失败错误。 消息转发至云产品失败后,会进行重试。若重试失败,将根据错误操作数据转发的设置转发错误消息。 错误消息格式: { "ruleName":"", "topic":"", "productKey":"", "deviceName":"", "messageId":"", "base64OriginalPayload":"", "failures":[ { "actionType":"OTS", "actionRegion":"cn-shanghai", "actionResource":"table1", "errorMessage":"" }, { "actionType":"RDS", "actionRegion":"cn-shanghai", "actionResource":"instance1/table1", "errorMessage":"" } ] } 详细情况可以看看这个https://help.aliyun.com/document_detail/270934.html#section-khk-p2i-9r8
针对这个问题,个人建议可以提工单咨询阿里云物联网平台专业技术人员,因为如果去查文档的话,耗时且不一定会有查询结果,直接咨询专业人士效率更高,官方文档地址:https://help.aliyun.com/document_detail/270934.html,专业人士可以更快的获取解决方案; 当然如果提工单问题仍未解决的话,可以顺着你当前的思路,将数据流转到MQ消息队列,毕竟消息队列就是异步解耦和削峰填谷的作用,当然如果出现MQ堆积的话,可以考虑水平扩容,增加消费端的并发数来提升总体的消费性能。但是需要注意的一点是,在扩容Consumer的实例数量的同时,必须同步扩容主题中的分区(也叫队列)数量,确保Consumer的实例数和分区数量是相等的。如果Consumer的实例数量超过分区数量,这样的扩容实际上是没有效果的。因为对于消费者来说,在每个分区上实际上只能支持单线程消费。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。