如何使用DTS，Datahub，StreamCompute，RDS及DataV搭建流数据大屏
ä¸ï¼ 数字化大屏的价值
我们的平台销售管理大屏实时数据展示系统，采用了阿里云最新的大数据及流计算技术，将客户的登录信息、设备信息，销售销量、金额，装车系统的客户信息、车辆信息，发运的地理位置、走向等，以飞线图、热力图、点图、传统的柱状图、饼图等多维度的形式展现给企业及相关领导。强大的视觉冲击和高度可视化的图形及数字展示给人带来清晰直观、真实和充满活力的销售数据。
图1 电商平台实施销售数据大屏
大数据可视化的一个好处是，它允许用户去跟踪运营和整体业务性能之间的连接。在竞争环境中，找到业务功能和市场性能之间的相关性是至关重要的。通过数据可视化的展示，可以帮助电商平台的业务人员更快地理解和处理他们的信息，使利益相关者更容易对整个企业进行评估。更加及时、准确的对市场变化进行调整和识别。提高电商平台的行业的竞争优势。
可视化解决了前端展示问题，其实背后依靠的是强大的数据处理和整合及分析预测能力，我们平台的优势就体现在它把一个非常困难的预测问题，转化为一个相对简单的描述问题。
通过应用大数据平台，电商平台可实时调取现场发货数据，并根据这些数据预测供需关系，及时调整价格，保证了企业利益并维持了市场供需平衡的经济效益。
例如油气价格受国内国际多种因素影响，极易产生价格波动。电商平台通过采集客户的登录信息、浏览信息、购买信息以及调取平台的销售销量、金额，装车系统的客户信息、车辆信息，发运的地理位置、走向等数据，通过DataV物流屏幕、交易屏幕的相关技术组件进行展现，可以实时监控会员对平台的访问频次、访问方式、实时的销售量、销售金额、实时的装车发运信息等。随时掌握经营动态，实时预警，快速调整运营策略等场景使用需求。并及时的将这些信息反馈给企业，协助相关企业对关注度较高的热销商品进行二次调价或多次调价。在平台层面，电商平台制定支付锁价、制卡锁价、进场锁价等多种锁价策略，兼具灵活的价格策略，既保证了企业的利益，又维护了市场的供需关系。
äºï¼ 数字化大屏的实现
整个处理过程包括数据采集，数据处理和数据展示三个过程，分布使用了阿里的DTS，DataHub，StreamCompute，RDS以及DataV等产品。
图2 电商品台大屏展示技术架构
2.1数据采集
我们通过阿里数据传输中的数据同步（DTS），将RDS的数据实施传输至DataHub。在配置DTS之前，首先要到DataHub中创建项目（如下图）。
图3 创建DataHub Project
然后，需要到阿里云控制台的数据传输-数据同步中配置源实例和目标实并进行购买。
图4 数据同步源实例及目标实例配置
完成同步配置后，同步过程中，会将每个表的增量更新数据存储到DataHub对应的Topic中。DTS配置完成后查看DTS的任务是否能够自动执行、延时是否过大，一般来讲都是ms级别的。
图5 数据同步配置列表展示
转到阿里云DataHub的控制台，点开创建的项目，查看通过DTS创建的数据结构是否有缺失。
图6查看datahub中的topic
点击数据抽样，查看是否有最新的数据传入DataHub。
图7查看datahub中的抽样数据
2.2数据处理
首先创建一个新的RDS实例，并通过客户端连接上去按照源表结构在RDS中创建相应的表结构。
图8 创建目标数据库表结构
然后，在阿里控制台中找到大数据-流计算-开发，在左侧菜单的开发作业中点击按钮，创建新的开发作业，然后在左侧菜单的数据存储中选择Datahub数据存储，找到相应的表，然后点击右侧的作为输入表引用。这样就实现了在开发作业中引用数据源的操作。
图9 引用流计算源数据
然后选择数据存储中的RDS数据存储，找到响应的RDS，然后点击作为结果引用。
图10 引用流计算目标库表
最后，通过Replace Into语句将源表数据插入目标表。此外，如果数据格式不匹配，在此也可以进行相应的数据格式转换工作，例如使用from_unixtime函数等。
图11 在流计算中将源表数据插入目标表
图12 在流计算中上线开发任务
完成上线操作后，在流计算控制台顶端点击运维，查看作业状态，按照需要停止或重启作业，并查看业务延迟。
图13在流计算运维控制台停止/启动流计算作业
然后点击作业名称，查看详细的业务延迟，计算耗时，数据输入等指标。如果数据传输不正常，可能会发生数据倾斜，系统会有异常抛出，根据抛出的异常来决定具体的响应措施。
图14 在流计算控制台中查看作业详情
2.3 数据展现
数据传输到RDS后，我们可以通过DataV攻击将数据进行展现。
打开阿里云控制台大数据-DataV数据可视化，选择合适的模板，添加相应的组件，然后调整样式
图15 在DataV中设置样式
然后可以根据实际的业务需求，组织相关的数据。在进行数据组织之前，首先要设置DataV的数据源，点击左上角的箭头回到DataV的主页面。选择我的数据，然后点击添加数据按钮，设置相关的数据源为之前的流数据的目标RDS。
图16 设置DataV数据源
然后点击左上角菜单我的可视化，鼠标落在刚刚创建的大屏上，点击编辑按钮。
图17 在DataV中编辑已有大屏
然后选中要编辑的组件，点击右上角的数据，然后选择数据库，并按照业务需求编写SQL，可以点及右下角的查看数据响应结果，查看编写的SQL是否生效。如果生效，数据发生实时变化的时候，在大屏上进行实时展示。
图18 在DataV中编写SQL组织数据
如果DataV的样式和数据都编辑完成，可以将大屏发布，点击右上角的发布按钮，在弹出框中点击发布，能够被公网访问的大屏连接就会生成，如果需要验证则选择token进行设置即可。将连接嵌入网站，或通过大屏设备直接访问即可实现大屏展示。
图19 在DataV中发布大屏
至此，完成了从大屏的数据抓取、数据传输转换、到数据展示的全过程。希望能对希望学习大屏使用的同学有所帮助。
老金斯基
2017.12.22
