基于OGG Datahub插件将Oracle数据同步上云
一、背景介绍
随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。
OGG(Oracle GoldenGate)是一个基于日志的结构化数据备份工具,一般用于Oracle数据
新老DataHub迁移手册
原Odps版内测DataHub,于2016年11月21日起已经处于维护状态,新版DataHub届时已经开启公测,公测至今已有一年时间,我们决定开始逐步下线老DataHub服务,老版部分用户需要迁移至新版DataHub。
基于阿里云HiTSDB搭建工业物联网平台实践
基于阿里云全面的物联网、云计算与大数据技术搭建云端的企业能源管理物联网平台实现能耗数据采集、统计分析、平衡调度、节能优化等全面的能源管控协同平台。是企业生产运行保障的利器,也是大量企业实现云上管理的实践案例。
大数据上云那些事儿:(一)上云工具的选择
阿里云•数加上如果要实现大数据上云,可选的工具有以下几种(如下图所示),主要分为批量加载工具和实时采集工具两大类。工具这么多,那么我应该选择哪一个呢?
首先第一就是确定您的业务场景对实时性的要求。
a) 如果是实时性要求不高,则采用批量加载类工具,定时完成批量数据加载即可。
阿里云物联网平台数据转发到DataHub示例
您可以使用规则引擎将数据转到DataHub上,再由DataHub将数据流转至实时计算、MaxCompute等服务中,以实现更多计算场景。本文主要演示通过规则引擎将消息流转到DataHub,并通过Dataconnector 将消费流转到MaxCompute的表。
阿里云物联网平台、DataHub、RDS和DataV集成样例
本文通过一个DEMO,演示了如何基于阿里云产品和服务实现设备数据在大屏上显示。在设备端模拟两个点位,通过MQTT协议向阿里云物联网平台设备(高级版)发送数据,物联网平台接收到数据后通过规则引擎转发至DataHub,接着在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中,最终使用DataV将RDS MySQL中数据呈现在大屏上。
Flink入坑指南第五章 - 语法糖 view
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。
什么是view(视图):视图无非就是存储在数据库中并具有名字的 SQL 语句,或者说是以预定义的 SQL 查询的形式存在的数据表的成分。