多年大数据底层技术经验,对开源hadoop、业界各家云厂商的大数据技术都有所了解。目前专注于大数据平台技术以及数据中台(数据仓库)建设,致力于如何将数据中台模型灵活应用于商业化服务。
暂时未有相关通用技术能力~
阿里云技能认证
详细说明
阿里云DTS作为一款常用的数据库表迁移工具,提供了功能非常类似的两个功能:数据迁移、数据同步。阿里云DTS产品官网对这两个功能模块进行了简单的区分: 场景1:存量数据批量迁移,建议使用数据迁移功能。 场景2:增量数据实时同步,建议使用数据同步功能。 实际上,无论是数据迁移还是数据同步,都可以做 “结构初始化”+“全量数据迁移”+“增量迁移”,因此两者功能差异并不明显。笔者在多个项目实践DTS数据迁移,在简单需求场景下,将DTS的数据迁移、数据同步进行对比和总结。
本文基于阿里云OSS手册:https://help.aliyun.com/zh/oss/use-cases/use-an-ecs-instance-that-runs-centos-to-configure-a-reverse-proxy-for-access-to-oss,继续深入讨论如何利用nginx反向代理,实现固定的IP/域名访问OSS bucket。官方文档能够解决大部分的反向代理固定IP访问oss bucket的场景,但是对于必须使用域名作为endpoint的系统,会出现signatrue鉴权问题。本文继续在官方文档的基础上,将反向代理需要域名作为endpoint的场景补齐方案。
在云平台服务中有多种场景需要使用到反向代理,常见的应用场景包括:内网专有云平台访问公网资源、公有云平台访问客户内网IDC机房资源、云产品通过代理访问多个不同的资源等等。笔者总结几种场景配置nginx的7层反向代理、4层反向代理,巧妙实现应用需求。
根据Centos Linux(以下简称Centos)官方声明: 1、Centos7在2020-08-06停止更新,在2024-06-30停止维护。 2、Centos8在2024-05-31停止更新,在2024-06-30停止维护。 鉴于Centos操作系统将会在2024年停止维护,因此为了企业软件服务长期稳定性运行,需要寻找Centos Linux操作系统替代版本。
对于数据中台指标而言,维度联合组合的情况越多,最终实现的指标越复杂。本文考虑为了满足多个维度任意组合下的指标,数据中台cdm公共层的事实表与维度表应该如何设计。
作为新零售行业从业者,最常见的问题就是以何种粒度在数据仓库存储订单交易数据表。常见的粒度有三类:(1)以商品SKU为粒度存储订单数;(2)以商品SPU为粒度存储订单数据;(3)以交易订单为粒度存储订单数据。其中,第3种方式以交易订单为粒度存储订单数据,更加适合交易明细数据表,对于数据仓库存储方式不是很合适。因此,本文重点阐述如何将SKU粒度数据表与SPU粒度数据表进行融合。
阿里云公有云的maxcompute采用共享资源池,每个开发者使用的数据表都属于该共享资源池。由于公有云的maxcompute元数据不对开发者开放,因此开发者无法直接获取到数据表的存储空间信息。本文总结3种常见的方法,指导开发者如何查看maxcompute数据表的存储空间。