明惠
明惠_个人页
明惠
文章
17
问答
7
视频
0
个人介绍
关注HBase和Spark
擅长的技术
- Java
- 数据库
-
发表了文章 2019-09-27
Apache Spark Delta Lake 删除使用及实现原理代码解析
Apache Spark Delta Lake 删除使用及实现原理代码解析 Delta Lake 的 Delete 功能是由 0.3.0 版本引入的。在介绍 Apache Spark Delta Lake 实现逻辑之前，我们先来看看如何使用 delete 这个功能。
-
发表了文章 2019-09-26
Apache Spark Delta Lake 写数据使用及实现原理代码解析
Apache Spark Delta Lake 写数据使用及实现原理代码解析 Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下： df.
-
发表了文章 2019-09-26
Apache Spark Delta Lake 事务日志实现源码分析
Apache Spark Delta Lake 事务日志实现源码分析 我们已经在这篇文章详细介绍了 Apache Spark Delta Lake 的事务日志是什么、主要用途以及如何工作的。那篇文章已经可以很好地给大家介绍 Delta Lake 的内部工作原理，原子性保证，本文为了学习的目的，带领大家从源码级别来看看 Delta Lake 事务日志的实现。
-
发表了文章 2019-09-26
深入理解 Apache Spark Delta Lake 的事务日志
深入理解 Apache Spark Delta Lake 的事务日志 事务日志是理解 Delta Lake 的关键，因为它是贯穿许多最重要功能的通用模块，包括 ACID 事务、可扩展的元数据处理、时间旅行（time travel）等。
-
发表了文章 2019-06-04
使用 Kafka + Spark Streaming + Cassandra 构建数据实时处理引擎
Apache Kafka 是一个可扩展，高性能，低延迟的平台，允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。 Spark Streaming 是 Apache Spark 的一部分，是一个可扩展、高吞吐、容错的实时流处理引擎。
-
发表了文章 2019-05-14
印度版的“大众点评”如何将 Food Feed 业务从 Redis 迁移到 Cassandra
Zomato 是一家食品订购、外卖及餐馆发现平台，被称为印度版的“大众点评”。目前，该公司的业务覆盖全球24个国家（主要是印度，东南亚和中东市场）。本文将介绍该公司的 Food Feed 业务是如何从 Redis 迁移到 Cassandra 的。
-
发表了文章 2019-05-08
Apache Cassandra 在 Facebook 的应用
在 Instagram （Instagram是Facebook公司旗下一款免费提供在线图片及视频分享的社交应用软件，于2010年10月发布。）上，我们拥有世界上最大的 Apache Cassandra 数据库部署。
-
发表了文章 2019-05-07
为什么在大数据处理中Cassandra与Spark如此受欢迎？
随着现代云应用对正常运行时间及性能水平的要求逐步提高，已经有越来越多用户开始将注意力集中在Apache Cassandra数据库身上。 那么，为什么要选择Apache Cassandra？这套分布式OLTP数据库能够带来高可用性与线性可扩展能力。
-
发表了文章 2019-05-07
Discord 公司如何使用 Cassandra 存储上亿条线上数据
Discord 是一款国外的类似 YY 的语音聊天软件。Discord 语音聊天软件及我们的 UGC 内容的增长速度比想象中要快得多。随着越来越多用户的加入，带来了更多聊天消息。2016 年 7 月，每天大约有 4 千万条消息；2016 年 12 月，每天超过亿条。
-
发表了文章 2019-05-05
Apache Cassandra 数据存储模型
我们在《Apache Cassandra 简介》文章中介绍了 Cassandra 的数据模型类似于 Google 的 Bigtable，对应的开源实现为 Apache HBase，而且我们在 《HBase基本知识介绍及典型案例分析》 文章中简单介绍了 Apache HBase 的数据模型。
-
发表了文章 2019-05-05
Apache Cassandra SSTable 存储格式详解
在 Cassandra 中，当达到一定条件触发 flush 的时候，表对应的 Memtable 中的数据会被写入到这张表对应的数据目录（通过 data_file_directories 参数配置）中，并生成一个新的 SSTable（Sorted Strings Table，这个概念是从 Google 的 BigTable 借用的）。
-
发表了文章 2019-04-30
Apache Cassandra 内置及自定义数据类型
到目前为止，我们在使用 CQL 建表的时候使用到了一些数据类型，比如 text、timeuuid等。本文将介绍 Apache Cassandra 内置及自定义数据类型。和其他语言一样，CQL 也支持一系列灵活的数据类型，包括基本的数据类型，集合类型以及用户自定义数据类（User-Defined Types,UDTs）。
-
发表了文章 2019-04-29
Apache Cassandra static column 介绍与实战
假设我们有这样的场景：我们想在 Cassandra 中使用一张表记录用户基本信息（比如 email、密码等）以及用户状态更新。我们知道，用户的基本信息一般很少会变动，但是状态会经常变化，如果每次状态更新都把用户基本信息都加进去，势必会让费大量的存储空间。
-
发表了文章 2019-04-25
Apache Cassandra Composite Key\Partition key\Clustering key 介绍
在前面文章里面我们使用了下面语句创建了一张名为 iteblog_user 的表： cqlsh> use iteblog_keyspace; cqlsh:iteblog_keyspace> CREATE TABLE iteblog_user (first_name text , last_name .
-
发表了文章 2019-04-25
Apache Cassandra 快速入门指南
我们在这篇文章简单介绍了 Apache Cassandra 是什么，以及有什么值得关注的特性。本文将简单介绍 Apache Cassandra 的安装以及简单使用，可以帮助大家快速了解 Apache Cassandra。
-
发表了文章 2019-04-03
Apache Cassandra 简介
Apache Cassandra 是一个开源的、分布式、无中心、弹性可扩展、高可用、容错、一致性可调、面向行的数据库，它基于 Amazon Dynamo 的分布式设计和 Google Bigtable 的数据模型，由 Facebook 创建，在一些最流行的网站中得到应用。
-
发表了文章 2018-11-21
HBase 在人工智能场景的使用
近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点： 大：数据量越大，对我们后面建模越会有好处； 稀疏：每行数据可能拥有不同的属性，比如用户画像数据，每个人拥有属性相差很大，可能用户A拥有这个属性，但是用户B没有这个属性；那么我们希望存储的系统能够处理这种情况，没有的属性在底层不占用空间，这样可以节约大量的空间使用； 列动态变化：每行数据拥有的列数是不一样的。
-
提交了问题
2014-11-28
北京地区管局审核十多天终于备案通过了，来分享一下经验
-
提交了问题
2014-11-21
备案关站，到底怎么才算关站
暂无更多信息
-
发表了文章
2019-09-27
Apache Spark Delta Lake 删除使用及实现原理代码解析
-
发表了文章
2019-09-26
Apache Spark Delta Lake 写数据使用及实现原理代码解析
-
发表了文章
2019-09-26
Apache Spark Delta Lake 事务日志实现源码分析
-
发表了文章
2019-09-26
深入理解 Apache Spark Delta Lake 的事务日志
-
发表了文章
2019-06-04
使用 Kafka + Spark Streaming + Cassandra 构建数据实时处理引擎
-
发表了文章
2019-05-14
印度版的“大众点评”如何将 Food Feed 业务从 Redis 迁移到 Cassandra
-
发表了文章
2019-05-08
Apache Cassandra 在 Facebook 的应用
-
发表了文章
2019-05-07
为什么在大数据处理中Cassandra与Spark如此受欢迎？
-
发表了文章
2019-05-07
Discord 公司如何使用 Cassandra 存储上亿条线上数据
-
发表了文章
2019-05-05
Apache Cassandra 数据存储模型
-
发表了文章
2019-05-05
Apache Cassandra SSTable 存储格式详解
-
发表了文章
2019-04-30
Apache Cassandra 内置及自定义数据类型
-
发表了文章
2019-04-29
Apache Cassandra static column 介绍与实战
-
发表了文章
2019-04-25
Apache Cassandra Composite Key\Partition key\Clustering key 介绍
-
发表了文章
2019-04-25
Apache Cassandra 快速入门指南
-
发表了文章
2019-04-03
Apache Cassandra 简介
-
发表了文章
2018-11-21
HBase 在人工智能场景的使用
滑动查看更多
-
回答了问题
2019-07-17
Phoenix的定位是什么？
可以实现一些简单的OLTP查询，复杂一点的建议用 Spark。赞0 踩0 评论0 -
回答了问题
2014-12-01
北京地区管局审核十多天终于备案通过了，来分享一下经验
回2楼备案客服的帖子 也感谢阿里云啊。赞0 踩0 评论0 -
提交了问题
2014-11-28
北京地区管局审核十多天终于备案通过了，来分享一下经验
-
提交了问题
2014-11-21
备案关站，到底怎么才算关站
-
回答了问题
2014-11-21
备案关站，到底怎么才算关站
回1楼小猪猪的帖子 但是很多人说管局只是会在浏览器里面打开网站。 ------------------------- 回1楼小猪猪的帖子 我备案的域名是 XXX.com，这个域名没有配置DNS，而www.XXXX.com设置了，但是直接进www.XXXX.com会跳到XXXX.com里面，这样会有影响吗？赞0 踩0 评论0 -
回答了问题
2014-11-20
请问北京的备案平均审核时间是多长呀
回2楼备案客服的帖子 效率太慢了，我现在已经等了三天。。 ------------------------- 回4楼备案客服的帖子 嗯，理解，阿里的效率很快。。 慢慢等。希望一次性过了。赞0 踩0 评论0 -
回答了问题
2014-11-20
备案过程中一定要关站吗
回5楼奕天的帖子 那是你走运，很多人都好慢。赞0 踩0 评论0
滑动查看更多
暂无更多信息