尊渊_个人页

Impala——2.架构

标签（空格分隔）： Impala Impala Server的组件 Impala服务器是分布式，大规模并行处理（MPP）数据库引擎。它由不同的在群集中的特定主机上运行的守护程序进程组成。 Impala守护进程 核心Impala组件是一个守护进程，它通过impalad进程在集群的每个DataNode上运行。

Impala——1.概述

标签（空格分隔）： Impala Impala是什么 官方论文 Impala对存储在HDFS，HBase的Apache Hadoop数据和存储在Amazon S3上的数据提供快速，交互式的SQL查询。

Spark SQL玩起来

标签（空格分隔）： Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started、DataSource、Performance Tuning和Distributed SQL Engine部分。

Spark初窥

标签（空格分隔）： Spark [toc] intro dataset和operation Spark对数据集合的基本抽象叫做Dataset。Dataset可以从文件直接创建，也可以从其他dataset经过transform变换而来。

Hive架构

[toc] 概念 按照官网翻译，Hive是一个使用SQL管理和使用基于分布式存储的数据集的数据仓库工具软件。注意形容词知道了几个特点： 使用SQL 数据仓库、管理数据集（表） 基于Hadoop Hive的组件包括HCatalog和WebHCat。

YARN-Fair Scheduler

Java8 JVM参数解读

YARN-ResourceManager重启

上海QCon2017参会分享

标签（空格分隔）： QCon --- 10.17-10.19在上海度过了Qcon的三天。今年的Qcon主题非常的散，这也是近两年无论ArchSummit还是QCon的一个特点，基本涵盖了以互联网技术为主的所有领域。 我个人主要关注还是云计算、机器学习和大数据相关的话题，因此主要参与的topic也集中于此。本文就印象深刻的一些展开一点分享。 会场第一个关注的话题，是复旦危辉教

YARN-Capacity Scheduler

原文：http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 概览 CapacityScheduler被设计用来以一种操作友好的并且最大化吞吐和集群利用率的方式调度一个共享的、多租户集群从而可以支持运行Hadoop应用程序。

YARN-架构

HDFS启动

HDFS配额

Java安全——密钥那些事

HDFS扩展属性

HDFS权限

HDFS快照

一起爪哇Java 8（三）——好用的Stream

# 一起爪哇Java 8（三）——好用的Stream 标签（空格分隔）： Java --- [toc] --- ## Stream组成 在传统Java编程，或者说是类C语言编程中，我们如何操作一个数组数据呢？或者更泛化的讲，我们如何操作一个“集合”（Collection）数据呢？在Java中我们利用java.

一起爪哇Java 8（二）——Lambda表达式和方法引用

一起爪哇Java 8（一）——函数式接口

当下流行架构中的一些技术思考

地点：北京ArchSummit会场 人物：行业内的讲师&参会人员 ## 总体趋势 ArchSummit全球架构师峰会，在初冬的北京举行。我们一伙人奔着雾霾和技术前沿的理想追逐而去。我先聊聊这次的一个整体情况。两天行

HDFS架构设计

HDFS架构设计

Java安全——消息摘要

Java安全——提供者相关的体系架构

Java安全——安全管理器、访问控制器和类装载器

Logistic Regression——用线解决问题

实际应用delegate做好api简洁设计——从commons-io排序器想开

我们已经知道，在完成一个通用功能的设计时，必然会抽象并且隔离功能级别，把最一般的功能抽象出来，放到接口里去，具体实现接口的类完成具体功能。因为所有的具体实现都有共同的接口，虽然功能实际不同，但是抽象含义相似，因此在抽象级别，其他类调用时就可以把最抽象的接口作为代理（委托）来调用，思路简单清晰。 在

基数估计

决策树和Random Forests：优秀的群体智慧

初探IMEI【译】

我们该如何良好的实践Java中的Exception机制

使用MAT对java内存分析

Java安全——理解Java沙箱

Java安全——理解Java沙箱 标签： Java 安全 [toc] 什么是沙箱^1 Java安全模型的核心就是Java沙箱（sandbox），什么是沙箱？沙箱是一个限制程序运行的环境。限制程序运行一方面是为了保护系统资源，同时另一方面也为了保护程序自己。沙箱主要限制系统资源访问，那系统

大数据是什么