@dailidong@_个人页

修改ranger ui的admin用户登录密码踩坑小记

修改的ranger ui的admin用户登录密码时，需要在ranger的配置里把admin_password改成一样的，否则hdfs的namenode在使用admin时启动不起来,异常如下: Traceback (most recent call last): ...

如何为Kafka集群选择合适的Partitions数量

如何为Kafka集群选择合适的Partitions数量 Hadoop技术博文 　　这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。

一图看懂深度学习框架对比----Caffe Torch Theano TensorFlow

  Caffe Torch Theano TensorFlow Language C++, Python Lua Python Python Pretrained Yes ++ Yes ++ Yes (Lasagne) Inception...

关于深度学习(deep learning)的常见疑问 --- 谷歌大脑科学家 Caffe缔造者 贾扬清

问答环节 问：在finetuning的时候，新问题的图像大小不同于pretraining的图像大小，只能缩放到同样的大小吗？” 答：对的：） 问：目前dl在时序序列分析中的进展如何？研究思路如何，能简单描述一下么答：这个有点长，可以看看google最近的一系列machine translation和image description的工作。

神经网络CNN训练心得--调参经验

1.样本要随机化，防止大数据淹没小数据 2.样本要做归一化。关于归一化的好处请参考：为何需要归一化处理3.激活函数要视样本输入选择(多层神经网络一般使用relu)4.

数据归一化处理

为什么要对数据进行归一化？     归一化后加快了梯度下降求最优解的速度；2）归一化有可能提高精度。下面我简单扩展解释下这两点。 1 归一化为什么能提高梯度下降法求解最优解的速度？       斯坦福机器学习视频做了很好的解释：https://class.coursera.org/ml-003/lecture/21       如下图所示，蓝色的圈圈图代表的是两个特征的等高线。

centos上tensorflow一键安装脚本

鉴于tensorflow在centos上安装相当麻烦,特地制作了一个脚本方便以后移植到其它机器上,脚本含有其它python常用包: #! /bin/bash   sudo yum install -y gcc g++ gtk+-devel libjpeg-deve...

人工智能----TensorFlow开篇简介

Artificial Intelligence，也就是人工智能。TensorFlow是Google在2015年底开源的项目 TensorFlow的论文地址：http://download.

Centos6.5+Python2.7 +ffmpeg+opencv2自动安装脚本

今天安装opencv折腾了多个小时，为以后安装少走弯路，脚本安装 完整 脚本如下： #! /bin/bash sudo yum install -y gcc g++ gtk+-devel libjpeg-devel libtiff-devel jasper-dev...

决策统计---指标六要素

举例：GDP指标的组成

大数据应用分类

1.工具或者服务化平台。Hadoop基础套件的，像亚马逊云等 2.数据统计分析。这一类主要是BI,既有企业自有产品,也有第三方产品 3.数据交易。典型企业有数据堂,api接口的各公司 4.数据挖掘。

Hadoop Yarn事件处理框架源码分析

由于想在项目中使用类似yarn的事件处理机制，就看了实现。主要是由Dispatcher.java，EventHandler.java，Service.java这3个类撑起来的。

清除windows系统垃圾文件简易脚本(bat)

@echo off      echo 正在清除系统垃圾文件，请稍等......      del /f /s /q %systemdrive%\*.tmp      del /f /s /q %systemdrive%\*.

优化Hadoop Balancer运行速度

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.

[解决]java.io.IOException: Cannot obtain block length for LocatedBlock

在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的，可能由于Namenode长时间gc或者切换或者重启会留下很多.

数据库拆分的几种方式

数据库做拆分的几种方式：1．按功能划分（垂直切分）将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续对其进行深入的再切分。

架构设计文档提纲简描

提纲很简单的：一、概述二、目的三、项目背景四、系统建设目标五、参考资料六、架构设计6.1 架构分析6.2 设计思想6.3 架构体系6.4 系统视图6.5 模块划分6.5.1 模块描述6.5.2 模块接口

各大互联网公司架构演进之路汇总

各大互联网公司架构演进之路汇总 大型网站架构演化历程 大型网站架构技术一览 Web 支付宝和蚂蚁花呗的技术架构及实践 支付宝的高可用与容灾架构演进 聚划算架构演进和系统优化 （视频+PPT） 淘宝交易系统演进之路 （专访） 淘宝数据魔方技术架构解析 淘宝技术发展历程和架构经验分享（视频+PPT）（2.

大数据安全规范

大数据安全规范     一、概述 大数据的安全体系分为五个层次：周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理。

生活启示

美女住酒店一晚结账时账单800元，她抱怨太贵。经理说这是标准收费，酒店附设泳池、健身房和wifi。美女说自己完全没使用，经理说饭店有提供，是她自己不用。 女客人打开皮包掏钱付账，但说要扣除经理和她共度春宵的700元，只拿出100元。

mysql数据库分库分表(Sharding)

mysql数据库切分 前言 通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈。

大数据风控指标----查准率与查全率

大数据风控指标介绍 2016-03-24 大林 1查准率与查全率 先说个例子，申请人有400个，其中有160个是好人，240个是坏人。我们用一个模型A，挑出了100个好人，其中真正的好人是80个，剩下20个是漏网之鱼。

YARN和MapReduce的内存设置参考

如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。

不要在linux上启用net.ipv4.tcp_tw_recycle参数

不要在linux上启用net.ipv4.tcp_tw_recycle参数 发布于 2015/07/27 莿鸟栖草堂 本文为翻译英文BLOG《Coping with the TCP TIME-WAIT state on busy Linux servers》，但并非完整的翻译，译者CFC4N对原文理解后，进行了调整，增加了相关论点论据，跟原文稍有不同。

[Spark经验一]Spark RDD计算使用的函数里尽量不要使用全局变量

     比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。

电商数据分析基础指标体系

电商数据分析基础指标体系 傅志华 傅志华 信息流、物流和资金流三大平台是电子商务的三个最为重要的平台。而电子商务信息系统最核心的能力是大数据能力，包括大数据处理、数据分析和数据挖掘能力。

HBase客户端访问超时的多个因素及参数

在一个需要低延时响应的hbase集群中，使用hbase默认的客户端超时配置简直就是灾难。 但是我们可以考虑在客户端上加上如下几个参数，去改变这种状况: 1. hbase.

序列化对单例的破坏

                                                                                序列化对单例的破坏 本文将通过实例+阅读Java源码的方式介绍序列化是如何破坏单例模式的，以及如何避免序列化对单例的破坏。

[解决] User [dr.who] is not authorized to view the logs for application

在hadoop集群启用权限控制后，发现job运行日志的ui访问不了， User [dr.who] is not authorized to view the logs for application原因 Resource Manager UI的默认用户dr.

[解决] Error Code: 1044. Access denied for user 'root'@'%' to database

今天在测试集群用的mysql上，遇到个权限的问题： SQLException : SQL state: 42000 com.mysql.jdbc.exceptions.

[解决] Error Code: 1044. Access denied for user 'root'@'%' to database

今天在测试集群用的mysql上，遇到个权限的问题： SQLException : SQL state: 42000 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user 'root'@'...

赏心悦目的风景一

[解决] HiveServer2中使用jdbc访问hbase时导致ZooKeeper连接持续增加的解决

最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨，很奇怪，虽然知道HiveServer2支持并发连接，使用ZooKeeper来管理Hive表的读写锁，但我们的环境并不需要这些，我们已经关闭并发功能，以下是线上的配置，甚至把这些值都改成final了。

数据案例-蓝米手机的精准广告营销

数据案例-蓝米手机的精准广告营销 2016-01-25 劲说 背景介绍：假设我是大米手机的数据分析师大傅，今天收到市场运营小旋同学的春节投放需求，在大米平台的DMP投放展示广告，做促销蓝米手机活动，投放预算是100万，同时悄悄告诉我，如果投放ROI超过2，她们市场运营总监设立奖励金额为（n-2）*1万的奖金。

关于移动DSP

提  纲     1、移动DSP与传统营销有什么不同？     2、为什么移动DSP是大势所趋？     3、哪些因素决定移动DSP的精准与否？     4、如何辨别移动DSP的真伪优劣？     5、不同行...

分布式主键生成策略

在分布式高并发的情况下，分布式主键生成策略可参考mongodb的objectid实现。ObjectId是一种轻量的，不同的机器不同的进程都能用全局唯一的同种方法生成它，而不是采用传统的自增的主键策略，因为在多台服务器上同步自动增加主键既费力又费时。

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时 在hbase中经常会遇到regionserver挂掉的情况，查看日志会看到这样的错误信息 2016-02-16 11:51:24,882 WARN  [master/hadoop02/192.

提升工作效率的方法

写下第二天要做的全部事情 按重要顺序，从“1”到“6”标出六件最重要的事情 每天一开始，全力做标号为“1”的事情，直到完成或完全准备好，然后再全力以赴做标号为“2”的事情，以此类推。该方法被誉为“价值2.5万美金的时间管理方法”，值得学习！

Reduce Side Join实现

关于reduce边join,其最重要的是使用MultipleInputs.addInputPath这个api对不同的表使用不同的Map，然后在每个Map里做一下该表的标识，最后到了Reduce端再根据标识区分对应的表！ Reduce Side Join Exa...

File file:/data1/hadoop/yarn/local/usercache/hp/appcache/application_* does not exi

AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000For more detailed output, check application trackin...

Caused by: java.io.IOException: Filesystem closed的处理

org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.

linux下nproc的作用

nproc是操作系统级别对每个用户创建的进程数的限制,在Linux下运行多线程时,每个线程的实现其实是一个轻量级的进程,对应的术语是:light weight process(LWP)。

Spark Streaming 的一些问题

Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。 checkpoint checkpoint 是个很好的恢复机制。但是方案比较粗暴，直接通过序列化的机制写入到文件系统，导致代码变更和配置变更无法生效。

分享周鸿祎的《如何建立一个“铁打的营盘”》

如何建立一个“铁打的营盘”？ 中国有句古话，叫做铁打的营盘流水的兵。   我相信，创业初期，当团队里有人离开的时候，肯定有不少创业者拿这句话来安慰自己。

How to configue session timeout in Hive

This article explains how to configure the following settings in Hive:hive.server2.

常用排序算法

（1）直接插入排序 [java] view plaincopy /** 直接插入排序 **/   /** 数组是引用类型，元素值将被改变 **/   public static void insertSort(int[] table) {       /...

[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)

在kafka.out日志里出现大量 ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.

线程的几个状态

Runnable：一般指该线程正在执行状态中，该线程占用了资源，正在处理某个请求，例如有可能在对某个文件操作，有可能进行数据类型等转换。 Waiting on condition：等待资源，或等待某个条件的发生。

星型模式

一个典型的星型模式包括一个大型的事实表和一组逻辑上围绕这个事实表的维度表。　　事实表是星型模型的核心，事实表由主键和度量数据两部分组成。星型模型中各维度表主键的组合构成事实表的主键。

统计中纬度与指标的区别

在统计分析系统中， 维度：指人们分析事物的角度。比如，分析活跃用户，可以从时间的维度，也可以从地域的维度去看，也可以时间、地域两个维度组合去分析。 不同维度有的是相互独立的，比如时间维度和地域维度；但有些维度是有层次关系的，比如省份维度和城市维度。