小金子
小金子_个人页
小金子
文章
342
问答
11
视频
0
个人介绍
热爱分布式技术
擅长的技术
-
发表了文章 2016-06-02
java-Java可以对方法进行序列化?
Java序列化与反序列化是什么？为什么需要序列化与反序列化？如何实现Java序列化与反序列化？本文围绕这些问题进行了探讨。 1.Java序列化与反序列化 Java序列化是指把Java对象转换为字节序列的过程；而Java反序列化是指把字节序列恢复为Java对象的过程。
-
发表了文章 2016-06-02
java-对象的理解-对象在内存的存储
String str; 这段代码表示创建一个名叫str的String类型的reference。 这个reference保存在栈stack中，速度很快，但它并没有保存词或者句子的数据，它仅仅是目标数据的一个指向。
-
发表了文章 2016-06-02
java-监视器
监视器可以看做是经过特殊布置的建筑，这个建筑有一个特殊的房间，该房间通常包含一些数据和代码，但是一次只能一个消费者(thread)使用此房间， 当一个消费者(线程)使用了这个房间，首先他必须到一个大厅(Entry Set)等待，调度程序将基于某些标准(e.g. FIFO)将从大厅中选择一个消费者(线程)，进入特殊房间，如果这个线程因为某些原因被“挂起”，它将被调度程序安排到“等待房间”，并且一段时间之后会被重新分配到特殊房间，按照上面的线路，这个建筑物包含三个房间，分别是“特殊房间”、“大厅”以及“等待房间”。
-
发表了文章 2016-06-02
java-总结
基础知识 对象的理解 代码的访问权限 代码的封装 代码的多态 代码继承 接口的作用 内部类和Lambda 异常的设计 java.Util包 java.lang包 java.
-
发表了文章 2016-06-01
java-RocketMQ
RocketMQ单机支持1万以上的持久化队列，前提是足够的内存、硬盘空间，过期数据数据删除（RocketMQ中的消息队列长度不是无限的，只是足够大的内存+数据定时删除） RocketMQ版本：3.
-
发表了文章 2016-06-01
key/value存储系统-Memcached、Redis、Tair
每个产品的可配置参数繁多，涉及缓存策略、分布算法、序列化方式、数据压缩技术、通信方式、并发、超时等诸多方面因素，都会对测试结果产生影响，单纯的性能对比存在非常多的局限性和不合理性，所以不能作为任何评估依据，仅供参考。
-
发表了文章 2016-06-01
java-maven
3.1. Maven 3.1.1. Maven介绍 我们使用maven构建应用环境，因此我们先来简单介绍maven。Maven是什么？如何回答这个问题 要看你怎么看这个问题。
-
发表了文章 2016-05-31
Jstorm 集群搭建过程/Jstorm集群一键安装部署
Jstorm 官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ，我整理了三个脚本：安装 Jstorm 集群，安装 jstorm_web_ui 监控页面，启动zookeeper、Jstorm集群进行测试。
-
发表了文章 2016-05-31
java-jstorm
jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下： 开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout， Bolt的编程规范即可开发出一个扩展性极好的应用，底层rpc，worker之间冗余，数据分流之类的动作完全不用考虑。
-
发表了文章 2016-05-31
2016"百度之星" - 初赛（Astar Round2B）解题报告
此文章可以使用目录功能哟↑(点击上方[+]) 被自己蠢哭,去年还能进一下复赛,今年复赛都没戏了... 链接→2016"百度之星" - 初赛（Astar Round2B） Problem 1001 区间的价值 Acce...
-
发表了文章 2016-05-31
Java -网络IO编程
转载请注明出处：http://blog.csdn.net/anxpp/article/details/51512200，谢谢！ 本文会从传统的BIO到NIO再到AIO自浅至深介绍，并附上完整的代码讲解。
-
发表了文章 2016-05-31
java-对象管理-集合
在实际的项目开发中会有很多的对象，如何高效、方便地管理对象，成为影响程序性能与可维护性的重要环节。Java 提供了集合框架来解决此类问题，线性表、链表、哈希表等是常用的数据结构，在进行 Java 开发时，JDK 已经为我们提供了一系列相应的类来实现基本的数据结构，所有类都在 java.util 这个包里。
-
发表了文章 2016-05-30
java-Netty学习（2）
任务： 创建开发环境 编写一个Echo服务器和客户端 编译测试应用 框架： 同时连到一个服务器的多个客户端。理论上，可支持的客户端数量是受可支配系统资源限制的（以及在用的JDK版本带来的限制）。
-
发表了文章 2016-05-30
java- 分布式- 一致性哈希算法（2）
一致性哈希用在负载均衡的实例来说，一致性哈希就是先把主机ip从小大到全部放到一个环内，然后客户端ip来连接的时候，把客户端ip连接到大小最接近客户端ip且大于客户端ip的主机。
-
发表了文章 2016-05-30
java- 分布式- 一致性哈希算法（1）
一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其他缓存就失效了。
-
发表了文章 2016-05-30
Apache Shiro
Apache Shiro 是功能强大并且容易集成的开源权限框架，它能够完成认证、授权、加密、会话管理等功能。认证和授权为权限控制的核心，简单来说，“认证”就是证明你是谁？ Web 应用程序一般做法通过表单提交用户名及密码达到认证目的。
-
发表了文章 2016-05-26
spring mvc3 + fastjson
spring 3可以支持Rest风格参数，其内置了jackson框架作为REST的json参数转换成javabean对象，以及bean对象转换成json参数。
-
发表了文章 2016-05-26
spring mvc
作者：赵磊 博客：http://elf8848.iteye.com 目录 一、前言 二、spring mvc 核心类与接口 三、spring mvc 核心流程图 四、spring mvc DispatcherServlet说明 五、spring mvc 父子上下文的说明 六、springMVC-mvc.
-
发表了文章 2016-05-26
VO BO PO
PO(persistant object)（个人理解：就是数据库模型 通过映射 转化成的 持久化类 model） 持久对象 在o/r映射的时候出现的概念，如果没有o/r映射，没有这个概念存在了。
-
发表了文章 2016-05-26
Spark-zeppelin大数据可视化导入Mysql
Zeppelin是基于spark的数据可视化方案。支持scala语言，任何在spark上运行的job都可以在此平台上运行，此外支持对表数据的可视化。对数据源的可视化可以通过interpreter进行扩展，比如github中就有支持MySQL的interpreter。
-
发表了文章 2016-05-26
Zeppelin对Spark进行交互式数据查询和分析
Zeppelin是一个Web笔记形式的交互式数据查询分析工具，可以在线用scala和SQL对数据进行查询分析并生成报表。Zeppelin的后台数据引擎可以是Spark（目前只有Spark），开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。
-
发表了文章 2016-05-26
Spark-zeppelin-大数据可视化分析
官网介绍 Multi-purpose Notebook The Notebook is the place for all your needs Data Ingestion Data Discovery Data Analytics...
-
发表了文章 2016-05-26
基于web的可视化数据库管理
任务： 构建基于web的数据库管理系统。 思路： 关于WebBuilder WebBuilder是一款功能强大的Web应用开发和运行平台，能简单快速地开发功能强大和完备的企业级应用系统。
-
发表了文章 2016-05-26
Kylin介绍
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。
-
发表了文章 2016-05-26
Kylin-基本知识
CUBE Table - This is definition of hive tables as source of cubes, which must be synced before building cubes.
-
发表了文章 2016-05-26
Kylin-百度地图的实践
百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析，处理日常百亿级规模数据，为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务。
-
发表了文章 2016-05-26
kylin-BI工具-tableau9
Tableau 9 Tableau 9.x has been released a while, there are many users are asking about support this version with Apache Kylin.
-
发表了文章 2016-05-26
Kylin-web上的数据分析
Kylin Web Interface Supported Browsers Windows: Google Chrome, FireFox Mac: Google Chrome, FireFox, Safari 1.
-
发表了文章 2016-05-26
Kylin Cube 的权限管理
In Cubes page, double click the cube row to see the detail information. Here we focus on the Access tab.
-
发表了文章 2016-05-26
Kylin Cube Build and Job Monitoring
Kylin Cube Build and Job Monitoring Cube Build First of all, make sure that you have authority of the cube you want to build.
-
发表了文章 2016-05-26
安装Kylin
Environment Kylin requires a properly setup Hadoop environment to run. Following are the minimal request to run Kylin, for more detial, please check Hadoop Environment.
-
发表了文章 2016-05-26
Kylin - 分析数据
I. Create a Project Go to Query page in top menu bar, then click Manage Projects.
-
发表了文章 2016-05-24
Spark-基础-Spark编译与部署--Spark编译安装
1、编译Spark（1.1版本） Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SBT是单进程），Maven编译成功前后花了3、4个小时。
-
发表了文章 2016-05-24
Spark-基础-Spark编译与部署--Hadoop编译安装
1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.
-
发表了文章 2016-05-24
Spark-基础-Spark编译与部署环境搭建
1、运行环境说明 1.1 硬软件环境 l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存 l 虚拟软件：VMware® Workstation 9.
-
发表了文章 2016-05-23
java-微信新版自动聊天助手
微信新版自动聊天助手 部署 1.部署到tomcat上，访问http://localhost:8080/wechat_robot/HelpChat，微信扫描二维码登录。
-
发表了文章 2016-05-23
java-设计模式实例
欢迎大家fork共同学习！ https://github.com/jinhang/java-DesignPattern
-
发表了文章 2016-05-23
java-开发各种Java示例项目
欢迎大家fork共同学习！ https://github.com/JavaExamples
-
发表了文章 2016-05-19
java-ThreadLocal是解决线程安全问题
早在JDK 1.2的版本中就提供Java.lang.ThreadLocal，ThreadLocal为解决多线程程序的并发问题提供了一种新的思路。使用这个工具类可以很简洁地编写出优美的多线程程序。
-
发表了文章 2016-05-19
java- List
第1部分 List概括List的框架图 List 是一个接口，它继承于Collection的接口。它代表着有序的队列。 AbstractList 是一个抽象类，它继承于AbstractCollection。
-
发表了文章 2016-05-19
java 泛型中 T 和 问号（通配符）的区别
类型本来有：简单类型和复杂类型，引入泛型后把复杂类型分的更细了； 现在List, List是两种不同的类型;且无继承关系； 泛型的好处如： 开始版本 public void write(Integer i, Intege...
-
发表了文章 2016-05-19
Java-jVM-虚拟机判定两个 Java 类是相同
类加载器基本概念 顾名思义，类加载器（class loader）用来加载 Java 类到 Java 虚拟机中。一般来说，Java 虚拟机使用 Java 类的方式如下：Java 源程序（.java 文件）在经过 Java 编译器编译之后就被转换成 Java 字节代码（.class 文件）。
-
发表了文章 2016-05-19
java-容器-collection的sort方法
Java中如果需要对一个collections排序，需要继承于Comparable或者comparator接口，那么使用的排序算法是什么呢，一般情况下，排序算法包括：插入排序、快速排序、合并排序、冒泡排序等，java的Collections.sort算法调用的是合并排序，它是稳定排序，当数据接近有序的时候，效率更高，collections中的数据在排序前需要输入到array中，接着调用Arrays.sort函数来完成对象排序，最近通过迭代器将数组中排好序的对象些人到collection中，这也要求collection必须为mutable类型的。
-
发表了文章 2016-05-19
Spark-Spark Streaming例子整理(三)
一、解密SparkStreaming另类在线实验 二、瞬间理解SparkStreaming本质 Spark源码定制，自己动手改进Spark源码，通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务，如果Sprak官方版本没有你需要的业务功能，你自己可以定制、扩展Spark的功能，满足公司的业务需要。
-
发表了文章 2016-05-19
Spark-Spark Streaming例子整理(二)
Spark Streaming从Flume Poll数据 一、Spark Streaming on Polling from Flume实战 二、Spark Streaming on Polling from Flume源码 第一部分： 推模式(Flume push SparkStreaming) VS 拉模式（SparkStreaming poll Flume） 采用推模式：推模式的理解就是Flume作为缓存，存有数据。
-
发表了文章 2016-05-19
Spark-Spark Streaming例子整理(一)
（摘自王家林） 流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。
-
发表了文章 2016-05-18
Spark-构建基于Spark的推荐引擎
推荐引擎 推荐引擎就是是预测人们可能喜好的物品并通过探寻物品之间的联系来辅助这个过 程。从这点上来说，它同样也做预测的搜索引擎互补。但与搜索引擎不同，推荐引擎试图向人 们呈现的相关内容并不一定就是人们所搜索的，其返回的某些结果甚至人们都没听说过。
-
发表了文章 2016-05-18
Spark-ML-数据获取/处理/准备
获取公开数据集 UCL机器学习知识库：包括近300个不同大小和类型的数据集，可用于分类、回归、聚类 和推荐系统任务。数据集列表位于：http://archive.ics.uci.edu/ml/。
-
发表了文章 2016-05-17
40亿数据Map插入
原文： http://kotek.net/blog/3G_map 思考Java中内存管理的问题，以及Java集合对内存使用的效率情况。我做了一个简单的实验，测试在16G内存条件下，Java的Map可以插入多少对象。
-
发表了文章 2016-05-16
Spark-ML-基于云平台和用户日志的推荐系统
架构： 数据收集：spark stareming从Azure Queue收集数据，通过自定义的spark stareming receiver，源源不断的消费流式数据。
暂无更多信息
-
发表了文章
2017-08-27
一个分布式测试系统利器
-
发表了文章
2017-06-10
Kudu
-
发表了文章
2017-05-02
Spark Streaming和Flink的Word Count对比
-
发表了文章
2017-02-23
Java反射在JVM的实现
-
发表了文章
2017-02-15
Mysql的索引和慢查询优化
-
发表了文章
2017-02-15
OLTP新贵G家F1的替代者TiDB
-
发表了文章
2017-02-15
Big Mysql的中间件
-
发表了文章
2016-12-09
System.arraycopy
-
发表了文章
2016-12-09
java轻量级IOC框架Guice
-
发表了文章
2016-12-09
Elasticsearch架构
-
发表了文章
2016-12-09
Apache Solr vs Elasticsearch-feature
-
发表了文章
2016-11-17
ES问题
-
发表了文章
2016-10-24
Palo
-
发表了文章
2016-10-22
Fully Convolutional Networks for Semantic Segmentation(全卷积网络FCN）
-
发表了文章
2016-10-22
R-FCN: Object Detection via Region-based Fully Convolutional Networks
-
发表了文章
2016-10-22
SSD: Single Shot MultiBox Detector
-
发表了文章
2016-10-10
ES in Hive
-
发表了文章
2016-10-10
ES集群安装配置
-
发表了文章
2016-10-10
SQL for ES
-
发表了文章
2016-10-10
ES in BI
滑动查看更多
-
提交了问题
2016-07-09
多个consumer会出现错误
-
提交了问题
2016-07-09
突然拉不到数据了！！！！求助
-
回答了问题
2016-07-09
突然拉不到数据了！！！！求助
Re突然拉不到数据了！！！！求助 配置了teamcode 的 以前是可以拉去消息的，增加了consumer后就报错 https://github.com/alibaba/RocketMQ/issues/40 上说是：错误提示不太准确， 你start前设置一个不同的instance name赞0 踩0 评论0 -
回答了问题
2016-07-09
Customer Group已存在问题
ReCustomer Group已存在问题 多个consumer会报错！你解决了吗赞0 踩0 评论0 -
提交了问题
2016-07-01
关于第二题的100G数据！官方可否给大于100G的模拟数据
-
提交了问题
2016-07-01
tair超时问题但是可以put/get
-
回答了问题
2016-07-01
tair超时问题但是可以put/get
回 1楼浅墨的帖子 : 网络没有问题呀。 : 就是它自检的时候ping有问题。赞0 踩0 评论0 -
回答了问题
2016-06-29
关于测评精度问题
回 1楼玄弟的帖子 你好！老师，如何pc/无线 无线是0 怎么办？会出现这种情况吗赞0 踩0 评论0 -
提交了问题
2016-06-28
第二题环境问题
-
提交了问题
2016-06-20
为什么运行老是Failed to get master from ZK呢.本地模式可以运行
-
回答了问题
2016-06-19
为什么运行老是Failed to get master from ZK呢.本地模式可以运行
Re为什么运行老是Failed to get master from ZK呢.本地模式可以运行 HELP ME!!!!!!!!!!!!!!!!!!!!!! Fail to run nimbus java.lang.IllegalStateException: instance must be started before calling this method at com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[guava-16.0.1.j ar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.getChildren(CuratorFrameworkImpl. java:390) ~[curator-framework-2.5.0.jar:na] at com.alibaba.jstorm.zk.Zookeeper.getChildren(Zookeeper.java:184) ~[jstorm-core-2.1.1.jar: na] at com.alibaba.jstorm.cluster.DistributedClusterState.get_children(DistributedClusterState. java:130) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.cluster.StormZkClusterState.active_storms(StormZkClusterState.java:32 9) ~[jstorm-core-2.1.1.jar:na] ------------------------- Re为什么运行老是Failed to get master from ZK呢.本地模式可以运行 [ERROR 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:137 main] Fail to run nimbus java.lang.IllegalStateException: instance must be started before calling this method at com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[guava-16.0.1.j ar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.getChildren(CuratorFrameworkImpl. java:390) ~[curator-framework-2.5.0.jar:na] at com.alibaba.jstorm.zk.Zookeeper.getChildren(Zookeeper.java:184) ~[jstorm-core-2.1.1.jar: na] at com.alibaba.jstorm.cluster.DistributedClusterState.get_children(DistributedClusterState. java:130) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.cluster.StormZkClusterState.active_storms(StormZkClusterState.java:32 9) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusUtils.cleanupCorruptTopologies(NimbusUtils.java:2 90) ~[jstorm-core-2.1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusServer.init(NimbusServer.java:168) [jstorm-core-2 .1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusServer.launchServer(NimbusServer.java:132) [jstor m-core-2.1.1.jar:na] at com.alibaba.jstorm.daemon.nimbus.NimbusServer.main(NimbusServer.java:95) [jstorm-core-2. 1.1.jar:na] [INFO 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:295 main] Notify to quit nimbus [INFO 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:142 main] Quit nimbus赞0 踩0 评论0
滑动查看更多
暂无更多信息