周志湖
周志湖_个人页
周志湖
文章
97
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2015-09-14
Machine Learning on Spark——第三节 统计基础（一)
作者：周志湖 微信号：zhouzhihubeyond 本文主要内容 本文对了org.apache.spark.mllib.stat包及子包中的相关统计类进行介绍，stat包中包括下图中的类或对象: 本文将对其中的部分内容进行详细讲解 获取矩阵列（column-wise）统计信息 Kernel density estimation（核密度估计) Hypothes
-
发表了文章 2015-09-14
Machine Learning On Spark——第二节：基础数据结构（二)
作者：周志湖 微信号：zhouzhihubyond 本节主要内容 IndexedRowMatrix BlockMatrix 1. IndexedRowMatrix的使用 IndexedRowMatrix，顾名思义就是带索引的RowMatrix，它采用case class IndexedRow(index: Long, vector: Vector)类来表示矩阵的一
-
发表了文章 2015-09-13
Machine Learning On Spark——第一节：基础数据结构（一)
作者：周志湖 微信号：zhouzhihubyond 本节主要内容 本地向量和矩阵 带类标签的特征向量（Labeled point） 分布式矩阵 1. 本地向量和矩阵 本地向量（Local Vector）存储在单台机器上，索引采用0开始的整型表示，值采用Double类型的值表示。Spark MLlib中支持两种类型的矩阵，分别是密度向量（Dense Vector）和
-
发表了文章 2015-09-02
Spark修炼之道（基础篇）——Linux大数据开发基础：第八节：网络管理
本节主要内容 ifconfig命令 网络配置 其它常用网络管理命令 1. ifconfig命令 ifconfig命令主要用于配置网络接口，如果不加任何参数，则ifconfig命令用于查看当前所有活动网络接口的状态信息，例如： 图中的eth0表示活动的以太网接口，对应的描述信息中给出了网络的整体状况信息包括网络类型、MAC地址、IP地址、子网掩码等等，lo表示本地环回
-
发表了文章 2015-09-02
Spark修炼之道（基础篇）——Linux大数据开发基础：第七节：进程管理
本节主要内容 进程管理简介 进程管理常用命令 计划任务 1. 进程管理简介 （1）进程概念 进程是操作系统中非常重要的一个概念，进程是程序的执行过程，相对于程序，进程是动态的，在linux系统中，它与用户权限相关，程序与进程并没有一一对应，一个程序可能对应多个进程，例如： //ps命令列出当前所有对应当前用户的活动进程 xtwy@ubuntu:~$ ps
-
发表了文章 2015-08-25
Spark修炼之道（基础篇）——Linux大数据开发基础：第六节：vi、vim编辑器（二）
本节主要内容 缓冲区的使用 文件的存盘与读盘 文本查找 文本替换 作者：周志湖 微信号：zhouzhihubeyond 网名：摇摆少年梦 1. 缓冲区的使用 在利用vim进行文本编辑时，编辑修改后的文本不会立即保存到硬盘上，而是保存在缓冲区中，如果没有把缓冲区里的文件存盘，原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中，在进行文本编辑时，修
-
发表了文章 2015-08-25
Spark修炼之道（基础篇）——Linux大数据开发基础：第五节：vi、vim编辑器（一）
本节主要内容 vim编辑器的三种模式 移动光标 输入模式 修改文本 作者：周志湖 微信号：zhouzhihubeyond 网名：摇摆少年梦 1. vi编辑器的三种模式 学会使用vi编辑器是学习linux系统的必备技术之一，因为一般的linux服务器是没有GUI界面的，linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linu
-
发表了文章 2015-08-24
Spark修炼之道系列教程预告
课程内容 Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲） Spark修炼之道（进阶篇）——Spark入门到精通（30讲） Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲） Spark修炼之道（高级篇）——Spark源码解析（50讲） 部分内容会在实际编写时动态调整，或补充、或删除。 Spark修炼之道（基础篇）—
-
发表了文章 2015-08-23
Spark修炼之道（基础篇）——Linux大数据开发基础：第四节：Linux文件系统（二）
本节主要内容 访问控制列表ACL 链接 压缩和归档文件 其他日常管理实用程序 1. 访问控制列表ACL 在实际使用使用过程中，可能linux系统自身权限控制不能满足要求，还需要进一步细化，此时可以用ACL（ Access Control List ）进行，它主要提供 owner,group,others 的 read,write,execute 权限之外的细部权限配置
-
发表了文章 2015-08-23
Spark修炼之道（基础篇）——Linux大数据开发基础：第三节：用户和组
本节主要内容 理解用户和组的概念 用户管理 组管理 权限分配 1. 理解用户和组的概念 在第一讲中我们提到，linux是一种多任务、多用户的操作系统，在讲ls -l命令行我们看到如下文件详细信息： root@ubuntu:/home/xtwy# ls -l total 48 drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31
-
发表了文章 2015-08-23
Spark修炼之道（基础篇）——Linux大数据开发基础：第二节：Linux文件系统、目录（一）
本节主要内容 如何获取帮助文档 Linux文件系统简介 目录操作 访问权限 1. 如何获取帮助文档 在实际工作过程当中，经常会忘记命令的使用方式，例如ls命令后面可以跟哪些参数，此时可以使用man命令来查看其使用方式，例如 //man命令获取命令帮助手册 xtwy@ubuntu:~$ man ls 可以使用键盘上的 来显示下一行或上一行命令，也可以使用
-
发表了文章 2015-08-21
Spark修炼之道（基础篇）——Linux大数据开发基础：第一节、Linux介绍、安装及使用初步
本节主要内容 Linux简史 Linux系统整体介绍 Ubuntu Linux安装 Linux使用初步 1. Linux简史 要讲述大名鼎鼎的Linux，必然要先从UNIX系统谈起，下面这幅图给出了Unix系统的进化图： 图片来源：http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92H
-
发表了文章 2015-08-19
Scala书籍推荐
现有的Scala书箱包括： Programming In Scala。Scala创建者Martin Ordersky等的大作，是最权威的Scala入门书箱，不过书中讲解的Scala版本有点老，这本书整体给我的感觉还可以，只是有些例子举得感觉不适合初学者。这部大作有中文版，但翻译得真实太烂，ZTMD烂。 Scala In Action. 一般来讲，In Action系列的书
-
发表了文章 2015-08-18
Scala入门到精通——第一节 Scala语言初步
本节主要内容 Scala简介 为什么要学习Scala Scala语言初步 1. Scala简介 Scala(Scala Language的简称)语言是一种能够运行于JVM和.Net平台之上的通用编程语言，既可用于大规模应用程序开发，也可用于脚本编程，它由由Martin Odersk于2001开发，2004年开始程序运行在JVM与.Net平台之上，由于其简洁、优雅、类型
-
发表了文章 2015-08-17
Scala入门到精通——第二十九节 Scala数据库编程
本节主要内容 Scala Maven工程的创建 Scala JDBC方式访问MySQL Slick简介 Slick数据库编程实战 SQL与Slick相互转换 本课程在多数内容是在官方教程上修改而来的，官方给的例子是H2数据库上的，经过本人改造，用在MySQL数据库上，官方教程地址：http://slick.typesafe.com/doc/2.1.0/sql-to-sl
-
发表了文章 2015-08-16
Scala入门到精通——第二十八节 Scala与JAVA互操作
本节主要内容 JAVA中调用Scala类 Scala中调用JAVA类 Scala类型参数与JAVA泛型互操作 Scala与Java间的异常处理互操作 1. JAVA中调用Scala类 Java可以直接操作纵Scala类，如同Scala直接使用Java中的类一样，例如： //在Person.scala文件中定义Scala语法的Person类 package cn.
-
发表了文章 2015-08-15
Scala入门到精通——第二十七节 Scala操纵XML
本节主要内容 XML 字面量 XML内容提取 XML对象序列化及反序列化 XML文件读取与保存 XML模式匹配 1. XML 字面量 XML是一种非常重要的半结构化数据表示方式，目前大量的应用依赖于XML，这些应用或利用XML作为数据交换格式，或利用XML进行文件配置等。像JAVA、C++及其它流行的程序开发语言都是依赖于第三方库来实现XML的操作，例如JAVA经常通
-
发表了文章 2015-08-15
Scala入门到精通——第二十六节 Scala并发编程基础
作者：摇摆少年梦 视频地址：http://www.xuetuwuyou.com/course/12 本节主要内容 Scala并发编程简介 Scala Actor并发编程模型 react模型 Actor的几种状态 Actor深入使用解析 1. Scala并发编程简介 2003 年，Herb Sutter 在他的文章 “The Free Lunch Is Over
-
发表了文章 2015-08-15
Scala入门到精通——第二十五节 提取器（Extractor）
作者：摇摆少年梦 视频地址：http://www.xuetuwuyou.com/course/12 本节主要内容 apply与unapply方法 零变量或变量的模式匹配 提取器与序列模式 scala中的占位符使用总结 1. apply与unapply方法 apply方法我们已经非常熟悉了，它帮助我们无需new操作就可以创建对象，而unapply方法则用于析构出
-
发表了文章 2015-08-13
Scala入门到精通——第二十四节 高级类型 （三）
作者：摆摆少年梦 视频地址：http://blog.csdn.net/wsscy2004/article/details/38440247 本节主要内容 Type Specialization Manifest、TypeTag、ClassTag Scala类型系统总结 在scala中，类(class)与类型(type)是两个不一样的概念。我们知道类是对同一类型数
-
发表了文章 2015-08-10
Scala入门到精通——第二十二节 高级类型 （一）
作者：摇摆少年梦 视频地址：http://www.xuetuwuyou.com/course/12 本节主要内容 this.type使用 类型投影 结构类型 复合类型 1. this.type使用 class Person{ private var name:String=null private var age:Int=0 def setName
-
发表了文章 2015-08-09
Scala入门到精通——第二十一节 类型参数（三）-协变与逆变
作者：摇摆少年梦 视频地址：http://www.xuetuwuyou.com/course/12 本节主要内容 协变 逆变 类型通匹符 1. 协变 协变定义形式如：trait List[+T] {} 。当类型S是类型A的子类型时，则List[S]也可以认为是List[A}的子类型，即List[S]可以泛化为List[A]。也就是被参数化类型的泛化方向与参数类
-
发表了文章 2015-08-08
Scala入门到精通——第二十节 类型参数（二）
本节主要内容 Ordering与Ordered特质 上下文界定（Context Bound） 多重界定 类型约束 1. Ordering与Ordered特质 在介绍上下文界定之前，我们对scala中的Ordering与Ordered之间的关联与区别进行讲解，先看Ordering、Ordered的类继承层次体系： 通过上面两个图可以看到,Ordering混入了ja
-
发表了文章 2015-08-07
Scala入门到精通——第十九节 隐式转换与隐式参数（二）
作者：摇摆少年梦 配套视频地址：http://www.xuetuwuyou.com/course/12 本节主要内容 隐式参数中的隐式转换 函数中隐式参数使用概要 隐式转换问题梳理 1. 隐式参数中的隐式转换 前一讲中，我们提到函数中如果存在隐式参数，在使用该函数的时候如果不给定对应的参数，则编译器会自动帮我们搜索相应的隐式值，并将该隐式值作为函数的参数，这里
-
发表了文章 2015-08-05
Scala入门到精通——第十八节 隐式转换与隐式参数（一）
本节主要内容 隐式转换简介 隐式转换函数 隐式转换规则 隐式参数 1. 隐式转换简介 在scala语言当中，隐式转换是一项强大的程序语言功能，它不仅能够简化程序设计，也能够使程序具有很强的灵活性。要想更进一步地掌握scala语言，了解其隐式转换的作用与原理是很有必要的，否则很难得以应手地处理日常开发中的问题。 在scala语言中，隐式转换是无处不在的，只不过scal
-
发表了文章 2015-08-04
Scala入门到精通——第十六节 泛型与注解
本节主要内容 泛型(Generic Type）简介 注解（Annotation）简介 注解常用场景 1. 泛型(Generic Type）简介 泛型用于指定方法或类可以接受任意类型参数，参数在实际使用时才被确定，泛型可以有效地增强程序的适用性，使用泛型可以使得类或方法具有更强的通用性。泛型的典型应用场景是集合及集合中的方法参数，可以说同java一样，scala中泛型无
-
发表了文章 2015-08-03
Scala入门到精通——第十七节 类型参数（一）
本节主要内容 类型变量界定(Type Variable Bound) 视图界定（View Bound) 上界（Upper Bound）与下界（Lower Bound） 1. 类型变量界定(Type Variable Bound) 类型变量界定是指在泛型的基础上，对泛型的范围进行进一步的界定，从而缩下泛型的具体范围，例如： //下面的类编译通不过 //因为泛型T
-
发表了文章 2015-08-01
Scala入门到精通——第十五节 Case Class与模式匹配（二）
本节主要内容 模式匹配的类型 for控制结构中的模式匹配 option类型模式匹配 1. 模式的类型 1 常量模式 object ConstantPattern{ def main(args: Array[String]): Unit = { //注意，下面定义的是一个函数 //函数的返回值利用的是模式匹配后的结果作为其返回值 //还
-
发表了文章 2015-08-01
Scala入门到精通——第十四节 Case Class与模式匹配（一）
本节主要内容 模式匹配入门 Case Class简介 Case Class进阶 1. 模式匹配入门 在java语言中存在switch语句，例如： //下面的代码演示了java中switch语句的使用 public class SwitchDemo { public static void main(String[] args) { for(i
-
发表了文章 2015-07-28
Scala入门到精通——第十三节 高阶函数
本节主要内容 高阶函数简介 Scala中的常用高阶函数 SAM转换 函数柯里化 部分应用函数 1. 高阶函数简介 高阶函数主要有两种：一种是将一个函数当做另外一个函数的参数（即函数参数）；另外一种是返回值是函数的函数。这两种在本教程的第五节 函数与闭包中已经有所涉及，这里简单地回顾一下： （1）函数参数 //函数参数，即传入另一个函数的参数是函数 //((
-
发表了文章 2015-07-26
Scala入门到精通——第十二节 I/O与正则表达式
本节主要内容 Scala I/O操作简介 Scala 写文件 Scala 读文件 Scala 网络I/O 正则表达式简介 Scala正则表达式实战 1. Scala I/O操作简介 I/O操作是一门编程语言中的重要内容，在Scala中，它更多的是调用java中的I/O类或者通过对java中的I/O类进行相应的封装来实现I/O操作。在上一节内容中我们已经用到了I/O操作
-
发表了文章 2015-07-26
Scala入门到精通——第十一节 Trait进阶
本节主要内容 trait构造顺序 trait与类的比较 提前定义与懒加载 trait扩展类 self type 1 trait构造顺序 在前一讲当中我们提到，对于不存在具体实现及字段的trait，它最终生成的字节码文件反编译后是等同于java中的接口，而对于存在具体实现及字段的trait，其字节码文件反编译后得到的java中的抽象类，它有着scala语言自己的实现方式
-
发表了文章 2015-07-25
Scala入门到精通——第十节 Scala类层次结构、Traits初步
本节主要内容 Scala类层次结构总览 Scala中原生类型的实现方式解析 Nothing、Null类型解析 Traits简介 Traits几种不同使用方式 1 Scala类层次结构 Scala中的类层次结构图如下： 来源:Programming in Scala 从上面的类层次结构图中可以看到，处于继承层次最顶层的是Any类，它是scala继承的根类，scal
-
发表了文章 2015-07-25
Scala入门到精通——第九节 继承与组合
主要内容 类的继承 构造函数执行顺序 方法重写 匿名类 多态与动态绑定 组合与继承的使用 1 类的继承 下类的代码演示了scala类的继承 //Person类 class Person(name:String,age:Int){ } //Student继承Person类 class Student(name:String,age:Int,var studen
-
发表了文章 2015-07-23
Scala入门到精通——第八节 包和引入
本节主要内容 包的作用与定义 包的作用域与引入（import）的使用方法 访问控制 包对象 import高级特性 内部类 包的作用与定义 同java中的包、C++中的命名空间一样，Scala中的包主要用于大型工程代码的组织同时也解决命名冲突的问题。Scala中的包与java有着诸多的相似之处，但Scala语言中的包更加灵活。 //将代码组织到cn.scala.
-
发表了文章 2015-07-22
Scala入门到精通——第七节：类和对象（二）
本节主要内容 单例对象 伴生对象与伴生类 apply方法 应用程序对象 抽象类 单例对象 在某些应用场景下，我们可能不需要创建对象，而是想直接调用方法，但是Scala语言并不支持静态成员，Scala通过单例对象来解决该问题。单例对象的创建方式如下： object Student { private var studentNo:Int=0; def uni
-
发表了文章 2015-07-22
Scala入门到精通——第六节：类和对象（一）
本节主要内容 1 类定义、创建对象 2 主构造器 3 辅助构造器 类定义、创建对象 //采用关键字class定义 class Person { //类成员必须初始化，否则会报错 //这里定义的是一个公有成员 var name:String=null } Person类在编译后会生成Person.class文件 利用javap -prviate P
-
发表了文章 2015-07-21
Scala入门到精通——第五节 函数与闭包
本节主要内容 （一）函数字面量（值函数） （二）匿名函数 （三）函数的简化 （四）函数参数 （四）闭包 函数字面量（值函数） 函数字面量（function literal），也称值函数（function values），指的是函数可以赋值给变量。 一般函数具有如下形式： 而函数字面量具有如下形式： /* 函数字面量 function lit
-
发表了文章 2015-07-21
Scala入门到精通——第四节 Set、Map、Tuple、队列操作实战
本节主要内容 mutable、immutable集合 Set操作实战 Map操作实战 Tuple操作实战 队列操作实战 栈操作实战 mutable、immutable集合 以下内容来源于scala官方文档： http://www.scala-lang.org/docu/files/collections-api/collections.html Scala co
-
发表了文章 2015-07-20
Scala入门到精通——第三节 Array、List
本节主要内容 数组操作实战 列表List操作实战 数组操作实战 1 定长数组 //定义一个长度为10的数值数组 scala> val numberArray=new Array[Int](10) numberArray: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0) //定义一个长度为10的String类
-
发表了文章 2015-07-19
Scala入门到精通—— 第二节Scala基本类型及操作、程序控制结构
本节主要内容 Scala基本类型 基本类型操作 Scala程序控制结构 Scala基本类型 Scala中的基本数据类型如下图： （来源：Programming in Scala） 从上表中可以看出，Scala的基本数据类型与Java中的基本数据类型是一一对应的，不同的是Scala的基本数据类型头字母必须大写，本节以Int、Long、String、Char、Doub
-
发表了文章 2015-07-18
SparkSQL（Spark-1.4.0)实战系列（三）——SparkSQL应用案例
本节主要内容 数据准备 案例实战 数据准备 将实验数据Date.txt、Stock.txt、StockDetail.txt(hadoop fs -put /data /data）上传到HDFS上，如下图所示 Date.txt格式如下： //Date.txt文件定义了日期的分类，将每天分别赋予所属的月份、星期、季度等属性 //日期，年月，年，月，日，周几，
-
发表了文章 2015-07-17
SparkSQL（Spark-1.4.0)实战系列（二）——DataFrames进阶
本节主要内容如下 DataFrame与RDD的互操作实战 不同数据源构建DataFrame实战 DataFrame与RDD的互操作实战 1 采用反映机制进行Schema类型推导（RDD到DataFrame的转换） SparkSQL支持RDD到DataFrame的自动转换，实现方法是通过Case类定义表的Schema，Spark会通过反射机制读取case class的
-
发表了文章 2015-07-15
SparkSQL（Spark-1.4.0)实战系列（一）——DataFrames基础
主要内容 本教程中所有例子跑在Spark-1.4.0集群上 DataFrames简介 DataFrame基本操作实战 DataFrames简介 本文部分内容译自https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html
-
发表了文章 2015-07-14
Spark-1.4.0集群搭建
主要内容 Ubuntu 10.04 系统设置 ZooKeeper集群搭建 Hadoop-2.4.1集群搭建 Spark 1.4.0集群搭建 假设已经安装好Ubuntu操作系统 Ubuntu 10.04设置 1.主机规划 主机名 IP地址 进程号 SparkMaster 192.168.1.103 ResourceManager Dat
-
发表了文章 2015-07-13
hadoop-2.2.0集群上运行Hive 0.13 出错的解决方案
集群配置 IP地址 主机名 运行进程 192.168.1.104 cluster04 QuorumPeerMain(ZooKeeper进程） Master（Spark Master进程） DataNode JournalNode ResourceManager（Yanr资源管理器） NodeManager Worker 192.168.1.10
-
发表了文章 2015-07-11
Scala-IDE Eclipse（Windows)中开发Spark应用程序，在Ubuntu Spark集群上运行
在进行实际的Spark应用程序开发时，常常会利用Window环境进行程序开发，开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行，本教程教将一步一步地教大家如何进行该操作。本教程主要内容如下： Window开发环境说明 Spark集群运行环境说明 Scala IDE For Eclipse中Spark程序开发 利用spark-s
暂无更多信息
-
发表了文章
2016-09-08
《Scala开发快速入门》书籍出版
-
发表了文章
2016-06-26
Akka并发编程——第八节：Actor模型（七）
-
发表了文章
2016-06-26
Akka并发编程——第七节：Actor模型（六）
-
发表了文章
2016-06-03
Akka并发编程——第六节：Actor模型（五）
-
发表了文章
2016-04-02
Akka并发编程——第五节：Actor模型（四）
-
发表了文章
2016-04-02
Akka并发编程——第四节：Actor模型（三）
-
发表了文章
2016-04-02
Akka并发编程——第三节：Actor模型（二）
-
发表了文章
2016-04-02
Akka并发编程——第二节：Actor模型(一）
-
发表了文章
2016-04-01
Akka框架——第一节：并发编程简介
-
发表了文章
2016-02-05
Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark SQL案例实战（一）
-
发表了文章
2015-12-31
Spark修炼之道（进阶篇）——Spark入门到精通：第九节 Spark SQL运行流程解析
-
发表了文章
2015-12-30
Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)
-
发表了文章
2015-12-28
Spark修炼之道（高级篇）——Spark源码阅读：第十二节 Spark SQL 处理流程分析
-
发表了文章
2015-12-21
Spark Shuffle模块——Suffle Read过程分析
-
发表了文章
2015-12-03
Spark修炼之道（进阶篇）——Spark入门到精通：第十六节 Spark Streaming与Kafka
-
发表了文章
2015-12-02
Spark修炼之道（进阶篇）——Spark入门到精通：第十五节 Kafka 0.8.2.1 集群搭建
-
发表了文章
2015-11-30
Spark修炼之道（进阶篇）——Spark入门到精通：第十四节 Spark Streaming 缓存、Checkpoint机制
-
发表了文章
2015-11-29
Spark修炼之道（进阶篇）——Spark入门到精通：第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming
-
发表了文章
2015-11-29
Spark修炼之道（进阶篇）——Spark入门到精通：第十二节 Spark Streaming—— DStream Window操作
-
发表了文章
2015-11-25
Spark修炼之道（进阶篇）——Spark入门到精通：第十一节 Spark Streaming—— DStream Transformation操作
滑动查看更多
暂无更多信息
暂无更多信息