thinkgamer.cn
thinkgamer.cn_个人页
thinkgamer.cn
文章
237
问答
0
视频
0
个人介绍
wechat 搜索【数据与算法联盟】，专注于云计算和算法，目前就职于京东
擅长的技术
-
发表了文章 2015-11-14
hdfs之快照的学习
HDFS快照是文件系统的只读的实时的拷贝，可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份，对用户错误的保护和灾难恢复。HDFS的快照实现是高效的： 快照的创建时瞬间完成的，排除查找inode的时间，需要花费O(1)，即常数时间。
-
发表了文章 2015-11-13
Python 类属性的理解
一：类的属性包括 1：实例属性 2：类属性 3：私有属性 例子： (1)：以双下划线开头标志的字符 class A: def __init__(self): self.
-
发表了文章 2015-10-23
Mahout学习之聚类算法Kmeans
一：kMeans算法介绍 聚类分析是一种静态数据分析方法，常被用于机器学习，模式识别，数据挖掘等领域。通常认为，聚类是一种无监督式的机器学习方法，它的过程是这样的：在未知样本类别的情况下，通过计算样本彼此间的距离（欧式距离,马式距离，汉明距离，余弦距离等）来估计样本所属类别。
-
发表了文章 2015-10-23
Mahout分类算法学习之实现Naive Bayes分类示例
1.简介 (1) 贝叶斯分类器的分类原理发源于古典概率理论，是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。朴素贝叶斯分类器(Naive Bayes Classifier)做了一个简单的假定：给定目标值时属性之间相互条件独立，即给定元组的类标号，假定属性值有条件地相互独立，即在属性间不存在依赖关系。
-
发表了文章 2015-10-18
CURL常用命令
下载单个文件，默认将输出打印到标准输出中(STDOUT)中 curl http://www.centos.org 通过-o/-O选项保存下载的文件到指定的文件中： -o：将文件保存为命令行中指定的文件名的文件中 -O：使用URL中默认的文件名保存文件到本地 1 # 将文件下载到本地并命名为mygettext.
-
发表了文章 2015-10-11
Mahout学习之命令行创建序列文件
一：命令行转换 创建新的工作目录 mkdir lastfm mkdir ./lastfm/original export WORK_DIR=/home/thinkgamer/document/lastfm cd $WORK_DIR 自己准备一个数据集放在original文件夹下,例如将点击打开链接下边的数据保存在synthetic_control.
-
发表了文章 2015-10-11
Mahout学习之运行canopy算法错误及解决办法
一：将Text转换成Vector序列文件时 在Hadoop中运行编译打包好的jar程序，可能会报下面的错误： Exception in thread "main" java.lang.
-
发表了文章 2015-10-09
Mahout聚类算法学习之Canopy算法的分析与实现
3.1 Canopy算法3.1.1 Canopy算法简介 Canopy算法的主要思想是把聚类分为两个阶段：阶段一，通过使用一个简单、快捷的距离计算方法把数据分为可重叠的子集，称为“canopy”；阶段二，通过使用一个精准、严密的距离计算方法来计算出现在阶段一中同一个canopy的所有数据向量的距离。
-
发表了文章 2015-10-07
《机器学习实战》kMeans算法（K均值聚类算法）
============================================================================================ 《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Pyth...
-
发表了文章 2015-10-07
《机器学习实战》二分-kMeans算法（二分K均值聚类）
===================================================================== 《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记也包含一些其他python实现的机器学习算法 ...
-
发表了文章 2015-10-06
关于Python多线程的理解
多线程和多进程是什么自行google补脑 对于python 多线程的理解，我花了很长时间，搜索的大部份文章都不够通俗易懂。所以，这里力图用简单的例子，让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代，操作系统处理问题都是单任务的，我想做听音乐和看电影两件事儿，那么一定要先排一下顺序。
-
发表了文章 2015-10-06
搜索引擎：文本分类——TF/IDF算法
原理 TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TFIDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF反文档频率(Inverse Document Frequency)。
-
发表了文章 2015-09-30
Scikit Learn: 在python中机器学习
Warning 警告：有些没能理解的句子，我以自己的理解意译。 翻译自：Scikit Learn:Machine Learning in Python 作者: Fabian Pedregosa, Gael Varoquaux 先决条件 Nump...
-
发表了文章 2015-09-28
python模拟登录网易邮箱
python模拟登录网易邮箱 #coding:utf-8 import urllib2,urllib import cookielib from bs4 import BeautifulSoup #设置代理IP proxy_support = urllib2.
-
发表了文章 2015-09-28
python模拟浏览器登录人人网，并使用代理IP和发送表单数据
Python模拟登录人人网，并使用代理IP #__author__ = 'Administrator' #encoding=utf-8 import urllib2,urllib import cookielib from bs4 import BeautifulSoup #登录的url hosturl = "http://www.
-
发表了文章 2015-09-24
Python异常处理机制
Python和java相比，同样拥有强大的异常处理机制，下面让我们一起来看看Python是如何处理异常的 1，try...except.... eg1: a,b=1,0 try: a/b except: print "ERROR" print “END” o...
-
发表了文章 2015-09-23
python模拟用户登录某某网
python模拟用户登录某某网： #encoding:utf-8 import urllib2,cookielib import re #在网页登陆成功后的cookies字符串 cookie="|utmccn=(referral)|utmcmd=...
-
发表了文章 2015-09-09
MySQL学习笔记之约束条件
约束条件： PRIMARY KEY(主键) NOT NULL(非空) AUTO_INCREMENT(自增长) UNIQUE(值唯一) FOREING KEY(外键) DEFAULT(默认值) ...
-
发表了文章 2015-09-09
MySQL学习笔记之启动停止与登录，显示相关信息
1、MySQL的启动与停止 net start/stop mysql 退出MySQL命令行界面\q (exit) 2、登录 连接本机： mysql -umysql所属用户名 -p密码 [-h用户名] [-p端口号] [--prompt...
-
发表了文章 2015-09-08
CSDN博客分类系统的分析与实现
一：爬虫爬取csdn博客各个系列的博文和标签 在这里只给出主要代码： #coding:utf-8 #第一部分：得到首页博客专家各个系列链接 #=======================================================...
-
发表了文章 2015-09-02
MySQL学习笔记之数据类型详解
注：以下内容针对MySQL5.0及以上版本 MySQL的数据类型非常多，选择正确的数据类型对于获得高性能至关重要，本文是我结合网上看到的一些blog加上《高性能MySQL》一书上的内容整理而成的。
-
发表了文章 2015-08-29
Python分词模块推荐：jieba中文分词
一、结巴中文分词采用的算法 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法 ...
-
发表了文章 2015-08-27
python爬虫爬取csdn博客专家所有博客内容
python爬虫爬取csdn博客专家所有博客内容： 全部过程采取自动识别与抓取，抓取结果是将一个博主的所有 文章存放在以其名字命名的文件内，代码如下 #coding:utf-8 import urllib2 from bs4 import BeautifulSoup im...
-
发表了文章 2015-08-27
MapReduce 按照Value值进行排序输出
文件输入： A 1 B 5 C 4 E 1 D 3 W 9 P 7 Q 2 文件输出： W 9 P 7 B 5 C 4 D 3 Q 2 E 1 A 1 代码如下： package comparator; import java.
-
发表了文章 2015-08-24
eclipse 运行MapReduce程序错误异常汇总(解决Map not fount)
错误一： Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not foundat org.
-
发表了文章 2015-08-22
《机器学习实战》基于朴素贝叶斯分类算法构建文本分类器的Python实现
============================================================================================ 《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Pyt...
-
发表了文章 2015-08-22
python 字典排序
引子 字典，形如 dic = {'a':1 , 'b':2 , 'c': 3},字典中的元素没有顺序，所以dic[0]是有语法错误的。并且不可以有重复的键值，所以 dic.add['c'] = 4后，字典变成 {'a':1 , 'b':2 , 'c': 4}.
-
发表了文章 2015-08-19
Python随机数生成方法
如果你对在Python生成随机数与random模块中最常用的几个函数的关系与不懂之处，下面的文章就是对Python生成随机数与random模块中最常用的几个函数的关系，希望你会有所收获，以下就是这篇文章的介绍。
-
发表了文章 2015-08-19
hive1.2伪分布mysql数据库配置详解
hadoop2.6伪分布配置：http://blog.csdn.net/gamer_gyt/article/details/46793731 hive1.2 derby元数据库配置：http://blog.
-
发表了文章 2015-08-18
HBase的JAVA API操作详解
hbase 伪 分 布 安 装参考：http://blog.csdn.net/gamer_gyt/article/details/47126961 hbase shell操作命令参考：http://blog.
-
发表了文章 2015-08-18
数据挖掘数据集下载资源
在网上看到很好的资源收集，分享给大家： 1、气候监测数据集 http://cdiac.ornl.gov/ftp/ndp026b 2、几个实用的测试数据集下载的网站 http://www.
-
发表了文章 2015-08-15
《机器学习实战》决策树(ID3算法)的分析与实现
============================================================================================ 《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Pyt...
-
发表了文章 2015-08-12
【大创_社区划分】——PageRank算法MapReduce实现
PageRank算法的分析和Python实现参考：http://blog.csdn.net/gamer_gyt/article/details/47443877 举例来讲： 假设每个网页都有一个自己的默认PR值，相当于人为添加给它是一种属性，用来标识网页的等级或者重要性，从而依据此标识达到排名目的。
-
发表了文章 2015-08-12
【大创_社区划分】——PageRank算法的解析与Python实现
一、什么是pagerank PageRank的Page可是认为是网页，表示网页排名，也可以认为是Larry Page(google 产品经理)，因为他是这个算法的发明者之一，还是google CEO（^_^）。
-
发表了文章 2015-08-11
Python爬取CSDN博客专家系列——移动开发
注明：小编亲测，只要把第一部分里面的url修改，即可抓取博客专家里边所有的专家的博客内容和标题，后续小编还会对此代码改进，敬请期待 文章分为两部分：Python爬虫爬取移动开发专家的姓名和博客首页地址，爬取每个专家的所有博客存放在已该专家名字命名的txt文件中 说明：本爬虫主要是采用B...
-
发表了文章 2015-08-11
《机器学习实战》k最近邻算法(K-Nearest Neighbor,Python实现)
============================================================================================ 《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Pyt...
-
发表了文章 2015-08-11
Python中的列表、元祖、字典
一、列表 一组有序项目的集合。可变的数据类型【可进行增删改查】 列表是以方括号“[]”包围的数据集合，不同成员以“,”分隔。 列表中可以包含任何数据类型，也可包含另一个列表 列表可通过序号访问其中成员 常用列表操作： list.
-
发表了文章 2015-08-07
MapReduce框架排序和分组
前言： Mapreduce框架就是map->reduce,其中Map中的是偏移量和行值，在其之前会使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。
-
发表了文章 2015-08-07
MapReduce框架Partitioner分区方法
前言：对于二次排序相信大家也是似懂非懂，我也是一样，对其中的很多方法都不理解诶，所有只有暂时放在一边，当你接触到其他的函数，你知道的越多时你对二次排序的理解也就更深入了，同时建议大家对wordcount的流程好好分析一下，要真正的知道每一步都是干什么的。
-
发表了文章 2015-08-07
MapReduce框架Mapper和Reducer类源码分析
一：Mapper类 在Hadoop的mapper类中，有4个主要的函数，分别是：setup，cleanup，map，run。代码如下： protected void setup(Context context) throws IOException, InterruptedEx...
-
发表了文章 2015-08-06
MapReduce 二次排序详解
1 首先说一下工作原理： 在map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。
-
发表了文章 2015-08-04
hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装
一、hadoop2.6伪分布安装请参考：http://blog.csdn.net/gamer_gyt/article/details/46793731二、pig0.15安装 Pig的介绍 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译 器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
-
发表了文章 2015-08-03
Ubuntu系统下eclipse配置mapreduce插件常见错误和解决办法汇总
在上篇文章中eclipse已经能访问HDFS目录( blog.csdn.net/gamer_gyt/article/details/47209623)，但并不能进行Mapreduce编程，在这里小编将常见错误和处理办法进行总结，希望对大家有所帮助 错误1：ERROR [main] util.
-
发表了文章 2015-08-02
hive中的表、外部表、分区和桶的理解
一、概念介绍 Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据 Hive 中的 Table 和数据库中的 Table 在概念上是类似的，每一个 Table 在 Hive 中都有一个相应的目录存储数据。
-
发表了文章 2015-08-02
windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
一、环境介绍 宿主机：windows8 虚拟机：Ubuntu14.04 hadoop2.6伪分布：搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731 Eclipse：eclipse-jee-luna-SR2-win32-x86_64 二、准备阶段 网上下载hadoop-eclipse-plugin-2.
-
发表了文章 2015-08-02
动态规划算法
一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。 二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。
-
发表了文章 2015-08-01
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException
使用MapReduce编写的中文分词程序出现了 Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 这样的问题如图： 上网查了好多资料，才明白这是hadoop本身的问题，具体参考： https://issues.
-
发表了文章 2015-08-01
《图论》——最短路径 Dijkstra算法(戴克斯特拉算法)
十大算法之Dijkstra算法： 最短路径是图论算法中的经典问题。图分为有向图、无向图，路径权值有正值、负值，针对不同的情况需要分别选用不同的算法。在维基上面给出了各种不同的场景应用不同的算法的基本原则：最短路问题。
-
发表了文章 2015-07-31
IK Analyzer 和 lucene结合使用
特别注意：版本问题（IK Analyzer的版本中注意各个版本的细微区别，小编就是栽在IK Analyzer2012_U5 和IK Analyzer2012FF上了） 版本匹配： 1、IK Analyzer 2012_U5 支持的是 lucene 3.2-3.6版本 2、IK Analyzer2012 FF（你问啥是FF，其实就是For 4.0，在API和功能上保持不变，只是让其支持了Lucene4.0和Solr4.0，让这部分的用户能用起来。
-
发表了文章 2015-07-31
《图论》——深度优先搜索算法(DFS)
十大算法之广度优先遍历： 深度优先搜索遍历类似于树的先序遍历。假定给定图G的初态是所有顶点均未被访问过，在G中任选一个顶点i作为遍历的初始点，则深度优先搜索递归调用包含以下操作： （1）访问搜索到的未被访问的邻接点； （2）将此顶点的visited数组元素值置1； （3）搜索该顶点的未被访问的邻接点，若该邻接点存在，则从此邻接点开始进行同样的访问和搜索。
暂无更多信息
-
发表了文章
2018-03-26
推荐系统的一些思考
-
发表了文章
2018-02-04
Scala 解析 XML
-
发表了文章
2018-02-04
Spark求统计量的两种方法
-
发表了文章
2018-01-30
云栖社区ID(我的搬家邀请码：IMIZB)：https://yq.aliyun.com/u/thinkgamer
-
发表了文章
2018-01-25
Spark多路径输出和二次排序
-
发表了文章
2018-01-23
Spark提交参数说明和常见优化
-
发表了文章
2017-12-14
梯度算法之批量梯度下降，随机梯度下降和小批量梯度下降
-
发表了文章
2017-11-20
异常检测之指数平滑（利用elasticsearch来实现）
-
发表了文章
2017-11-07
回归分析之Sklearn实现电力预测
-
发表了文章
2017-09-29
回归分析之线性回归（N元线性回归）
-
发表了文章
2017-09-20
几种距离计算公式在数据挖掘中的应用场景分析
-
发表了文章
2017-09-17
回归分析之理论篇
-
发表了文章
2017-09-01
数据归一化和其在sklearn中的处理
-
发表了文章
2017-08-29
异常检测之正态分布
-
发表了文章
2017-07-25
K-means 聚类算法的理解与案例实战
-
发表了文章
2017-07-16
MachingLearning中的距离和相似性计算以及python实现
-
发表了文章
2017-07-13
Scrapy 爬取百度贴吧指定帖子的发帖人和回帖人
-
发表了文章
2017-07-05
推荐算法的回顾总结
-
发表了文章
2017-04-06
使用filebeat进行数据加密传输和区别不同的日志源
-
发表了文章
2017-04-06
__str__ returned non-string (type int)
滑动查看更多
暂无更多信息
暂无更多信息