nieson_个人页

机器学习——支持向量机SVM在R中的实现

支持向量机是一个相对较新和较先进的机器学习技术，最初提出是为了解决二类分类问题，现在被广泛用于解决多类非线性分类问题和回归问题。继续阅读本文，你将学习到支持向量机如何工作，以及如何利用R语言实现支持向量机。 支持向量机如何工作？ 简单介绍下支持向量机是做什么的： 假设你的数据点分为两类，支持向量机试图寻找最优的一条线（超平面），使得离这条线最近的点与其他类中的点的距

KNN算法对新上市汽车评估分析

应用IBM SPSS Statistic 的最近邻元素分析模型(NNA)对汽车厂商预研车型进行市场评估。分析新车型的技术指标是否达标，预测新车型投放市场后的预期销售额。 4.1 研究背景 某汽车制造厂商研发了一款新车型，为了提升影响力，提高收益产出比，在投入市场之前希望能够对市场进行考核，增加两项技术设计指标，通过对已有的相关数据和技术指标进行对比，从而通过验证来检验新车型的技术指标是

案例：电信用户分群精准画像

决策树应用于电商行业用户细分精准画像的案例 1、业务问题背景 某省电信运营商e8套餐（宽带+固话）升级e9（宽带+固话+手机）的主要业务目标为针对e8客户加装电信C网号码并购买手机，升级为e9融合套餐或e9自主套餐用户。即，通过电信的自身的宽带客户资源，进行精准电话营销，促使用户购买手机，从而提升电信在手机市场的占有率。 2、数据理解：e8升e9的数据理解

数据挖掘训练题

单选题1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)A. 关联规则发现       B. 聚类C. 分类               D. 自然语言处理2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A)  (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。  (b)描述有多少比例的小偷给警察抓了的标准。A. Prec

用Excel利用RFM模型进行客户细分

背景： 一个会员服务的企业，有近1年约1200个会员客户的收银数据。由于公司想针对不同类别不活跃客户进行激活促销；同时，为回馈重点客户，也计划推出一系列针对重点客户的优惠活动，希望保留这些客户，维持其活跃度。因此希望利用该数据进行客户分类研究。 根据客户的需求，RFM模型相对简单并且直接，按照R(Recency-近度）、F(Frequency-频度）和M（Monetary-额度

协同过滤算法介绍

在现今的推荐技术和算法中，最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。 1 什么是协同过滤 协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最

评分卡模型剖析（woe、IV、ROC、信息熵）

信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。        本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户；则WOE(weight of E

【机器学习】机器学习算法总结

       找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。 　　纵观IT行业的招聘岗位，机器学习

用R分析时间序列(time series)数据

用R分析时间序列(time series)数据 时间序列（time series）是一系列有序的数据。通常是等时间间隔的采样数据。如果不是等间隔，则一般会标注每个数据点的时间刻度。  下面以time series 普遍使用的数据 airline passenger为例。 这是十一年的每月乘客数量，单位是千人次。 如果想尝试其他的数据集，可以访问这里：  https:

大数据研究常用软件工具与应用场景

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。 工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。 然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具（甚至多种

数据挖掘算法之-关联规则挖掘(Association Rule)

在数据挖掘的知识模式中，关联规则模式是比较重要的一种。关联规则的概念由Agrawal、Imielinski、Swami 提出，是数据中一种简单但很实用的规则。关联规则模式属于描述型模式，发现关联规则的算法属于无监督学习的方法。 一、关联规则的定义和属性   考察一些涉及许多物品的事务：事务1 中出现了物品甲，事务2 中出现了物品乙，事务3 中则同时出现了物品甲和乙。

基础篇：数据挖掘的聚类算法和优势

文|十方 比较分类算法的话，大概考虑这几个维度：时间空间复杂度，鲁棒性，参数敏感性，处理不规则形状，适合的类数量，类间差异（范围大小，样本个数，形状差异） 可以参照一下sklearn网站给出的列表：2.3. Clustering 除了这些聚类方法以外，统计老师讲过一些传统的聚类方法，归属于系统聚类的范畴，先定义观测间的距离和类之间的距离计算方法

多重共线性问题的几种解决方法

    在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X1，X2，……，Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。     所谓多重共线性是

基于用户的协同过滤推荐算法原理和实现

      在推荐系统众多方法中，基于用户的协同过滤推荐算法是最早诞生的，原理也较为简单。该算法1992年提出并用于邮件过滤系统，两年后1994年被 GroupLens 用于新闻过滤。一直到2000年，该算法都是推荐系统领域最著名的算法。       本文简单介绍基于用户的协同过滤算法思想以及原理，最后基于该算法实现园友的推荐，即根据你关注的人，为你推荐博客园中其他你有可能

spss modeler 许可证到期的解决办法

1、选择临时许可证，可以免费使用14天 2、当14天到期时，删除C:\ProgramData\SafeNet Sentinel中的文件，再次选择临时许可证，即可继续使用14天   原理：\IBM\SPSS\Modeler\15\bin 里面的law.exe会生成一个临时程序wlsgracec1.exe，这个临时程序wlsgracec1.exe在c:\Users\All

社会网络分析法SNA

      社会网络分析法（Social Network Analysis）SNA       社会网络是社会行动者及他们之间关系的集合，行动者可以是个人、群体、组织乃至国家。关系是多方面的，有多种类型。由来自一个群体内行动者之间的关系构成的网络叫做1-模网络；两个群体的行动者之间的关系网叫做2-模网络；一个群体内的行动者参与多个社会团体构成的网络叫做隶属关系网。       由于关系

10款神奇的字符图案 & 词汇云生成工具

ImageChef 写一个评论或诗，并以心的形状或其他符号显示。送一个祝福或发布到 Facebook 或你的博客。   WordItOut 随机排布文字，创造出有吸引力的定位效果，最重要的文字，字号越大。   VocabGrabber VocabGrabber 分析你感兴趣的任何文本，生成列表的最有用的词汇并向你展示如何在上下文使用这些词语。   Wordle

AHP-层次分析法(C++源码，附详细注释和样例）

算法简介 AHP-层次分析法是数学建模中的常用算法，其适用于一批非常广泛的问题，综合来说，它是一个“层次权重决策分析方法”。客观地讲，它适用于一些有限制条件的决策选择问题: 1.    决策有限，且只从有限的候选决策里选择。 2.    决策的影响因素已知，因素的关系（包括隶属关系和优先级关系）已知 3.    因素的关系不论客观与否，要通过合理性校验，即必须

层次分析法

        层次分析法（Analytic Hierarchy Process，简称AHP）是将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。该方法是美国运筹学家匹茨堡大学教授萨蒂于20世纪70年代初，在为美国国防部研究"根据各个工业部门对国家福利的贡献大小而进行电力分配"课题时，应用网络系统理论和多目标综合评价方法，提出的一种

2014年阿里巴巴数据分析师实习生招聘笔试题

数据分析师成长之路-软件篇

数据分析师成长之路-软件篇  对于各式各样的数据统计分析软件，你了解多少呢？经过潜心搜集，整理，这里总结了一些软件的大体介绍及区别，欢迎大家指正和补充。 这里先略过Excel和Eviews这种入门软件的介绍，直接从SPSS开始吧！SPSS:傻瓜相机SPSS（Statistical Product and Service Solutions），“统计产品与服务解决方案

数据分析师面试题攻略

计算平均有哪些指标，各有哪些优缺点数值平均数有算术平均数、调和平均数、几何平均数等形式 位置平均数有众数、中位数、四分位数等形式 前三种是根据各单位标志值计算的，故称为数值平均值，后三种是根据标志值所处的.   相关分析和回归分析有什么关系 回归分析与相关分析的联系：研究在专业上有一定联系的两个变量之间是否存在直线关系以及如何求得直线回归方程等问题，需进行直线相关和回归分析。从研究的目的

CPDA项目数据分析师和CDA数据分析师有什么区别？

 CPDA项目数据分析师和CDA数据分析师有什么区别？ 这个问题也是经常问到的，这里我做一个详细的区分。关于CPDA，CPDA全名叫项目数据分析师，在国内做培训比较早，课程内容主要针对的是基于传统企业在投资管理领域的项目分析，类似MBA，以数据支持来进行业务层面的管理和分析，课程包括《量化投资》等知识内容，应该说投资类企业的管理层适合学习CPDA来进行管理层面的分析和指导。 关于CDA

Do You Know ETL ?

ETL是数据的提取、转换和加载； ETL是指获取原始大数据流，然后对其进行解析，并产生可用输出数据集的过程。从数据源中提取(E)数据，然后经过各种聚合、函数、组合的转换(T)，使其变为可用数据。最终数据会被加载(L)到对它进行具体分析的环境中。这就是ETL流程。 MapReduce是一种并行的编程架构，它不是数据库，而是对现有技术的补充。 MapReduce里内置了两个主要的处理

数据挖掘十大经典算法

国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.  不仅仅是选中的十大算法，其实参加评选的18种

深入理解SQL的四种连接-左外连接、右外连接、内连接、全连接

本篇文章是深度解析了SQL中的四种连接-左外连接、右外连接、内连接、全连接，进行了详细的分析介绍。 1、内联接（典型的联接运算，使用像 =  或 <> 之类的比较运算符）。包括相等联接和自然联接。     内联接使用比较运算符根据每个表共有的列的值匹配两个表中的行。例如，检索 students和courses表中学生标识号相同的所有行。       2、外联接

Mysql与cmd不得不说的秘密

1、从cmd中进入MySQL的命令界面 1.开始中找出运行:输入cmd2.查找appserv所在盘，我的在D盘，所以接着输入：d:3.在d盘中查找mysql所在目录:cd appserv\mysql\bin4.再输入主机名、数据库名、密码:mysql -h localhost -u root -p5.最后输入数据库密码 2、 忘记MySQL的密码怎么办？

数据挖掘150道试题 学会你也具有专业能力

一、 单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小

9、spss做交叉表检验和对应分析

前边我们已经讲过很多内容了。回顾一下，主要有相关分析，假设检验，和各种回归。以及因子分析。我们知道，对于两组连续变量，我们可以通过假设检验来判断他们的分布是否相同，差异时候存在。不知道大家想过没有，如果我们想讨论两个分类变量的分布是否相同呢？这里我们首先来讨论这个问题。 首先举个例子，假设我们有两个不同季节的某种卫生的是否达标的记录。那么我们就是有两组二分类的变量（就是取值不是这

5、spss做加权最小二乘回归及岭回归

上一节我们讲到一般多元线性回归的操作方法。本节要介绍的是多元线性回归的其他几种情况。包括适用于含有加权变量的加权最小二乘回归方程等。然后继续讨论上一节中没有讨论完毕的如何解决多重共线性这个问题。 讲加权最小二乘回归之前，我们首先还是举个例子。假设我们想考察全国三十一个省的某种疾病的发病率和每个省的面积，平均气温等的关系，那么我们知道，这三十一个省的人口肯定是不同的。而且差距还蛮大

4、spss做多元线性回归

回归一直是个很重要的主题。因为在数据分析的领域里边，模型重要的也是主要的作用包括两个方面，一是发现，一是预测。而很多时候我们就要通过回归来进行预测。关于回归的知识点也许不一定比参数检验，非参数检验多，但是复杂度却绝对在其上。回归主要包括线性回归，非线性回归以及分类回归。本文主要讨论多元线性回归（包括一般多元回归，含有虚拟变量的多元回归，以及一点广义差分的知识）。请大家不要觉得本人偷奸耍

3、SPSS做非参数检验

非参数检验是一个相当宏大的命题。由于实际情况的复杂多变，因此非参数检验包括了许多的各种各样的检验方法。之前我们提过，参数检验的使用条件是被检验的样本总体服从正态分布，而非参数检验的使用条件自然就是总体不服从或不确定是否服从正态分布。（实际上，这里要特别说明一下，尽管非参数检验的使用条件更宽松，但是考虑到精确性，不是特殊要求的话，我们还是尽可能的使用均值检验。） 比较常见的单样本非

2、spss做均值比较分析

上一篇文章我们分享了如何用spss做相关性分析，主要包括双变量相关分析，偏相关分析，以及比较偏门的距离相关分析。其中双变量相关分析又包括三种不同的分析方法。如果忘了的可以回去看一下哈。这次我们来一起学习另一个比较基础的分析方法，均值比较分析。 均值比较分析也是一种基础的分析手段，我们通过基础方法来看出数据中隐含的规律。只有明确了这些规律，在后边的高级分析中才能起到事半功倍的效果。

1、spss中做相关分析

     相关分析是很基础的一种分析方法，接触spss的同学很快就会学习到想相关分析。虽然他很基础，但是在做很多高级分析之前，都要进行相关分析。这篇问文章就系统的和大家分享一下spss里如何做相关分析。      在spss中相关分析主要分为三大类，分别是双变量相关分析，偏相关分析和距离相关分析。      1、双变量相关分析主要研究两个变量数量之间的相关性。它又

水晶易表 Xcelsius 2008 安装指南 完美支持office2010

Xcelsius2008水晶易表是一款非常好用的软件。网上已经有破解方法，大家可以尝试一下这款经典软件了。 但是网上对于安装破解过程介绍的不具体或者纷乱，今天我汇总了所有的方法终于成功的安装上了，并且支持office2010.(默认只支持到office2007） 下面具体说下安装过程及注意事项。 1.在sap官方网站下载Xcelsius2008 30天试用版。

一位资深数据分析师的分享

一位资深数据分析师的分享 发表于 2012-05-08 01:10 来源：中国统计网 一、掌握基础、更新知识。      基本技术怎么强调都不过分。这里的术更多是（计算机、统计知识）， 多年做数据分析、数据挖掘的经历来看、以及业界朋友的交流来看，这点大家深有感触的。    数据库查询—SQL 数据分析师在计算机的层面的技能要求较低，主要是会SQL，因

如何用SPSS和Clementine处理缺失值、离群值、极值

一、什么是预处理、预分析？ 高质量数据是数据分析的前提和分析结论可靠性的保障。尽管在获取数据源时数据分析师格外谨慎，耗费大量的时间，但数据质量仍然需持续关注。不管是一手还是二手数据源，总是会存在一些质量问题。同时，为了满足数据分析、挖掘的实际需要，对噪声数据如何处理，是丢弃还是补充，或者重新计算新的数据变量，这些不是随意决定的，这就是数据预处理的一个过程，是在数据分析、挖掘开始前

如何为自己制作出一份优秀的简历

优秀简历与普通简历的区别

数据分析研发工程师职业技能和要求

数据分析研发工程师职业技能和要求 工作职责： 1、负责LBS数据分析体系建设 2、负责LBS业务分析平台建设，负责业务数据的提取、查询、处理、分析等工作； 3、负责LBS相关产品日常运营分析、输出相关运营、决策、分析数据 职位要求： -热爱互联网，对大数据处理和数据分析挖掘有浓厚的兴趣 -熟悉Java、Hadoop、Hive，能够使用Py

高级数据分析师

高级数据分析师+大型互联网公司+北京+25-45W; 岗位描述: 1、与业务部门一起建立用户数据体系，为管理层决策和用户策略提供有质量的数据支持； 2、通过数据监控能快速精准的发现问题，并通过深入分析与业务部门沟通解决； 3、针对应用场景，建立数据产出、评估、应用规则，并不断修正逻辑； 4、负责用户的数据采集，根据实际业务优化，并推动实现采集和ETL优化； 5、根据业务形态

结构方程模型(SEM)概述（1）

SEM概述     SEM是一般线性模型的扩展。它能使研究者同时检验一组回归方程。SEM软件不但能检验传统模型，而且也执行更复杂关系和模型的检验，例如，验证性因子分析和时间序列分析。 进行SEM分析的基本途径显示如下： 研究者首先基于理论定义模型，然后确定怎样测量建构，收集数据，然后输入数据到SEM软件中。软件拟合指定模型的数据并产生包括整体模型拟合统计量和参数估计的结

结构方程模型（SEM）的假设（2）

结构方程模型（SEM）的假设 合理的样本量SEM是一般线性模型灵活有力的扩展。像其它统计方法一样，需要一系列假设。这些假设应该满足或至少近似地保证有可信赖的结果。按 照James Stevens的社会科学的应用多变量统计的说法，一个好的经验法则是在标准普通最小二乘多重回归分析中每个因子有15个个案。因为SEM在某些方面与多 重回归紧密相关，SEM中每个测量变量15个个案是合

使用AMOS图形建立和检测模型（3）

使用AMOS图形建立和检测模型 EM——多重回归关系的说明 本质上，SEM 是带一个因变量（Y）的多重线性回归模型在多变量上的扩展: y = i + Xb + e 这里 y 是因变量上包含观测得分的向量， i 是表示y-截距的单位向量， X 是连续分布或分类（编码）自变量的矩阵， B 是回归权重向量， e 表示残差向量或误差或不能由模型解释的剩余得分。 SEM 由一系列

阿里巴巴校园招聘笔试（答案版）

1. 一架飞机在满油的情况下可以绕地球飞 0.5 圈，假设飞机与飞机之间可以互相加油，请问在确保所有飞机够油飞回起点的情况下，最少需要几架飞机才可以让其中一架飞机成功绕地球飞行一圈？ （提示1：地球是圆的！提示2：飞机可以重复使用！）  D A：3 B：4 C：5 D：6 E：7 2. 100 张多米诺骨牌整齐地排成一列，依顺序编号为 1、2、3、……、99、100

2014阿里巴巴校园招聘数据分析师职位笔试题目(答案版)

  选择题10道，问答题三道，分析题2道 　 一、选择题 　　1、 一下哪个属于离散变量（汽车变量） 　　水稻亩产量 家庭收入 商品价格 汽车产量 　　2、 卡方分布的样本方差分别是（2n） 　    　n 1 2n 4n 　　3、 有个人买彩票，中奖概率为1/10,每次花200元，连续买5次，如果中奖则奖金为1000元，问不赔钱的概率是多少

统计学基本统计分析

相关性分析 相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素的相关密切程度。相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。相关性不等于因果性，也不是简单的个性化，相关性所涵盖的范围和领域几乎覆盖了我们所见到的方方面面，相关性在不同的学科里面的定义也有很大的差异。 回归分析 回归分析（Regression Analysis）是一种统

weka –Apriori算法 关联规则挖掘实验

  一、Apriori算法参数含义 本次共进行了9组实验，使用了weka安装目录data文件夹下的contact-lenses.arff数据。     ToolsàArffViewer，打开contact-lenses，可以看到实验数据contact-lenses共有24条记录，5个属性值。具体内容如下：     结合实验结果阐释下列12个参数的含义 1.   

lindo与lingo软件有什么区别?

        LINDO和LINGO是美国LINDO系统公司开发的一套专门用于求解最优化问题的软件包。LINDO用于求解线性规划和二次规划问题，LINGO除了具有LINDO的全部功能外，还可以用于求解非线性规划问题，也可以用于一些线性和非线性方程(组)的求解，等等。LINDO和LINGO软件的最大特色在于可以允许优化模型中的决策变量是整数（即整数规划），而且执行

如何将电脑中的文件彻底清除干净

1.打开“我的电脑”－“工具”－“文件夹选项”－“查看”－在“显示所有文件和文件夹”选项前打勾－“确定” 2.先清理临时文件，因为这也占了一定的空间。并每日递增： x:\\Documents and Settings\\用户名\\Cookies\\下的所有文件（保留index文件） x:\\Documents and Settings\\用户名\\Local Settings\\Temp\

Gartner预测大数据分析人才将供不应求

     Gartner研究主管彼得·桑德加特(Peter Sondergaard)最近在奥兰多举行的Gartner专题研讨会/IT博览会上描绘的经济状况出人意料地非常乐观。　　Gartner今年年初曾修改了IT行业下降的预期。虽然Gartner现在没有显著提高全球IT增长预期，但是，它提出的相对持平的预期至少不适用于IT的一个细分市场：大数据劳动市场。　　据Gartner称，随着企业努力