11+大数据行业应用实践请见
https://yq.aliyun.com/activity/156
,同时这里还有流计算、机器学习、性能调优等技术实践。
此外,通过
Maxcompute及其配套产品
,低廉的大数据分析仅需几步,详情访问
https://www.aliyun.com/product/odps
;更多精彩内容参见
云栖社区大数据频道
:
https://yq.aliyun.com/big-data
。
启信宝的核心功能包括搜索引擎、企业链图、关系族谱、企业监控、企业舆情以及企业信用报告等。启信宝目前支持APP、网页以及微信三种不同版本,另外还提供API调用方式。客户主要面向个人客户和企业客户,目前个人用户数已达到800万以上,企业客户以金融行业为主。
启信宝的大数据平台挑战
启信宝作为一家以大数据为核心竞争力的公司,借助大数据为客户降低执业风险、经营风险、投资风险和借贷风险,为客户提供数据解决方案以进行精准营销、拓客展业,为客户借贷管理、投资理财提供决策依据。主要面临的挑战为:
1.高时效性。作为一家成立时间较短的企业,为了不断满足客户新的需求以及提升客户体验,并快速确立市场领先地位,产品的迭代需要非常快速,基本上三周以内会迭代一次,而且通过每一次的迭代在数据上、挖掘上都需要有一些可以打动客户的亮点,这就要求采用的大数据平台能够满足时效性的需要。
2.低成本。作为创业公司,不仅对时效性有很高要求,成本也是重要的考量因素,需要以采用的大数据平台能够支撑快速、高效、低成本的产品迭代。
3.数据处理量巨大、对数据变化的实时性要求高。目前,启信宝仅日志数据的数据量已达到TB级别,每天会对日志数据进行几十个任务的调度处理来进行日志分析。另外,舆情方面的数据实时性要求较高,需要实时处理及更新并能够实时进行内容多维查询和统计分析。
4.可扩展性。作为一家数据公司,需要大数据平台能够应对未来极有可能发生的的数据量的爆发式增长,架构可伸缩,弹性的满足需要,避免不必要的IT费用。另外,未来启信宝将会在大数据采集和挖掘上持续发力,在企业信用信息展示的前提下,同时注重挖掘企业背后的舆情信息及商业关系,这就需要大数据平台的功能可扩展,既可以满足数据采集处理、可视化报表展示、多维分析等基本需求,也可以满足预测分析、机器学习及人工智能等方面的高阶分析需求。
5.数据融合工作的复杂性。启信宝的数据来源非常丰富,因此需要跟周边各种数据源打通。举个例子,有些大数据项目真正进行开发算法、模型的时间会很短,大概一两天左右就可以完成,但这往往仅为“冰山一角”,实际上,由于数据兼容性问题,数据准备工作异常繁杂,可能会用到一周甚至更长的时间。难怪最近纽约时报惊呼:“数据科学家把高达 80%的时间用于数据准备而不是用来发现新的商业智能”。
启信宝的大数据平台方案
启信宝作为垂直企业信息搜索平台,立足于企业征信信息的披露,基于海量大数据,为泛金融、泛投资、泛法律和商务用户提供企业信息画像、风险管理、营销决策等可量化数据服务,以客户为中心,让数据说话,让商业更真实。启信宝基于阿里云数加平台进行数据的整理和分析。
- 主要数据来源:互联网采集的数据以及API调用的第三方的企业数据。
- 数据处理分析:应用数据采集到阿里云存储容器,通过数加平台进行二次加工处理,最终同步到阿里云存储容器中进行数据展现分析。
- 应用层:支撑企业图谱、企业监控、深度报告、搜索引擎等不同产品形态。
方案涉及的阿里云数加平台组件有:
- 大数据计算服务(MaxCompute)
- 大数据开发套件(DataIDE)
- 分析型数据库(AnalyticDB)
启信宝云平台选择思考
1. 阿里云数加和基础云服务平台的敏捷性很好的支撑了启信宝产品的快速迭代。启信宝的第一个版本微信版本于2015年5月初上线,到现如今启信宝已上线APP版、Web版,同时还支持API外接,业务也做了相应扩充,分别面向个人和企业客户,通过客户需求不断的推进和拓展,期间经历了大量的小版本迭代。目前,2C的业务,客户反馈较好、活跃度较高,反映在是使用时长等各方面;2B业务,结合行业应用场景以及启信宝自身数据,正在不断提供一些更好的行业解决方案。启信宝创始人金志浩说:“从2015年开始,启信宝伴随着阿里云一起高速发展,通过阿里云产品的使用,确实能帮我们节省很多时间,要不然我们全部自己搞定,时间周期太长,自建的话时效性根本跟不上。”
2. 使用阿里云数加,成本大大降低。“阿里云数加的整个数据处理流程非常完善;其次,我觉得这一块的成本会比较便宜,而且可以节省我们大量的人力,这也是很重要的一块;另外,售后技术服务周到快速也是我们选择阿里云数加的原因之一。”创始人金志浩谈到为什么选择阿里云数加时讲到。
3. 阿里云数加的按需付费模式以及产品功能完备性,使得启信宝对未来快速发展更具信心。阿里云完全满足启信宝未来数据吞吐量和可扩展性的需要,阿里云数加包含大数据基础服务、数据分析与展现、数据应用以及人工智能的大数据全链路产品,经过阿里内部锤炼和业务验证,可以支撑EB级数据海量处理。
4. 阿里云的大数据产品生态具有完备性和开放性两大特点,打破数据融合瓶颈,大大提升了产品开发效率。阿里云提供四通八达的数据传输交互服务,让数据不再成为孤岛,加速数据融合。