世上本没有数:正解大数据

简介:
招商银行前行长马蔚华推荐:“ 涂子沛先生的《数据之巅》通过追溯梳理美国的数据历史、展望人类的数据未来 ,给中国社会提出了一个数据时代的新命题——如何构建数据文化?本书引人入胜、发人深思,是不可不读的好书。”。

节标题"世上本没有数:正解大数据"

传统意义上的“数据”,是指“有根据的数字”,数字之所以产生,是因为人类在实践中发现,仅仅用语言、文字和图形来描述这个世界是不精确的,也是远远不够的。例如,有人问“姚明有多高”,如果回答说“很高”、“非常高”、“最高”,别人听了,只能得到一个抽象的印象,因为每个人对“很”、“非常”有不同的理解,“最”也是相对的,但如果回答说“2.26米”,就一清二楚。除了描述世界,数据还是我们改造世界的重要工具。人类的一切生产、交换活动,可以说都是以数据为基础展开的,例如度量衡、货币的背后都是数据,它们的发明和出现,都极大地推动了人类文明的进步。

数据最早来源于测量,所谓“有根据的数字”,是指数据是对客观世界测量结果的记录,而不是随意产生的。测量是从古至今科学研究最主要的手段,可以说,没有测量,就没有科学;也可以说,一切科学的本质都是测量。就此而言,数据之于科学的重要性,就像语言之于文学、音符之于音乐、形色之于美术一样,离开数据,就没有科学可言。

除了测量,新数据还可以由老数据经计算衍生而来。测量和计算都是人为的,也就是说,世上本没有数,一切数据都是人为的产物。我们说的“原始数据”,并不是“原始森林”这个意义上的“原始”,原始森林是指天然就存在的,而原始数据仅仅是指第一手的、没有经过人为修改的数据。

传统意义上的数据,和信息、知识也是完全不同的概念:数据是信息的载体,信息是有背景的数据,而知识是经过人类的归纳和整理,最终呈现规律的信息。


但进入信息时代之后,“数据”二字的内涵开始扩大:不仅指代“有根据的数字”,还统指一切保存在电脑中的信息,包括文本、图片、视频等。其中的原因是,20世纪60年代软件科学取得了巨大进步、发明了数据库,此后,数字、文本、图片都不加区分地保存在电脑的数据库中,数据也逐渐成为“数字、文本、图片、视频”等的统称,也即“信息”的代名词。

文本、音频、视频本身就已经是信息,而且其来源也不是对世界的测量,而是对世界的一种记录,所以信息时代的数据又多了一个来源:记录。


注:进入信息时代之后,数据成为信息的代名词,两者可以交替使用。一封邮件虽然包含很多条信息,但从技术的角度出发,可能还是“一个数据”,就此而言,现代意义上的数据的范畴,其实比信息还大。

除了内涵的扩大,数据库发明之后,还出现了另外一个重要现象,那就是数据的总量在不断增加,而且增加的速度不断加快。

20世纪80年代,美国就有人提出了“大数据”的概念。这个时候,其实还没有进入数据大爆炸的时代,但有人预见到,随着信息技术的进步,软件的重要性将下降,数据的重要性将上升,因此提出“大数据”的概念。这时候的“大”,如“大人物”和“大转折”之“大”,主要指价值上的重要性;到了21世纪前10年,尤其是2004年社交媒体产生之后,数据开始爆炸,大数据的提法又重新进入大众的视野并获得了更大的关注。这个时候的“大”,含义也更加丰富了:一是指容量大,二是指价值大。

从这个角度出发,大数据可以首先理解为传统的小数据加上现代的“大记录”,这种大记录的主要表现形式是文本、图片、音频、视频等,和传统的测量完全是两回事。而且大数据之所以“大”,主要是“大记录”的增长,基于信息技术的进步,人类记录的范围在不断扩大:

大数据=传统的小数据(源于测量)+现代的大记录(源于记录)

但到底多大才算大呢?针对这一问题,十多年来争议颇多。这首先涉及衡量数据大小的单位,2000年的时候,一般认为,“太”(T)级别的数据就是大数据了,当时拥有“太”级别数据的企业并不多,但自此之后,互联网企业开始崛起,这些企业拥有各种各样的数据,其中大部分都是文本、图片和视频,其数据量之大,传统企业根本无法望其项背。


我认为,不仅仅是互联网行业,其实各行各业的数据都在爆炸,只是规模不同。如果仅仅把大数据的标准限定在互联网企业,认为只有互联网企业才拥有大数据,那就严重窄化了大数据的意义。毕竟容量只是表象,价值才是本质,而且大容量并不一定代表大价值,大数据的真正意义还在于大价值,价值主要是通过数据的整合、分析和开放而获得。大数据是指人类有前所未有的能力来使用海量的数据,在其中发现新知识、创造新价值,从而为社会带来“大知识”、“大科技”、“大利润”和“大智能”等发展机遇。

以上论述,是从概念上分析“数据”和“大数据”的区别,而掌握一个概念最好的方法,还是从动态上了解其成因。大数据的成因,还是人类信息技术的进步,而且是信息技术领域不同时期多个进步交互作用的结果,其中最重要的原因,当数摩尔定律。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
机器学习/深度学习
YOLOv8改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
YOLOv8改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
938 1
|
存储 程序员 C语言
C语言变量命名规则
C语言变量命名规则
1486 0
|
11月前
|
敏捷开发 人工智能 数据可视化
双向式任务反馈工具实战解析:从部署到高效运转的落地经验
在团队协作中,任务反馈常因通道不畅导致项目延误或质量失控。双向式任务反馈工具通过即时、精准、可追溯的反馈机制,实现任务闭环管理,提升协作效率与执行力。
|
JSON 监控 供应链
深度实操:京东商品详情API接入全流程与技术要点剖析
京东商品详情API接口用于获取商品基础信息(标题、价格、库存状态、用户评价等),支持单个或多个商品查询。适用于商品列表展示、竞品分析、价格监控、库存管理、营销活动和数据分析等场景。通过发送HTTP请求(GET/POST)调用接口,服务器返回JSON格式数据,可使用Python等语言解析处理。示例代码中展示了如何用requests库调用API并获取商品详情。
|
机器学习/深度学习 人工智能 搜索推荐
AI训练师入行指南(五):模型评估
本文从珠宝鉴定类比出发,探讨AI模型从训练到优化的全流程。首先介绍模型评估的四大核心指标:准确率、精确率与召回率、F1-Score及AUC-ROC,帮助明确模型性能。接着分析阈值调节、正则化与集成学习等调优方法的实际应用,如支付宝动态人脸识别和腾讯金融风控系统。此外,针对GPT-4o、Stable Diffusion和滴滴ETA模型的具体案例,展示参数微调与审美争议解决策略。最后提供避坑指南,强调数据泄漏、过拟合和冷启动问题的应对之道,总结模型评估应以商业价值、伦理规范和用户体验为导向,确保AI模型真正成为“智能珍宝”。
978 0
|
安全 前端开发 Java
基于SSM+MVC三层架构实现用户权限管理系统
基于SSM+MVC三层架构实现用户权限管理系统
993 0
基于SSM+MVC三层架构实现用户权限管理系统
|
数据采集 缓存 测试技术
性能测试中,除了迭代次数,还有哪些因素会影响测试结果?
性能测试中,除了迭代次数,还有哪些因素会影响测试结果?
580 2
|
IDE Java 应用服务中间件
如何检查并解决类路径中的类库版本冲突问题
类路径中的类库版本冲突可能导致应用运行异常。解决方法包括:1. 使用依赖管理工具(如Maven、Gradle)检查依赖树,找出冲突的库;2. 调整依赖版本或排除特定版本;3. 清理缓存,重新构建项目。
866 2
|
存储 缓存 前端开发
聊聊公众号联动扫码登录功能如何实现
【10月更文挑战第30天】公众号联动扫码登录功能的实现涉及前端、后端与微信平台的交互。前端设计二维码展示区和轮询机制,后端负责生成二维码、处理微信推送、用户身份验证及登录。整个过程需确保数据交互安全顺畅,提升用户体验。
682 1
|
SQL 分布式计算 数据处理
Structured Streaming和Flink实时计算框架的对比
本文对比了Structured Streaming和Flink两大流处理框架。Structured Streaming基于Spark SQL,具有良好的可扩展性和容错性,支持多种数据源和输出格式。Flink则以低延迟、高吞吐和一致性著称,适合毫秒级的流处理任务。文章详细分析了两者在编程模型、窗口操作、写入模式、时间语义、API和库、状态管理和生态系统等方面的优劣势。