专访日志易创始人陈军:大数据时代,日志搜索唯快不破

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

“世界上唯一不变的,就是一切都在变化。”

当今世界,唯变不变。面对源源不断的挑战,以什么来支撑经济和社会的持续发展?几乎所有的企业家、决策者与科学家都会选择创新,一波创新浪潮正席卷而来。

日志易创始人陈军(左)接受CIO时代APP记者采访 摄影/于丽娜

在这个创新的时代浪潮中,有这样一位创业家引领着中国大数据日志分析市场,他便是北京优特捷信息技术有限公司(以下简称“日志易”)创始人兼CEO陈军。

结束=起点?何尝不是换种活法

9年前,一通大洋彼岸的猎头电话让39岁的陈军毅然决定回国,结束了长达12年的硅谷修行。

众所周知,硅谷是全球创新、创业和科技企业的聚集地,从计算机时代到互联网 时代,再到如今的共享经济时代,硅谷始终引领着世界创新潮流。在这里,有些人成功,有些人失败,有些人扼腕叹息,可以说,“硅谷创新模式”是不可复制的。在硅谷互联网行业摸爬滚打12年的陈军表示,硅谷被誉为全球科技创新的“圣地”,其最大的特点便是技术创新及人才流动,硅谷的人才流动性很强,而自己却并没有顺应市场潮流。在硅谷工作期间,陈军并未像其他人一样,经常换工作,相对比较稳定。

陈军向记者讲述其工作经历 摄影/于丽娜

与硅谷相比,中国的创新氛围也越来越浓,从最初的商业模式创新逐渐向科技创新转变。2009年深圳的科技发展已如火如荼,陈军便在此时选择回到深圳加入腾讯。在他眼中,一方面因为深圳是一个非常有活力的城市,一个移民城市,这与硅谷十分相似,深圳的人才也是来自国内各地、五湖四海。另一方面,腾讯是一个非常有活力的公司,员工相对年轻,公司管理比较扁平化,效率很高,特别是做事效率,这方面较硅谷而言是有过之而无不及。3年后陈军被挖到高德地图任职高级副总裁,在他眼中,北京同样是一个科技氛围十分浓厚的城市。陈军认为,如果说中国与硅谷最接近的地方,非北京和深圳莫属,特别是北京的中关村有大量的高科技公司。

所谓追求,皆源于热爱

1970年出生于广东的陈军,受成长环境的影响,从小便对计算机有着浓厚的兴趣。陈军回忆道,他6岁便开始接触旧式的计算机打孔纸片,7岁开始在母亲的指导下学习“二进制”。对此,他向记者强调,母亲是他的计算机启蒙老师,对后来个人从事计算机这一行业带来了很大的帮助。

陈军向记者讲述其创业经历 摄影/于丽娜

1998年,陈军从美国南加州大学毕业,随后加入思科负责路由器软件开发工作,为他日后创立日志易创造了条件,打下了基础。

2006年,陈军加入谷歌做网页搜索。陈军向记者描述,印象最深的便是“每天要爬100多亿网页”,上班第一件事就是查看前一天爬取的网页处理错误信息,用MapReduce写程序来分析统计日志里的异常情况。如果有未知错误出现,又得重新写程序、调试,耗时且效率低下。

2009年,陈军回到腾讯,在数据中心部门围绕云计算继续从事日志处理工作。在日志处理过程中,仍需要自己写程序来分析日志。

2012年,陈军转战高德地图。他向记者透露,当时每天都需要分析地图用户的行为日志,进行各种统计分析,使用的是Hadoop,即基于MapReduce的开源框架,分析起来还是不够方便。另一种方法是用搜索引擎处理日志,直接用搜索引擎搜索日志,非常方便,无需写Hadoop程序,实时性较强,日志从产生到可以搜索分析出结果可能仅仅在一分钟之内,甚至几秒钟。陈军强调,用搜索引擎来处理日志是一种新的突破性技术。因此,他希望能利用新的技术来处理日志。

2014年,基于一直以来对计算机的热爱和二十年来深度的行业积淀,陈军创立了日志易。

创新牵头,首创中国日志搜索服务

如今,日志无处不在且非常重要,记录着很多系统中用户的重要信息。而在过去,日志大多不被重视,散落在各台服务器,问题出现后,工程师才登录生产服务器查看。目前,越来越多的公司意识到日志的重要性,将日志集中管理起来,使得用户直接在日志集中管理平台上查看日志,进行各种关联分析。陈军向记者解释道,日志其实只是一个通俗的说法,按照学术/技术性的说法,应该称之为时间序列机器数据,它是机器产生的,带时间戳。不仅仅是IT设备产生日志,物联网、各种传感器也会产生大量的时间序列机器数据,这些数据在未来具有更加广阔的应用前景。网络设备、服务器、操作系统、应用程序每时每秒都会源源不断地产生日志,日志记录了系统的信息、业务的信息、用户的行为信息,“日志易”则是将日志的价值挖掘出来,运用在运维监控、安全审计、实时业务分析以及物联网上。

提及日志易搜索平台,陈军多次向记者强调,日志易属于IT运维分析 ,IT运维分析是将大数据技术运用在IT运维产生的数据上,他将日志易特点总结为以下三个方面:

第一,实时性强。日志从产生到搜索分析出结果可能只有几秒钟的延时。

第二,数据量大。大指的是“Big Data”,实时性强是实时大数据,即“Fast Big Data”,不仅数据量大,而且速度还要快。

第三,非常灵活。日志易是一个搜索引擎,用户可以搜索日志的任何字段,同时,用户的使用门槛也比较低。在分析方面,日志易实现了搜索处理语言SPL(Search Processing Language),比普通用户用的搜索引擎更进一步,可在搜索框里写SPL脚本程序进行各种统计分析,甚至机器学习。SPL脚本程序类似于SQL,但比SQL更加强大灵活,可以写几十行甚至上百行的SPL脚本程序。因此,日志易是一个在搜索框里可编程的实时日志搜索分析平台,非常强大灵活。

创业不易,人才与进取需兼得

日志易自2014年成立至今,作为创业者,陈军觉得创业本身是一件艰难的事。硅谷有一本书叫《创业维艰》(The Hard Thing About Hard Things),难中之难的事情。创业过程中会遇到各种各样的困难,但克服这些困难,便可以创造价值,个人本身也能获得成长。时代在变,企业若想立于不败之地,一方面需要紧跟时代的潮流,不断学习新的技术,不断总结。另一方面需引入人才。陈军向记者强调,在招贤纳士的过程中,聪明、勤奋这两条是他最看重的,由于技术在不断变化,只有足够聪明、足够好学、足够勤奋的人,才能不断跟着技术的发展学习新的技术。

日志易正直合作进取的企业文化 摄影/于丽娜

与此同时,企业文化作为企业不可或缺的一部分,陈军对此也颇为重视,“正直、合作、进取”是他常挂在嘴边的三个关键词。在他眼中,正直首先是要做一个正直的人,合作是团队的紧密合作,进取是指要有积极向上的创业心态。平时,陈军身体力行,带领员工一直践行这样的企业文化,将企业文化落实在每一天的工作和行动上。

莫忘初心,征程尚远未来可期

在这个变化的时代,每个人都有可能成为主角,企业也不例外。企业在创新的过程中也需不断迭代,与未来同行。作为企业掌舵者的陈军,更是不忘密切关注新的动向,包括技术的动向和行业的变化,以及大数据、人工智能与创业方面的前沿热点。

在未来,数据将变得更加重要,各种各样的信息都记录在数据中,因此,如何将数据的潜在价值挖掘出来便显得十分迫切。陈军认为,数据未来的发展方向有两个方面,一个是更加全面,各种各样海量的数据都需要记录保存,通过机器学习、人工智能将其价值挖掘出来。另一个是不同数据之间需进行关联分析。在此背景下,企业也要非常注重数据结果导向、市场导向、客户导向,实行绩效主义,用数据说话,所有的业务都要数字化。

日志易办公环境 摄影/于丽娜

日志易所获荣誉 摄影/于丽娜

在陈军眼中,似乎一切可塑,前提是要不断学习,密切关注行业变化。未来的征途无论星辰,还是大海,总归值得期待。

人物档案

陈军,1970年出生于广东,日志易创始人&CEO,美国南加州大学计算机硕士,前高德地图技术副总裁,曾任职Cisco、Google、腾讯等国际知名公司,拥有20年IT及互联网研发管理经验,在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验,发明了4项网络及分布式系统美国专利。





本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
32 4
|
1月前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
22 3
|
1月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
37 1
|
1月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
25 1
|
1月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
35 0
|
4天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
86 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
30天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
188 3
|
3月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
129 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1611 14
|
26天前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
25 0
下一篇
无影云桌面