1秒10亿数据!阿里云日志服务再次升级

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

日前,在“2017杭州·云栖大会”上阿里云宣布,日志服务与Splunk打通合作,同时面向亿级实时日志分析功能上线。兼容SQL92标准与JDBC协议,集中解决各类环境日志一站式需求,包括采集、存储、投递与查询分析等,将日志分析提升到全新高度,达到国内领先水平。

日常生活中人和物的活动会产生大量的数据,而日志是一种常用记录这类活动的载体。通过日志处理,分析可以帮助我们通过大数据找到背后的运作规律,做到业务的智能运维和运营。日志分析最终是拿到结果,但过程中往往需要通过软件(例如kafka、ELK、Flume)等组合搭建日志处理系统,这给使用日志分析工作带来很多问题和困扰。而阿里云日志服务是一种无托管的方案,无需用户关心琐碎的数据采集、扩容、维护、错误处理等工作,将精力集中投入在“分析”结果上。

在国外云厂商方案中,一般需要通过几个产品连接+组合才能搭建日志处理方案。就如要开一辆车,得购买几个组件,在一些连接点上还需要写一些处理程序才能运行起来,在使用过程中需要到不同产品中关注水位,以确保服务可用性。阿里云日志服务提供的是完整的解决方案,整体易用性更佳。

据了解,阿里云日志服务商业化一年内大约推出30+新功能,同时也将日志分析提升到新的高度,具备以下几个特点:

  1. 快:传统方案从数据产生到拿到结果往往最快需要接近分钟。今天日志服务下的LogAnalytics功能够在1秒内,完成数据采集 + 存储 + 10亿查询 + 1亿计算所有功能,这就意味着日志分析实时性达到前所未有速度。
  2. 强:传统方案一般只支持有限的查询+聚合分析。但LogAnaltyics完整支持SQL 92语法,可以像分析报表数据一样分析你的日志。
  3. 广:除了与Docker、Storm、Spark Streaming、Hadoop、Hive、Presto + 阿里云大数据对接外,还支持了Grafana等著名开源数据可视化插件,方便与上层业务系统集成。
  4. 省:费用接近自建10%,就是这么任性。具体情况可以参见自建费用对比,
    阿里云日志服务负责人介绍,目前主要有三个功能:LogHub,LogShipper,LogAnalytics。其中LogHub使用成本与其他方案相比,能节省60%以上时间和费用,极大节省了日志系统的投入。而目前阿里云提供的LogShipper功能也可以免费使用,能为用户提供海量、高并发、高性价比的日志处理系统。如果采集公网上用户一天10 GB压缩后的数据,如果通过自建方案需要16元/天,而使用LogHub 只需要2元,大约为前者10%,且不需要任何运维上的投入。LogAnalytics在同样规模,性能条件下,价格是自建方案10%。例如一天写入50GB数据(其中27GB 为实际的内容),保存90天,平均一个月的耗费对比如下图:image

同样性能,使用LogSearch/Analytics与ELK(SSD)费用比为 13.6%。

阿里云日志产品使用起来也非常简单,主要分为两个步骤:一是接入日志数据;二是在控制台配置并进行分析。之后无论是对接实时计算,还是数仓,或仪表盘还是报警都非常方便。
image

据了解,该产品适合对日志处理、分析有需求的用户场景。例如电子商务,媒体直播,游戏,广告,IoT和App开发用户。这些场景上都有大量用户、设备产生的数据需要进行实时分析。而使用阿里云日志产品,则能更快更省更好地处理分析。

想了解更多阿里云日志产品,欢迎点击www.aliyun.com/product/sls。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
12天前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
|
14天前
|
SQL 存储 缓存
日志服务 SQL 引擎全新升级
SQL 作为 SLS 基础功能,每天承载了用户大量日志数据的分析请求,既有小数据量的快速查询(如告警、即席查询等);也有上万亿数据规模的报表级分析。SLS 作为 Serverless 服务,除了要满足不同用户的各类需求,还要兼顾性能、隔离性、稳定性等要求。过去一年多的时间,SLS SQL 团队做了大量的工作,对 SQL 引擎进行了全新升级,SQL 的执行性能、隔离性等方面都有了大幅的提升。
|
2月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
163 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
1月前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
131 9
|
2月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
3月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
100 3
|
3月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
51 2
|
3月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
日志服务数据加工最佳实践: 多子键为数组的复杂JSON加工
程序构建的日志经常会以一种统计性质的JSON格式写入, 通常其包含一个基础信息, 以及多个子健为数组的形式. 本篇如何使用日志服务数据加工处理多子键为数组的复杂JSON.
1105 0
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
496 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

相关产品

  • 日志服务