开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
265
内容
0
活动
59
关注
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 Apache Tez

本文档主要介绍在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Tez。

716 0
|
运维 监控 安全
|

SLS告警响应升级——通知对接FC进行自动化操作

阿里云SLS告警响应升级,通知渠道新增了对函数计算的支持,从而可以在告警触发的时候进行一定的自动化响应操作,以便进行故障自愈,减轻手动运维压力,提高系统的可用性。

631 0
|
存储 运维 监控
|

深入解读等保2.0

本文主要介绍等保2.0的由来,等保2.0和1.0的区别,企业过等保的具体流程,手把手教你从等保小白变身等保专家。

4660 1
|
JSON 监控 机器人
|

详解Splunk新版模拟器SimData

SimData是一种从用户定义的模拟场景中生成模拟数据的工具。SimData不是简单地使用数据样本集来生成重复的模拟数据,而是通过模拟多个系统如何协同工作并互相影响,让用户依据现实世界的情况生成丰富而强大的事件集。具体来讲,SimData通过使具有强大表达能力的简单描述语言(Simple Description Language)来定义模拟逻辑,具有灵活、强大的建模能力。通过将模拟对象建模为实体,并支持模拟实体之间的简单和复杂交互,可以模拟复杂的现实场景。

860 0
|
SQL 存储 监控
|

ScheduledSQL告警配置

为了方便用户观察Scheduled SQL任务的执行情况,日志服务为Scheduled SQL增加了告警功能,本文主要向用户介绍如何开启Scheduled SQL告警,以及追踪任务的执行情况,方便用户及时发现异常情况。

503 0
|
JSON 编解码 监控
|

SLS告警重磅更新——让你的告警通知一目了然

SLS告警最近升级了通知的模板语法,在保持对原有模板语法兼容的情况下,增加了动态渲染的功能,不仅支持条件语句、循环语句等控制流,还内置了50+函数,可以非常方便地对数据进行各种处理,从而可以非常灵活方便地对通知内容进行定制,让通知内容呈现的效果更加丰富、内容一目了然。

1341 0
|
运维 监控
|

现代智能告警运维平台——SLS新版告警学习路径发布

SLS新版告警学习路径发布,汇集目前50+最佳实践的文档、文章和视频 (持续更新)

519 0
|
运维
|

储留香:一个运维系统就是一个神经系统,我说的!

运维系统可以像神经系统一样,首先,做到数据的统一汇总;其次,可以对数据进行识别筛选输出有效信息;再次,可以预先感知到异常风险,并进行有效规避。而日志服务SLS凭借出色的数据统一采集、智能分析告警、风险预测等能力,已经成为企业智能运维场景下不可或缺的神经系统。

679 0
|
存储 关系型数据库 MySQL
|

SLS数据加工——动态解析与分发日志实战

阿里云日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。本文为读者带来了数据加工动态解析与分发的最佳实践。

1135 0
|
弹性计算 JSON 监控
|

日志服务SLS开放告警接入云监控

阿里云的云监控服务用于监控阿里云资源和互联网应用,包括阈值告警和事件告警两种模式,支持配置多种告警通知渠道。您可以将日志服务开放告警配置为其中一个通知渠道,从而由日志服务告警系统完成告警降噪、静默等处理,并且接入包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道。

1119 0
|
监控 数据可视化 测试技术
|

SLS新版告警入门——告警管理编排交互

在之前的告警策略和行动策略相关的文章中,我们可以看到,为了配置各种策略逻辑,使用的都是类似的交互方式,即基于可视化图的表单。本文主要来介绍一下策略图相关的交互和配置。

672 0
|
监控 前端开发
|

SLS新版告警入门——行动策略

SLS新版本告警中,将通知相关的配置统一收拢,从而形成行动策略。行动策略用来管理通知的发送,例如以什么渠道、发送给谁、发送什么内容以及发送通知的时间限制等。通过配置行动策略,可以实现通知的复用,比如多个告警使用相同的行动策略进行通知发送。

923 0
|
弹性计算 安全 关系型数据库
|

阿里云产品在技术探索中的实践和思考

本文讲述了作者在使用阿里云产品进行技术探索的实践中,如何借助ECS、RDS、OSS、SLB和VPC构建高可用分布式系统。从最初的虚拟主机服务到全面的云服务,阿里云帮助解决了性能、负载均衡、数据存储和网络安全等问题。在面对性能优化、成本控制和安全管理的挑战时,作者通过监控、调整和采用安全措施确保了系统的高效运行。未来,作者将继续在云计算领域探索,利用AI、大数据及物联网技术驱动业务创新和增长。

626 0
|
存储 弹性计算 监控
|

利用阿里云云产品进行项目成本节约的实践

本文分享了利用阿里云降低成本的实践经验,主要通过选择合适的计费模式(如按量付费、包年包月和抢占式实例)、优化资源配置(弹性伸缩、资源监控与调整、适配存储方案)、利用优惠和成本管理工具(预留实例券、成本预警、优惠活动)以及案例分析,实现云计算成本的有效控制。通过这些策略,企业在保证灵活性和扩展性的同时,能更好地管理云服务成本,提高项目经济效益。

1144 4
|
存储 测试技术 Linux
|

存储稳定性测试与数据一致性校验工具和系统

LBA tools are very useful for testing Storage stability and verifying DATA consistency, there are much better than FIO & vdbench's verifying functions.

1802 0
|
运维 Devops 开发工具
|

bug怎样算修完,浅谈团队分布式bug管理 git-poison简单易用的bug管理工具

介绍基于go-git开发实现通用化的git-poison,通过分布式源码管理bug追溯、查询。

46791 16
|
存储 监控 Cloud Native
|

云存储生态构建的技术基因和最佳实践

Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

702 0
|
消息中间件 SQL 数据采集
|

EventBridge 生态实践:融合 SLS 构建一体化日志服务

本文将从 SLS 在 EventBridge上 的使用以及若干最佳实践场景等方面,为大家介绍如何基于 EventBridge 构建 SLS 相关应用。

604 0
|
存储 数据采集 弹性计算
|

一文详解K8s环境下Job类日志采集方案

K8s丰富的controller为分布式任务编排提供了极大的便利,然而任务的时长可能很短(如定时清理数据的任务),甚至有些任务因为一启动就运行失败出现秒退的情况,这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案,分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

897 0
|
Kubernetes 监控 索引
|

使用日志上下文聚合插件使能上下文查询及Livetail

日志上下文浏览是排查业务故障时常用的方式,但受限于Logtail插件系统的设计,在Logtail 1.2.1版本前,如果用户使用Logtail插件来处理日志或采集容器的标准输出,那么用户将无法使用上下文浏览及Livetail功能。为了解决这一问题,本文将重点介绍如何使用日志上下文聚合插件来使能上下文查询和Livetail功能。

13212 0
|
存储 SQL 数据采集
|

通过定时SQL提取阿里云API网关访问日志指标

阿里云API网关服务提供API托管服务,提供了强大的适配和集成能力,可以将各种不同的业务系统API实现统一管理。API网关同时支持将API访问日志一键存储到日志服务,通过日志服务强大的查询分析能力,用户可以针对访问日志自定义计算多种指标,监测服务运行情况。继而通过定时SQL将结果指标直接存储到时序库,直接查询API网关指标,而且可以通过较低成本长期存储指标数据。 下面我们一步步从头开始,学习如何利用日志服务监测API网关及其代理的服务。

824 0
|
存储 数据采集 人工智能
|

用积木讲运维,这样的IT人太会了

日志服务SLS提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。

673 0
|
存储 SQL JSON
|

[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结,有错误之处欢迎交流。

1061 2
|
机器学习/深度学习 SQL 弹性计算
|

在SLS上进行异常点的绘制

对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点

1535 1
|
SQL 存储 运维
|

SLS 2021年用户体验总结

本文主要作为对2021年SLS产品用户体验改进工作的总结,如您对于产品有任何的建议,可以通过文末的用户体验调研问卷向我们反馈。

759 1
|
文件存储 Windows
|

阿里云文件系统NAS SMB如何修改根目录权限

阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。

1039 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 CDH6

本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版,并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版,实现存储计算分离。

863 0
|
存储 分布式计算 运维
|

Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践

介绍Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践

838 0
|
存储 弹性计算 监控
|

日志审计多帐号采集方案升级--资源目录集成

阿里云SLS日志服务集成阿里云资源目录服务,支持跨账号实时自动化、中心化采集阿里云产品日志。

566 0
|
存储 运维 NoSQL
|

阿里云表格存储全面升级,打造一站式物联网存储新方案

阿里云表格存储全面升级,打造一站式物联网存储新方案

783 17
|
存储 消息中间件 运维
|

使用SLS Trace实现Jaeger的高可靠部署方案

Jaeger的高可用最核心的部分是Jaeger后端(包括Collector、Kafka、Flink、DB、Query、UI),我们最好的方式是寻找一个能够兼容Jaeger的后端系统,提供高可靠、高性能的能力。而SLS最近发布的Trace服务恰巧可以完美解决这个问题。SLS最大的一个特点就是高性能、弹性和免运维,让用户轻松应对激增流量或者规模评估不准确的问题,SLS服务本身提供99.9%的可用性以及11个9的数据可靠性。

1348 0
|
机器学习/深度学习 弹性计算 运维
|

一分钟完成ECS机器数据的智能巡检告警

对于运维的日常工作来说,服务器监控是必须且最基础的一项内容。在企业基础设施运维过程中,管理员必须能够掌握所有服务器的运行状况,以便及时发现问题,尽可能减少故障的发生。本次主要介绍如何使用智能巡检,帮助您快速完成机器(ECS)相关指标的监控,降低您设置告警的复杂规则和冗余的设置。

1027 0
|
存储 SQL 弹性计算
|

微信也能看账单——SLS成本管家新增微信订阅渠道

阿里云用户使用云资源的同时,成本是个不容忽视的问题。阿里云的计费方式有按量付费和包年包月。对于按量付费方式,手工对账单进行统计分析不仅耗费时间和精力,准确性也没办法保证。 阿里云日志服务的成本管家功能很好的解决了这个问题,将用户从低效的账单获取和整理工作中解放出来,提高账单分析效率。

1024 0
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

877 0
|
数据采集 中间件 Shell
|

一文了解常见的Python爬虫框架Scrapy

爬虫框架:Scrapy

1986 1
|
存储 数据采集 运维
|

日志服务(SLS)测评

在本次测评中,我将对日志服务SLS产品进行全面评估,主要从以下四个方面展开。首先,我将进行功能测试,基于之前参加的两次训练实验,对其功能进行评估。其次,我将与其他数据分析&可观测性产品进行比较,以了解SLS的优势和差异。然后,我将进行成本与收益分析,探讨SLS作为一站式的可观测数据存储分析平台所带来的成本节约和收益提升。最后,我将对SLS进行简要总结,并提出一些期待,希望能够为用户提供有用的参考信息。

1131 58
|
存储 架构师 数据管理
|

免费下载!《云存储应用白皮书》详解创新背后的技术实践

进入21世纪,云存储技术兴起,并成为应对数据洪流的利器。《云存储应用白皮书》作为云存储行业全景式文档,阐述了变革时代之下云存储的三大核心技术趋势,旨在为数字经济从业者提供具有指导性、操作性的参考资料。电子书现已开放下载,即刻收藏阅读吧!

1953 0
|
存储 缓存 算法
|

[SIGMOD 22 学习]《Adaptive Hybrid Indexes》解读

本文是学习总结,有错误处欢迎交流。

646 0
|
消息中间件 数据采集 JSON
|

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

1334 0
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache HBase

本文档主要介绍在文件存储HDFS版上使用 Apache HBase 的方法。

392 0
|
存储 弹性计算 分布式计算
|

文件存储HDFS版和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

1017 0
|
存储 SQL 机器学习/深度学习
|

智能巡检云监控指标的最佳实践

在真实的企业生产中,对研发和运维的同学都会面临一个十分繁复且艰难的问题,就是对指标的监控和告警。具体我枚举一些特定的问题请对号入座,看看在算力爆炸的时代能否通过算力和算法一起解决!

1552 0
|
存储 运维 Prometheus
|

SLS告警管理中心App重磅发布!

SLS发布了一款日志应用:告警管理中心;告警管理中心是一套以业务为中心告警管理运维平台,企业可以将同时将已有的监控告警平台如Zabbix,Prometheus,Datadog等产生的告警和SLS上的Project/Logstore等资源产生的告警添加到告警运维运维中心进行统一的告警管理和通知配置,将相关业务的告警收敛到一个地方进行运维管理,可以有效的提高运维效率。

1025 0
|
存储 数据采集 弹性计算
|

块存储监控与服务压测调优利器-EBS Lens发布

SLS团队联合EBS团队发布了EBS Lens,针对块存储提供数据分析、资源监控的功能,可以帮助用户获取云上块存储资源信息与性能监控数据、提升云上块存储资源的管理效率、高效分析业务波动与资源性能消耗情况。

2135 0
|
SQL 存储 监控
|

基于Scheduled SQL的log4j日志异常事件过滤与分析

采用SLS提供的Scheduled SQL功能,对log4j ERROR日志进行处理并制作可视化报表

702 0
|
运维 监控 安全
|

如何用阿里云实行全链路数据追踪

阿里云采用了日志服务,帮助畅捷通构建了用户体验感知、业务安全合规、用户业务链路追踪、成本预算的使用场景,实现了对用户、业务、成本、安全等方面的全维度感知,使得运维效率提升了30%。

1057 0
|
网络协议 算法 网络性能优化
|

关于TCP协议我们需要知道的

TCP协议是OSI模型中的传输层协议,用于建立和维护两个程序间的数据交换连接,以及通过Internet发送信息。TCP协议的主要特点包括面向连接、可靠性、流控制和拥塞控制。其中,三次握手和四次挥手是建立和断开TCP连接的必要过程。此外,TCP协议还提供了流控制机制来控制数据发送方的发送速度,以避免网络拥塞问题。

904 0
我要发布