开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
276
内容
0
活动
66
关注
|
存储 运维 容灾
|

【CDS技术揭秘系列 01】阿里云CDS-OSS容灾大揭秘

本文主要阐述 CDS 产品中 OSS 服务在容灾方面的部署形态以及实现的其本原理。 容灾功能可以保证用户一份数据在多个地方存在冗余备份,当某个机房出现极端异常(比如物理损毁)情况下,数据也不会出现丢失;也可以保障当某个机房出现不可用(比如断电)时,用户向外提供的功能也基本不受影响。

1984 0
|
安全 测试技术 API
|

API 测试是什么?如何进行 API 测试?

在互联网时代,API已成为软件间交互的关键。API测试验证API是否按预期工作,通过检查响应来确保其正确性、可靠性和安全性。与UI测试不同,API测试聚焦底层功能,有助于早期发现并修复缺陷。它能验证软件质量、加速开发周期、促进微服务架构并支持持续集成/交付。常见的测试类型包括单元测试、功能测试、集成测试、性能测试、安全测试及回归测试。使用自动化工具如Apifox能提高测试效率,支持可视化编排、零代码配置流程条件、生成详细测试报告及快速性能测试,从而确保API质量并提升用户体验。

1926 0
|
存储 运维
|

聚焦移动互联网,传易将好音乐带给非洲用户

传易音乐借助阿里云数据湖、多媒体数据存储等解决方案,获得了PB级容量及超百Gb的带宽吞吐能力。

1841 1
|
存储 弹性计算 运维
|

不仅有0.0075元的深度冷归档,更有对下一代云存储的重新定义

阿里云存储的创新活力,不仅拓展了云存储的边界,更为客户如何挖掘数据无限价值方面,带来了更多的可能。11月4日,阿里巴巴集团高级研究员、阿里云智能存储产品线总经理吴结生,在云栖大会上做了《重新定义云存储,释放数据无限价值》的主题分享。

15424 0
|
存储 数据采集 消息中间件
|

阿里十年技术沉淀|深度解析百PB级数据总线技术

数据总线作为大数据架构下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。通过数据总线,可以实时接入来自服务器、K8s、APP、Web、IoT/移动端等产生的各类异构数据,进行统一数据管理,进而实现与下游系统的解耦;之后可以异步实现数据清洗、数据分发、实时计算、离线计算等计算过程,进而将结构化后的数据投递到下游的分析、归档系统,进而达到构建清晰的数据流的目的。广义上,数据采集与接入、传输链路、存储队列、消费计算、投递等都属于数据总线的范畴,整体上可以分为采集接入层、管道层、计算层。

25237 6
|
存储 数据采集 人工智能
|

以Trace为核心的根因分析概述

近期一直在学习和复现“根因分析”领域的相关文章,在这里跟大家一起分享下相关内容。这里不在赘述关于“可观测性”和“AIOps”的重要性和必要性,也不过多的陈述在“复杂系统”中进行快速根因诊断的必要性,直接进入到相关算法和系统设计部分。

2860 0
|
存储 运维 监控
|

深入解读等保2.0

本文主要介绍等保2.0的由来,等保2.0和1.0的区别,企业过等保的具体流程,手把手教你从等保小白变身等保专家。

4741 1
|
SQL Web App开发 监控
|

零基础玩转SLS日志查询-SLS Query Builder发布

日志服务(Log Service,简称 SLS) 是阿里云提供的行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可视化、告警等功能。智能查询分析是数据中台重要的一环,SLS支持秒级查询10亿到千亿级别的日志数据,为万级开发者提供每日百亿级的查询服务。SLS查询语句是日志服务的专有语法,为了帮助用户简单、快速地构建查询语句,降低用户的学习成本,SLS推出了查询辅助输入(Query Builder)功能,让用户无需关注语法细节也可完成查询。

4664 0
|
存储 Oracle 关系型数据库
|

【ESSD技术解读-02】企业级利器,阿里云 NVMe 盘和共享存储

当前 NVMe 云盘结合了业界最先进的软硬件技术,在云存储市场,首创性同时实现了 NVMe 协议 + 共享访问 + IO Fencing 技术。它在 ESSD 之上获得了高可靠、高可用、高性能,同时基于 NVMe 协议实现了丰富的企业特性,如多重挂载、IO Fencing、加密、离线扩容、原生快照、异步复制等功能。本文详细介绍了云上SAN和NVMe的发展历程,并做出了对未来的构想

3037 0
|
存储 监控 Cloud Native
|

使用SDK管理SLS告警-以Go为例

除了在SLS控制台创建告警监控以外,SLS的SDK也提供了对告警的管理功能,其中主要包括了初始化告警资源,告警监控规则的增删改查,告警资源的增删改查等功能。

2058 0
|
Prometheus 监控 Cloud Native
|

5分钟搞定AlertManager接入短信、语音等10+种通知渠道

Alert Manager是开源监控系统Prometheus中用于处理告警信息的服务,通过将日志服务开放告警配置为Alert Manager中的一个Receiver,可以将Alert Manager产生的告警消息发送到日志服务。

4335 0
|
数据采集 移动开发 弹性计算
|

日志审计携手DDoS防护助力云上安全

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

858 0
|
11月前
|
JSON API 数据格式
|

银行卡联行号查询API:在风控中的落实践

银行卡联行号查询API,基于HTTPS协议,支持Token认证与跨域调用,提供精准高效的银行信息查询服务,助力支付系统提升成功率与稳定性。

1133 0
|
存储 架构师 数据管理
|

免费下载!《云存储应用白皮书》详解创新背后的技术实践

进入21世纪,云存储技术兴起,并成为应对数据洪流的利器。《云存储应用白皮书》作为云存储行业全景式文档,阐述了变革时代之下云存储的三大核心技术趋势,旨在为数字经济从业者提供具有指导性、操作性的参考资料。电子书现已开放下载,即刻收藏阅读吧!

2065 0
|
SQL 存储 机器学习/深度学习
|

2022年AIOps热身赛数据可视化详解

本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。

3634 2
|
存储 SQL 数据采集
|

可观测性平台下的低代码技术实践——PyCon2021分享

本文介绍阿里云SLS丁来强(花名成喆)在PyCon2021上海站分享时的议题内容,结尾有录播的视频和PPT下载链接。

882 0
|
存储 容灾 安全
|

【ESSD技术解读-总篇】 云上企业级存储——打开存储新维度,促进用户核心业务创新

将企业级存储和云的特点进行完美的融合是云上企业级存储的目标,它打开存储更多新的维度,在保障用户业务永续的同时,帮助用户更好的进行业务创新。本文属ESSD技术解读的总篇,总体介绍ESSD 云盘创新融合了云和企业级存储的特性,以服务为中心,为用户提供了更便捷、更智能的存储服务体验。

3737 0
|
机器学习/深度学习 运维 监控
|

使用SLS告警为你的OSS保驾护航

SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。

1105 0
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

926 0
|
28天前
|
存储 运维 数据管理
|

告别“大海捞针”:OSS Vector Bucket 如何赋能媒资管理平台

在 AI 时代,媒资平台面临多模态数据爆炸式增长的管理挑战。阿里云 OSS Vector Bucket 提供统一向量存储与语义检索能力,支持 30 亿级素材秒级精准查找,打破数据孤岛,降低成本,助力内容创作提效降本。

235 11
|
9月前
|
缓存 边缘计算 运维
|

基于 Cloudflare Workers 构建高性能知识库镜像服务:反向代理与 HTML 动态重写实践

基于Cloudflare Workers构建的边缘计算镜像服务,通过反向代理、HTML动态重写与智能缓存,优化维基百科等知识平台的访问性能。支持路径映射、安全头清理与容错回退,实现免运维、低延迟、高可用的Web加速方案,适用于教育、科研等合规场景。

1401 8
|
JSON API UED
|

快递查询 API 对接指南(Python示例)

在电商与物流快速发展背景下,实时快递查询成为系统开发常见需求。本文介绍如何通过快递查询API快速集成物流信息,提升自动化水平与用户体验,并提供Python调用示例及问题解决方案。

980 0
|
API Python
|

VIN码查询API的实战指南:获取二手车信息以Python为例

随着机动车保有量上升,中国二手车市场迎来发展机遇。本文介绍如何通过VIN码查询API获取车辆详细信息,提升交易透明度与安全性。

510 1
|
存储 负载均衡 Java
|

如何配置Windows主机MPIO多路径访问存储系统

Windows主机多路径(MPIO)是一种技术,用于在客户端计算机上配置多个路径到存储设备,以提高数据访问的可靠性和性能。本文以Windows2012 R2版本为例介绍如何在客户端主机和存储系统配置多路径访问。

1136 13
|
存储 测试技术 Linux
|

存储稳定性测试与数据一致性校验工具和系统

LBA tools are very useful for testing Storage stability and verifying DATA consistency, there are much better than FIO & vdbench's verifying functions.

1874 0
|
SQL 机器学习/深度学习 存储
|

通过日志服务实现数据库MySQL入湖OSS实践

日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。 本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践,并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。

1143 0
|
存储 监控 关系型数据库
|

日志审计:开启RDS/PolarDB错误日志采集

本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

930 0
|
弹性计算 监控 Kubernetes
|

iLogtail使用入门-主机环境日志采集到SLS

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

2420 0
|
运维 监控 安全
|

SLS告警通知体验升级——移动端免登查看与操作

SLS告警通知体验重磅升级,支持了移动端免登陆的能力,从而可以随时随地在手机上查看告警信息并进行后续的管理,提升运维效率。

793 0
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1241 0
|
存储 运维 监控
|

从日志审计角度解读网络数据时代新安全

本文主要从日志审计的角度解读《网络安全法》、《数据安全法》、《等保2.0》等,介绍新数字经济时代,企业用户应如何加强网络安全管理和数据安全治理,全方位地守护企业云上资产及数据安全。

2025 0
|
消息中间件 存储 负载均衡
|

SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

Kafka 以消息存储系统在业界闻名,近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams(流计算)、ksqlDB(基于 Kafka Streams 的类分析型 DB 系统)。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结,梳理 Kafka Streams 在流处理场景上的设计思路。

984 0
|
消息中间件 NoSQL Cloud Native
|

对Confluent一些解读

对Kafka母公司Confluent IPO、产品、技术一些看法

6444 0
|
12月前
|
JSON API 数据安全/隐私保护
|

车辆五项信息查询 API 的实践指南:通过Python调用赋能车辆信息标准化

本API通过车牌号快速获取车辆五项核心信息,包括品牌、登记日期、车架号等,助力二手车评估、维修、保险等场景实现数字化转型。数据源自权威公安交管库,日更同步,毫秒级响应,满足高并发需求,符合隐私保护规范,是推动汽车后市场智能化的重要工具。

796 0
|
Ubuntu 文件存储 数据安全/隐私保护
|

电视盒子部署云相册

【10月更文挑战第2天】 利用电视盒子实现个人云相册,完成手机相册瘦身,以及数据安全保存,最小成本实现个人云部署

1328 1
|
文件存储 网络架构 Docker
|

NAS部署Alist、Nextcloud、File Browser,贝锐花生壳实现远程访问

对于NAS用户而言,文件管理和私有云应用如Alist、Nextcloud、File Browser等已成为标配。这些应用不仅能在Synology、QNAP等品牌设备上轻松安装,还可通过Docker容器便捷部署。借助贝锐花生壳Docker版,用户无需公网IP和复杂路由器配置,即可实现远程访问和管理文件资源。通过下载并加载贝锐花生壳镜像、启动容器及配置服务,即可生成固定访问域名,轻松实现远程访问。

1253 4
|
存储 测试技术 区块链
|

阿里云、百度云及移动云对象存储横向性能对比测试

在企业的数字化转型进程中,我们观察到越来越多的公司将其IT基础设施迁移到云端。随着企业业务的持续运营,无论是储存、处理、分享还是删除,都会产生大量的数据,这就要求有一个既可靠又高效的系统来管理和存储这些信息。对象存储产品在这个场景中扮演了至关重要的角色。它们以一种可扩展、安全、持久的方式,有效地满足了对大规模非结构化数据存储的需求。 尽管市场上云计算提供商众多,各自都有自己独特的对象存储产品,面对这样的丰富选择,如何寻找最符合企业需求的产品呢?这正是企业今天寻求解答的问题。 在本篇文章中,我们将深入进行一项横向对比测试,专门对阿里云OSS、百度云BOS和移动云EOS这三大云服务提供商的对象

4146 0
|
弹性计算 运维 网络安全
|

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

811 1
|
存储 JSON 运维
|

聊聊日志硬扫描,阿里 Log Scan 的设计与实践

SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。

14567 9
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 Apache Tez

本文档主要介绍在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Tez。

765 0
|
存储 弹性计算 分布式计算
|

文件存储HDFS版和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

1061 0
|
存储 SQL 人工智能
|

MySQL监控-Datadog数据库监控调研

MySQL是最流行的数据库之一,在大多系统的后端的存储都有MySQL的身影,MySQL运行的是否健康,直接影响着整个系统的运行,数据库的瓶颈往往也是整个系统的瓶颈,其重要性不言而喻,所以对于MySQL的监控必不可少,及时发现MySQL运行中的异常,可以有效提高系统的可用性和用户体验。 本文主要介绍下MySQL如何做监控,以及对Datadog的Database Monitoring的一些简单调研。

1842 0
|
存储 弹性计算 容灾
|

【ESSD技术解读-01】 云原生时代,阿里云块存储 ESSD 快照服务如何被企业级数据保护所集成?

本文描述了阿里云块存储快照服务基于高性能 ESSD 云盘提升快照服务性能,提供轻量、实时的用户体验及揭秘背后的技术原理。依据行业发展及云上数据保护场景,为企业用户及备份厂商提供基于快照高级特性的数据保护的技术方案,满足云上用户数据保护的迫切需求,保障云上企业业务连续性。

1889 0
|
存储 SQL Prometheus
|

基于访问日志实现OSS监控

对象存储OSS是阿里云提供的云存储服务,能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务,用户需要时刻关注OSS的使用状况,检测异常状态,从而及时作出响应。

1203 0
|
存储 机器学习/深度学习 运维
|

【CDS技术揭秘系列 02】阿里云CDS-SLS大揭秘

CDS-SLS 作为云化的日志平台,将组件进行高内聚低耦合,线下用户最低可以在6台规模的机器上将上述所有的功能自动化部署,在运维、运营、财务管理、数据分析报表等大数据场景领域以低代码模式有效解决传统软件中的痛点。本文主要进行 CDS-SLS 各功能点概览性的介绍。

2199 0
|
Prometheus 监控 Cloud Native
|

5分钟理解SLS告警通知时机

SLS告警支持丰富的告警管理功能,例如合并抑制静默等功能,跟SLS旧版告警相比增加了很多告警降噪抑制的功能,和用户管理,值班组和可定制复用的内容模板功能。在使用的过程中,因为增加了告警的降噪功能,从告警产生到发送通知这个过程增加了一个告警降噪的过程;因为降噪机制的存在,可能会出现告警触发但不一定会立即发出通知的情况。了解SLS告警通知时机将有助于理解这些情况。

1211 0
|
存储 设计模式 消息中间件
|

Jaeger插件开发及背后的思考

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法,让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持,欢迎大家试用。

1263 0
|
存储 运维 Kubernetes
|

阿里云文件存储NAS推出回收站功能,轻松实现数据保护

阿里云文件存储通用型NAS现已经全面支持“回收站”特性。该功能适用于通用性能型和通用容量型规格。当文件系统启用该特性后,“回收站”功能可以保护和恢复误删除、误替换的数据。 文件存储NAS“回收站”和快照、备份不同,具有如下特点: 当NAS开启回收站特性后,该文件系统内文件的每次替换、删除操作,NAS都会将原文件自动保存至回收站中。回收站中的文件支持根据用户设置的策略自动清理,并可以即刻恢复至文件系统原位置。

1819 0
|
存储 消息中间件 Cloud Native
|

40年技术发展变革,物联网行业的趋势、现状与挑战

40年技术发展变革,物联网行业的趋势、现状与挑战

1567 1
我要发布