备份日志和索引到阿里云OSS

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 备份日志和索引到阿里云OSS

1.备份原日志

阿里云官方文档
https://help.aliyun.com/document_detail/50451.html

1.下载ossutil工具

wget https://gosspublic.alicdn.com/ossutil/1.7.14/ossutil64

备注:示例下载到/opt/目录下

2.修改文件执行权限

chmod 755 ossutil64

3.使用交互式配置生成配置文件

./ossutil64 config

备注:只需要填写endpoint、accessKeyID、accessKeySecret
完成配置后,默认会在用户目录生成配置文件,可分发到其他机器复用

4.配置脚本上传
/opt/
├── log_upload
│ ├── ossutil64
│ └── ossutil_output
备注:
ossutil64 是OSS工具
ossutil_output 是OSS工具日志输出目录

上传opslog文件到oss

/opt/log_upload/ossutil64 cp -r xxx oss:xxx

2.备份es索引

kafka和es都是用的阿里云产品
后续会出这两个产品的使用文档和故障排查思路

首先到es的控制台

1.创建备份仓库

PUT _snapshot/xxx_backup/
{
   
    "type": "oss",
    "settings": {
   
        "endpoint": "http://oss-cn.com",
        "access_key_id": "xx",
        "secret_access_key": "xx",
        "bucket": "xx",
        "compress": true,
        "chunk_size": "500mb",
        "base_path": "snapshot/xxx/bk"
    }
}

2.查看

GET _snapshot/xxx_backup/

3.备份索引到oss
复制日志格式查看备份的时间段是否存在

GET _cat/indices?v&index=xxx*

备份

PUT _snapshot/xxx/xxx
{
   
"indices": "xxx*"
}

查看当前仓库所有快照

GET _snapshot/xxx_backup/_all

查看指定快照的索引

GET _snapshot/xxx_backup/xxx
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
6月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
8月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
8月前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。
|
10月前
|
存储 人工智能 运维
防御OSS Bucket泄露:RAM权限策略+日志审计+敏感数据扫描三重防护
云存储安全三重防护体系,聚焦RAM权限控制、日志审计与敏感数据扫描,通过策略精控、异常检测与主动扫描构建闭环防御,有效应对配置错误导致的数据泄露风险,提升企业云上数据安全性。
658 0
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
11月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
1534 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
578 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
971 43

相关产品