linux的日志文件自动上传到oss

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,内容安全 1000次 1年
简介: linux的日志文件自动上传到oss
#!/bin/bash
# 模块名字
servernames=("zxwy-api" "zxwy-task")
# 日志上传bucket名称
bucketname=zxwy-dev-backup-bucket
# 日志所在机器IP
ip=172.17.161.164
# 开始上传
for servername in ${servernames[@]}
do
  location=/home/logs/dev/${servername}
  # 上传当前日志
  # 前一小时日期,格式yyyy-MM-dd
  time=`date -d "1 hour ago" +"%Y-%m-%d-%H"`
  # 文件名字
  filename=${location}/${servername}.log.${time}
  echo '上传开始: '${filename}
  # 判断文件是否存在
  if [ ! -f "${filename}" ]; then
    echo '本地文件未找到: '${filename}
    exit 0
  fi
  # 检查oss是否已存在
  exists=`/home/apps/ossutil/ossutil -c /home/apps/ossutil/config ls oss://${bucketname}/log/${servername}/${ip}/${servername}.log.${time}.tar.gz`
  if [[ ${exists} =~ 'Object Number is: 1' ]]; then
    echo '云端文件已存在: '${filename}
    continue
  fi
  # 压缩
  cd ${location}
  tar -czvf ${servername}.log.${time}.tar.gz ${servername}.log.${time}
  # 上传到oss
  /home/apps/ossutil/ossutil -c /home/apps/ossutil/config cp ${filename}.tar.gz oss://${bucketname}/log/${servername}/${ip}/${servername}.log.${time}.tar.gz
  # 删除
  rm -f ${filename}.tar.gz
  echo '上传完成: '${filename}
done
exit 0
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
23天前
|
Linux
Linux下使用ls查看文件颜色全部为白色的解决方法,以及Linux中文件颜色介绍
Linux下使用ls查看文件颜色全部为白色的解决方法,以及Linux中文件颜色介绍
70 2
|
27天前
|
Java Apache 开发工具
【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存
【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存
|
11天前
|
消息中间件 存储 监控
Kafka的logs目录下的文件都是什么日志?
Kafka的logs目录下的文件都是什么日志?
30 11
|
24天前
|
Linux
Linux 服务器下载百度网盘文件
本教程指导如何使用 `bypy` 库从百度网盘下载文件。首先通过 `pip install bypy` 安装库,接着运行 `bypy info` 获取登录链接并完成授权,最后将文件置于指定目录并通过 `bypy downdir /Ziya-13b-v1` 命令下载至本地。
30 1
Linux 服务器下载百度网盘文件
|
19天前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
50 9
|
17天前
|
Ubuntu Linux Shell
Linux系统命令 安装和文件相关命令
本文档详细介绍了Linux系统中的常用命令,包括软件安装卸载命令如`dpkg`和`apt-get`,压缩与解压命令如`gzip`、`bzip2`和`xz`,以及`tar`命令用于打包和解包。此外还介绍了文件分割命令`split`,文件操作命令如`cat`、`head`、`tail`、`more`、`less`等,管道命令和`wc`、`grep`、`find`、`cut`、`sort`、`uniq`、`diff`等实用工具。最后,文档还讲解了文件属性相关的命令如`chmod`、`chown`、`chgrp`以及创建硬链接和软链接的`ln`命令。
|
25天前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
|
23天前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之上传素材文件不在同一地域的OSS,怎么上传多张图片
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
29 1
|
26天前
|
Linux
linux 删除乱码文件名的文件
【8月更文挑战第26天】当遇到文件名显示为乱码,导致无法正常通过键盘输入文件名进行删除操作时,可以利用鼠标的复制功能配合`rm`命令实现删除。对于文件夹的删除,可使用`rm -rf 目录名`。然而,有时这种方式仍无法删除某些特殊乱码文件,这时可以通过获取文件的i节点号(使用`ls -i`或`ll -i`命令查看)并执行`find -inum [节点号] -delete`来进行删除。这种方法特别适用于处理那些因文件名问题而难以删除的情况。
73 2
|
23天前
|
JavaScript Linux
Linux中和文件相关的操作
Linux中和文件相关的操作
26 0