函数计算帮助修改OSS文件前缀

简介: ## 背景 在从七牛云迁移数据到阿里云OSS的时候,有遇到客户的文件名前缀是以`/`开始的,例如`/abc/123.jpg`。这样的文件名在OSS上面是非法的,所以如果直接使用在线迁移服务是无法迁移成功。一般建议的方案是添加一个前缀,例如变成`new/abc/123.jpg`,这样可以解决迁移不了的问题。但是这样会引发另外一个问题,就是导致用户的文件路径变更。对于用户来说,可能涉及到改代码,

背景

在从七牛云迁移数据到阿里云OSS的时候,有遇到客户的文件名前缀是以/开始的,例如/abc/123.jpg。这样的文件名在OSS上面是非法的,所以如果直接使用在线迁移服务是无法迁移成功。一般建议的方案是添加一个前缀,例如变成new/abc/123.jpg,这样可以解决迁移不了的问题。但是这样会引发另外一个问题,就是导致用户的文件路径变更。对于用户来说,可能涉及到改代码,是一个额外的迁移成本。本文提供一个间接的方案,利用函数计算的能力,当文件被复制到OSS后,自动修改文件的名称,达到无缝迁移。

原理

arch.png

利用在线迁移服务将七牛的数据迁移到OSS,注意OSS这边要加上前缀tmp
利用函数计算,当发现指定Bucket有新建文件并且文件名以tmp开始的话,触发函数计算功能。
函数负责将文件名的tmp去掉。这里利用了OSS的copy和delete操作。
整个过程在同一个Bucket中发生。

执行步骤

关于在线迁移服务的部分,参考官网手册,这里不再作详细论述。下面直接从函数计算的配置入手。

一. 进入函数计算业务,选择新建函数。
新建函数.jpg

二. 配置函数,填入服务/函数等名字,运行环境选择python3,其他按照默认。
配置函数.jpg

三. 建立好之后会跳转到在线编辑页面。
IDE.jpg

把下面的代码复制到编辑框里面,完整覆盖原来的代码并保存。

import logging
import oss2
import json

def handler(event, context):
  logger = logging.getLogger()
  logger.info('start of the function')

  creds = context.credentials
  #获取当前的ak和as
  auth=oss2.StsAuth(
         creds.access_key_id,
         creds.access_key_secret,
         creds.security_token)

  #获取旧的路径名
  evt = json.loads(event)
  evt = evt['events'][0]
  object_name = evt['oss']['object']['key']
  logging.info('path is ' + object_name)
  if object_name.startswith('tmp') == False :
    #不是tmp开头的不处理
    return
  #去除掉tmp/
  if object_name.startswith('tmp/') :
    new_object_name = object_name[4:]
  else :
    new_object_name = object_name[3:] 

  #获取到事件触发的bucket
  bucket_name = evt['oss']['bucket']['name']
  endpoint = 'oss-' +  evt['region'] + '.aliyuncs.com'
  bucket = oss2.Bucket(auth, endpoint, bucket_name)
  logging.info('bucket name is ' + bucket_name)

  #复制文件之后再删除原文件
  bucket.copy_object(bucket_name, object_name, new_object_name)
  bucket.delete_object(object_name)
  
  return

四. 创建一个触发器。选择对象存储触发器,触发器名称自行创建。Bucket列表注意选择准备要上传文件的那个Bucket。触发事件选择 oss:ObjectCreated:PostObjectoss:ObjectCreated:PutObject。触发规则前缀那里,一定要输入tmp如果没有加入这个前缀,可能会引起额外的调用
trigger.jpg

五. 配置好触发器之后,还需要做一个权限设置,否则即使任务触发成功,也会因为没有权限,函数无法将文件复制成功。回到主界面,选择服务配置,然后修改
进入角色配置.jpg

往下到权限配置,这里需要创建一个新的角色。这里需要选择把 AliyunOSSFullAccessAliyunLogFullAccess 添加进去。

赋予角色.jpg

role.jpg

六. 权限配置好之后,整个配置就完成了。如果需要做多个Bucket的迁移,只需要重复第4步,在同一个函数上面多建立几个触发器,监测不同的Bucket即可。

验证方式

通过网页的方式上传文件到到tmp/目录下面的文件,该文件会被移动到根目录。
通过网页的方式上传文件到根目录,如果名字是以tmp开始的,会被去掉tmp几个字符。

由于引入了函数计算,所以迁移任务最后会报失败。这只是因为迁移服务要比对的文件都被我们重命名了,所以产生这样的报告,只要确保迁移的文件数量一致即可

故障排查

如果网页方式上传无效,没有触发任何效果,可能是权限配置没有设置正确,返回第五步检查一下。
如果网页方式上传生效,但是在线迁移没有触发效果,可能是触发器中,触发事件配置不正确,返回第四步检查一下。

相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
目录
相关文章
|
6月前
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
630 2
|
10月前
|
消息中间件 监控 数据挖掘
【有奖实践】轻量消息队列(原 MNS)订阅 OSS 事件实时处理文件变动
当你需要对对象存储 OSS(Object Storage Service)中的文件变动进行实时处理、同步、监听、业务触发、日志记录等操作时,你可以通过设置 OSS 的事件通知规则,自定义关注的文件,并将 OSS 事件推送到轻量消息队列(原 MNS)的队列或主题中,开发者的服务即可及时收到相关通知,并通过消费消息进行后续的业务处理。
236 93
|
文字识别 算法 API
视觉智能开放平台产品使用合集之上传素材文件不在同一地域的OSS,怎么上传多张图片
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
178 2
|
存储 运维 Serverless
函数计算产品使用问题之OSS触发器是否可以只设置文件前缀
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
监控 Java Serverless
函数计算产品使用问题之对于OSS打包的zip的保存目录,该如何操作
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
225 6
|
Java Serverless 数据库连接
函数计算操作报错合集之调用打包的OSS函数时发生报错,该怎么办
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
240 2
|
2月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
4月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
4月前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。