python: BytesIO 中 read 用法

简介: python: BytesIO 中 read 用法

在用 Flask 写一个项目,后台管理用的插件暂时是 flask-admin。想实现的效果:在后台管理页面中,把提交到后端的图片不保存在 static 文件夹下面,而是通过后端代码把这个文件对象上传到 AWS 的 S3中存储。

通过flask-admin 上传到后端的文件对象的类型是:

FileStorage    # werkzeug.datastructures.FileStorage

# flask 中的 request.files 获取到的类型也是 FileStorage

所以先从提交到后端的 form 表单中获取到该文件对象,例如为: img_obj。 现在刚需要把类型为 FileStorage 的 img_obj 转化为 file-like object (AWS S3 boto3 中的 upload_fileobj 接口需要这样的参数)。转化的过程用到了 shutil 的copyfileobj 和 BytesIO, 如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)    # img_obj.stream 应该是能获取到对象中的数据流; 然后把 imb_obj 中的数据流copy到 temp_file 中

然后,问题来了。 利用下面的 S3 upload_fileobj接口把文件上传到 S3后,对应的文件一直都是 0 比特。

代码如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)        # 利用这个接口把文件上传到服务器后一直都是0比特

查询资料发现原因。

我们先来看下 shutil.copyfileobj 的源码:

'''
学习中遇到问题没人解答?
小编创建了一个Python学习交流群:711312441
'''
def copyfileobj(fsrc, fdst, length=16*1024):
    """copy data from file-like object fsrc to file-like object fdst"""
    while 1:
        buf = fsrc.read(length)
        if not buf:
            break
        fdst.write(buf)

"""
从上述代码的最后一行看,fdst.write(buf) ,此时写“文件”的游标已经到“文件”的最后
"""

我们再来看下面有关 BytesIO 的的一些用法:

In [1]: from io import BytesIO                                                                                                                                

In [2]: f = BytesIO()                                                                                                                                         

In [3]: f.write(b'abc')         # 把byte 写入到 f 中,此时 游标已经到f的最后位置                                                                                                                             
Out[3]: 3

In [4]: f.read()     # 由于此时游标是从f 的 最后的位置开始 read,那么后面的内容肯定是空                                                                                                                                        
Out[4]: b''

In [5]: f.tell()                                                                                                                                           
Out[5]: 3             # 说明游标是在f最后的位置 

In [6]: f.seek(0)        # 利用 seek(0) 把游标的位置放到f的 0 位置处                                                                                                                                
Out[6]: 0

In [7]: f.read()      # 此时再 read 就能看到全部内容                                                                                                                                        
Out[7]: b'abc'

"""
getvalue() 是获取全部内容;
read() 是从游标的当前位置往后读
"""

所以上面问题的原因也是:

copyfileobj 中的 fdst.write(buf) 写完后,此时游标在“文件”最后一个位置;而由于 S3 的 upload_fileobj 接口中的第一个参数是file-like object, 而且upload_fileobj会调用 这个 file-like object 的 read() 方法,read 出来的内容会上传到 S3 上。 所以,解决办法就是利用 seek(0) 把游标位置再次放到 0 处

正确代码如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

temp_file.seek(0)    # 让游标回到0处

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)

或者直接把利用 FileStorage 的 stream 属性把文件上传到 S3,代码如下:

client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)
相关文章
|
18天前
|
Python
Python三引号用法与变量详解
本文详细介绍了Python中三引号(`"""` 或 `'''`)的用法,包括其基本功能、如何在多行字符串中使用变量(如f-string、str.format()和%操作符),以及实际应用示例,帮助读者更好地理解和运用这一强大工具。
38 2
|
2月前
|
缓存 测试技术 开发者
深入理解Python装饰器:用法与实现
【10月更文挑战第7天】深入理解Python装饰器:用法与实现
18 1
|
2月前
|
传感器 大数据 数据处理
深入理解Python中的生成器:用法及应用场景
【10月更文挑战第7天】深入理解Python中的生成器:用法及应用场景
53 1
|
2月前
|
存储 大数据 Python
案例学Python:filter()函数的用法,高级!
`filter()`函数是Python中处理序列数据的强大工具,它允许我们高效地根据条件过滤元素。通过结合匿名函数、常规函数或直接利用Python的内置逻辑,`filter()`提供了灵活且高效的过滤机制,尤其在大数据处理和内存敏感的应用中展现出其价值。掌握 `filter()`的使用,不仅能提升代码的可读性和效率,还能更好地适应Python的函数式编程风格。
39 2
|
2月前
|
Python
深入了解Python中星号变量的特殊用法
深入了解Python中星号变量的特殊用法
26 0
|
2月前
|
PyTorch 测试技术 算法框架/工具
Python中Thop库的常见用法和代码示例
肆十二在B站分享了关于THOP(Torch-OpCounter)的实战教学视频。THOP是一个用于计算PyTorch模型操作数和计算量的工具,帮助开发者评估模型复杂度和性能。本文介绍了THOP的安装、使用方法及基本用例,包括如何计算模型的FLOPs和参数量。
129 0
|
2月前
|
SQL 关系型数据库 MySQL
Python中Pymysql库的常见用法和代码示例
`pymysql` 是一个用于连接 MySQL 数据库的 Python 库,支持 SQL 查询的执行和结果处理。通过 `pip install pymysql` 安装后,可使用 `connect()` 方法建立连接,`cursor()` 创建游标执行查询,包括数据的增删改查,并通过 `commit()` 和 `rollback()` 管理事务,最后需关闭游标和连接以释放资源。
106 0
|
2月前
|
计算机视觉 Python
Python中Pillow库的常见用法和代码示例
Pillow是Python中广泛使用的图像处理库,支持丰富的图像操作功能,包括但不限于打开、保存、缩放、裁剪、旋转、调色等。本文通过一系列示例介绍Pillow的基本用法,涵盖图像的加载与显示、尺寸调整、裁剪与旋转、亮度调整、格式转换、滤镜应用、图像合成及像素级操作等。首先需通过`pip install pillow`安装库,随后可通过导入`PIL.Image`等模块开始图像处理任务。无论是初学者还是进阶用户,都能从Pillow提供的强大功能中获益。
67 0
|
2月前
|
Python
Python pip 操作的几种用法
Python pip 操作的几种用法
54 0
|
2月前
|
JSON API 开发者
深入解析Python网络编程与Web开发:urllib、requests和http模块的功能、用法及在构建现代网络应用中的关键作用
深入解析Python网络编程与Web开发:urllib、requests和http模块的功能、用法及在构建现代网络应用中的关键作用
20 0