python中的序列化与反序列化

简介: python中的序列化与反序列化

序列化与反序列化是一对相对的概念,序列化即将A形式的数据转换成B形式的数据,反序列化则是将B形式的数据还原成A形式。我们在浏览器中网页的传输方式其实可以理解为一组序列化与反序列化过程,通过将一些图片、文字信息转换成字节流,通过互联网的传输到我们的电脑上,再将字节流还原为最初的图片或文字格式。

这里讲python中常用的两种序列化格式,一种是使用json格式进行序列化与反序列化,另一种是使用字节进行序列化和反序列化。

开始之前

在开始之前,让我们先抛开具体的实现细节,从设计层面去认识一下序列化与反序列化这个过程。

A形式的数据转换为B形式的数据,在这个转换的过程中需要有一个公共的转换规则,也就是说同样的一份A形式的数据只要经过这个转换规则,所产生的B形式的数据应该是一模一样的,且必须是一模一样的。这里的「转换规则」也被称为「协议」。在有了「协议」以后,我们就可以根据协议将A形式的数据转换为B形式的数据。

json序列化

json格式原本是javascript中的一种数据格式,由于可读性好,因此在其他语言中也得到普遍应用。

json中有6种数据类型,分别是下面这些:

  • 字符串类型:"abc""def"
  • 数字类型:11.1
  • 对象类型: {...}
  • 数组类型: [...]
  • 布尔类型:true/false
  • 空类型:null

知道了json中的一些格式,只要我们可以将python中已有的一些数据类型通过「协议」将我们要转换的数据转换为以上6种格式中的一种,就可以完成A到B的转换。

在python的官方库json中已经对一部分数据类型的转换规则做出了规定

整型和浮点型

对于整型和浮点型数据,由于json中没有对二者进行划分,所以统一为数字类型,在进行反序列化的时候,将数字类型统一转换为浮点类型。

a = 1    # 1
b = 1.1  # 1.1

字符串

python中的字符串也可以与json中的字符串进行互相转换,但值得注意的是,在python中字符串可以使用````、

" "''' '''""" """进行包裹,但在json中字符串必须使用" "进行包裹。

str1 = "apple"  # apple

布尔类型

a = True # true
b = True # false

数组

python中的数组与json中的数组可以直接转换

arr = [1,2,3,4,5,6,7]  # [1,2,3,4,5,6,7]

字典

python中的字典可以与json中的对象进行转换

dict1 = {"a":1, "b":1}  # {"a":1, "b":1}

以上就是python中已经预先规定的「转换协议」, 当然这些具体的转换细节不需要我们来考虑,python已经为我们实现了一个json库,可以直接使用

序列化数据

import json
data = [
    {'name':'Jack', 'age':16},
    {'name':'Tom', 'age':20},
]
dump_str = json.dumps(data)
print(dump_str)
# [{"name": "Jack", "age": 16}, {"name": "Tom", "age": 20}]

序列化的结果是一个字符串,因此,你可以将dump_str写入文件中。上面是序列化一个在转换协议中已经规定好的数据,那么如果需要序列化一个没有规定的数据类型时,该如何去进行序列化呢?这时就需要我们去扩展序列化协议,告诉python如何将任意一个数据类型转换为上面6种中的一个。

我们以序列化一个类为例,我们创建一个Student 类型的类,里面有两个属性,分别是nameage

class Student:
    def __init__(self, name, age):
        self.name = name
        self.age = age

通过继承json提供的JsonEncoder类并重写default方法来自定义转换过程,在进行序列化的时候,将我们继承的类以参数的形式传递到dumps中就可以对我们自定义的数据类型来进行转换。

import json
class MyJsonEncoder(json.JSONEncoder):
    def default(self, o):
        # 这里处理我们的自定义的类型
        if type(o) is Student:
            return {'name':o.name, 'age':o.age}
        # 其他类型直接返回,因为序列化协议中已经规定好了
        return o
s1 = Student('Jack', 19)
# cls = MyJsonEncoder
dump_str = json.dumps(s1, cls=MyJsonEncoder)
print(dump_str)

从上面自定义的转换协议可以发现,其实我们也是将一个自定义类的里面的数据转换成之前已经存在的数据类型上。这种转换在后面的反序列化中其实是无法将其再复原为一个Student类的,但如果只需要序列化而不需要反序列过程,那么这样也是足够的。

反序列化数据

上面我们获得了一个序列化好的字符串,如:

dump_str =

dump_str = '[{"name": "Jack", "age": 16}, {"name": "Tom", "age": 20}]'

在反序列化过程中,由于json里面的6种数据类型,都可以直接在python中找到对应的数据类型,所以可以直接进行转换。

import json
dump_str = '[{"name": "Jack", "age": 16}, {"name": "Tom", "age": 20}]'
python_obj = json.loads(dump_str)
print(python_obj)
# [{'name': 'Jack', 'age': 16}, {'name': 'Tom', 'age': 20}]

和序列化过程一样,这个反序列化过程我们也是可以来进行自定义的,通过json提供的JSONDecoder来进行自定义反序列化过程,但不是通过重写default方法,而是通过重写decode方法。

import json
class MyJsonDecoder(json.JSONDecoder):
    def decode(self, s):
        ret = super().decode(s)
        return ret
dump_str = '[{"name": "Jack", "age": 16}, {"name": "Tom", "age": 20}]'
python_obj = json.loads(dump_str, cls=MyJsonDecoder)
print(python_obj)
# [{'name': 'Jack', 'age': 16}, {'name': 'Tom', 'age': 20}]

这里的我们自定义的MyJsonDecoder其实就最最终的效果而言并没有任何改变,因为只做了一个返回,这样一来就显得我们自定义的解析器没有意义。但是如果针对于一个特定类的实现的解码器而言就显得有意义。看下面这个例子:

import json
class Student:
    def __init__(self, name, age):
        self.name = name
        self.age = age
    def __str__(self):
        return f'<Student name:{self.name}, age:{self.age}>'
class MyJsonEncoder(json.JSONEncoder):
    def default(self, o):
        if type(o) is Student:
            return {'name':o.name, 'age':o.age}
        return o
class MyJsonDecoder(json.JSONDecoder):
    def decode(self, s):
        ret = super().decode(s)
        return Student(name=ret['name'], age=int(ret['age']))
s1 = Student('Jack', 19)
dump_str = json.dumps(s1, cls=MyJsonEncoder)
print('s1 json str: %s' % dump_str)
# s1 json str: {"name": "Jack", "age": 19}
python_obj = json.loads(dump_str, cls=MyJsonDecoder)
print(python_obj)
# <Student name:Jack, age:19>

pickle序列化

上面的json序列化可以将数据最终序列化为字符串形式,而pickle则是将数据序列化为字节形式。

序列化数据

import pickle
data = [
    {'name':'Jack', 'age':16},
    {'name':'Tom', 'age':20},
]
print(pickle.dumps(data))
# b'\x80\x04\x95/\x00\x00\x00\x00\x00\x00\x00]\x94(}\x94(\x8c\x04name\x94\x8c\x04Jack\x94\x8c\x03age\x94K\x10u}\x94(h\x02\x8c\x03Tom\x94h\x04K\x14ue.'

对于pickle而言,可以直接将已有的数据结构转换成字节的形式,这种方式非常底层,所以在进行反序列化的时候也较容易复原。

反序列化数据

import pickle
data = [
    {'name':'Jack', 'age':16},
    {'name':'Tom', 'age':20},
]
class Student:
    def __init__(self, name, age):
        self.name = name
        self.age = age
s1 = Student('Jack', 19)
pickle_byte = pickle.dumps(s1)
print(pickle.loads(pickle_byte))
# <__main__.Student object at 0x000002C317BF2970>

未完待续...

相关文章
|
4月前
|
存储 Java
【IO面试题 四】、介绍一下Java的序列化与反序列化
Java的序列化与反序列化允许对象通过实现Serializable接口转换成字节序列并存储或传输,之后可以通过ObjectInputStream和ObjectOutputStream的方法将这些字节序列恢复成对象。
|
1月前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
1月前
|
存储 安全 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第22天】在Java的世界里,对象序列化和反序列化是数据持久化和网络传输的关键技术。本文将带你了解如何在Java中实现对象的序列化与反序列化,并探讨其背后的原理。通过实际代码示例,我们将一步步展示如何将复杂数据结构转换为字节流,以及如何将这些字节流还原为Java对象。文章还将讨论在使用序列化时应注意的安全性问题,以确保你的应用程序既高效又安全。
|
2月前
|
存储 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第9天】在Java的世界里,对象序列化是连接数据持久化与网络通信的桥梁。本文将深入探讨Java对象序列化的机制、实践方法及反序列化过程,通过代码示例揭示其背后的原理。从基础概念到高级应用,我们将一步步揭开序列化技术的神秘面纱,让读者能够掌握这一强大工具,以应对数据存储和传输的挑战。
|
2月前
|
存储 安全 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第3天】在Java编程的世界里,对象序列化与反序列化是实现数据持久化和网络传输的关键技术。本文将深入探讨Java序列化的原理、应用场景以及如何通过代码示例实现对象的序列化与反序列化过程。从基础概念到实践操作,我们将一步步揭示这一技术的魅力所在。
|
1月前
|
存储 缓存 NoSQL
一篇搞懂!Java对象序列化与反序列化的底层逻辑
本文介绍了Java中的序列化与反序列化,包括基本概念、应用场景、实现方式及注意事项。序列化是将对象转换为字节流,便于存储和传输;反序列化则是将字节流还原为对象。文中详细讲解了实现序列化的步骤,以及常见的反序列化失败原因和最佳实践。通过实例和代码示例,帮助读者更好地理解和应用这一重要技术。
34 0
|
3月前
|
JSON 安全 编译器
扩展类实例的序列化和反序列化
扩展类实例的序列化和反序列化
39 1
|
3月前
|
JSON fastjson Java
niubility!即使JavaBean没有默认无参构造器,fastjson也可以反序列化。- - - - 阿里Fastjson反序列化源码分析
本文详细分析了 Fastjson 反序列化对象的源码(版本 fastjson-1.2.60),揭示了即使 JavaBean 沲有默认无参构造器,Fastjson 仍能正常反序列化的技术内幕。文章通过案例展示了 Fastjson 在不同构造器情况下的行为,并深入探讨了 `ParserConfig#getDeserializer` 方法的核心逻辑。此外,还介绍了 ASM 字节码技术的应用及其在反序列化过程中的角色。
90 10
|
3月前
|
存储 XML JSON
用示例说明序列化和反序列化
用示例说明序列化和反序列化
21 1
|
3月前
|
存储 Java 开发者
Java编程中的对象序列化与反序列化
【9月更文挑战第20天】在本文中,我们将探索Java编程中的一个核心概念——对象序列化与反序列化。通过简单易懂的语言和直观的代码示例,你将学会如何将对象状态保存为字节流,以及如何从字节流恢复对象状态。这不仅有助于理解Java中的I/O机制,还能提升你的数据持久化能力。准备好让你的Java技能更上一层楼了吗?让我们开始吧!