程序解码错误-由python的requests.post 请求结果乱码引起的思考

简介: 最近,在使用python的requests.post的时候,不论结果如何处理,得到的都是乱码。乱码的原因是什么?Accept-Encoding和Content-Encoding的本质是什么?

最近,在使用python的requests.post的时候,不论结果如何处理,得到的都是乱码。代码如下:

import requests

headers = {
    "Accept-Encoding": "gzip, deflate, br",
}
param = '{"name":"tom"}'
resp = requests.post(url=url, data=param,headers=headers)
print(resp.content)
print(resp.text)

结果如图:

<\xe3\x80\xe13\x0c\xe5\xceS\xffL\xcd\xc5\x91\xe2V\xe5\xd1\x8d\x81\xfa\x00a\xb8\x0e7\xd2\xa5\xcbG\xf3@\xb1\x8d\xf4~\xcf\xad\xa3\x8c\x02\xea\xc1\xcdY\xe4p\xb39\xb9\xc1\xdb\xd7}\xa3\x02\x13\xa2\x84}"\xda\xcb\xd6\x8a\xba\xf4\x0c\xf6\xc4\xab\x18\x98\xadPg\xdc\xbd\xf3Wp\xa3\xb3pP\x91}y2\xe3\xf4U\x1b&\xd2u\xe3uW\xc4w\x1dL0\xd1\x97\xff\xd5N\xf1d\x87\xb7:\x9b=\xf0\r\x15\xceM\xf0)G\xee\xf9\xad\x15\xed\xfc\xbd\xca@\xadON\xdc\x14\xefyH\xa3KU\x87\xaf5#1\xf4\xff\xe3iE\xb7\xeat\xc5Lc\x8e\x0f`\x83\xbd\xe1\xec\xb8\xb1\x9b\xfa\x04A\xdf_\x88+\xe5A\xf2\xdbOmH;\xe0\xa3:\xac\xf9\xab\xc9`\x19\xbe\x92i;
�7� b0���������S0Yw�#"f�k���y�\ԓ�7�X����)u�!z�7��h�Ⱥ�1ޡ b0����4�J�w�th|b&�ɺ7"f�.�70�v�����E�"PB(�a27�ɘ��a��b21&��a

网上很多文章都说是编码的问题,比如修改编码:

resp.encoding='utf-8'
print(resp.text)
或者
print(resp.content.decode(encoding="utf-8"))  

然而,问题依旧!!!!!

这时候,查看一下response返回结果的header信息

print(resp.headers)

看到的header信息如下:

{
'Date': 'Tue, 05 Feb 2023 12:31:52 GMT', 
'Content-Type': 'application/json; charset=UTF-8', 
'Transfer-Encoding': 'chunked', 
'Connection': 'keep-alive', 'Vary': 'Accept-Encoding',
 'Content-Encoding': 'br'
 }

里面的{'Content-Encoding': 'br'} 这个引起了我的注意。于是就查了一下br是个什么东东??原来“br”是一种新的压缩算法,全称是Brotli。
我想,会不会是因为客户端不支持“br"这种算法导致的乱码呢?
于是,把requests.post的header修改了一下,把里面"br"算法删除,改为

headers = {
    "Accept-Encoding": "gzip, deflate",
}

然后再次运行,运行结果非常非常正常!果然是因为这个“br"算法导致的问题

问题原因

痛定思痛,捋一下思路,问题本身出在Content-Encoding与Accept-Encoding这2个header配置上面。

Content-Encoding与Accept-Encoding的说明

当设置压缩格式后,服务器会根据用户设置的压缩格式对页面进行压缩,节省http请求的流量。
 
当服务端接收到请求,并且从header里拿到编码标识时,就可以选择其中一种方式来进行编码压缩,然后返给客户端。当response的header里没有编码标识的话,客户端就不知道服务端是用的哪种方式压缩的,所以需要Content-Encoding来标识服务端压缩时所用的压缩方式。

简单的说:

  • Accept-Encoding:用来标识客户端能够理解的内容编码方式。
  • Content-Encoding:用来标识主体进行了何种方式的内容编码转换。
Accept-Encoding 是HTTP协议的请求报文头,一般形式如
"Accept-Encoding": "gzip, deflate, br"
其中:
  gzip
  deflate
  br    压缩算法 Brotli
Content-Encoding 是HTTP协议的响应报文头,一般形式如:
"Content-Encoding":"gzip,deflate,compress"
其中:
  gzip  表明实体采用GNU zip编码(使用最多)
  compress 表明实体采用Unix的文件压缩程序
  deflate 表明实体是用zlib的格式压缩的
  identity 表明没有对实体进行编码。当没有Content-Encoding header时, 就默认为这种情况

到这里,问题就彻底明了了,因为Content-Encoding设置的是“br”算法,但是客户端不支持br算法,所以,导致了乱码的现象。

问题解决

  1. 简单的解决
    在请求的时候,把header的“br”算法删除掉
  2. 根本的解决
    如果非要保留br算法,python客户端应该怎么做呢?

python里有个“brotli”包,就是针对这个算法的

# 安装brotli
pip install Brotli

对response进行解码

import brotli
import requests

headers = {
    "Accept-Encoding": "gzip, deflate, br",
}
param = '{"name":"tom"}'
resp = requests.post(url=url, data=param,headers=headers)

resp = requests.post(url=url, data=param,headers=headers)
val = brotli.decompress(resp.content)
print(val)

大功告成!

相关文章
|
23天前
|
机器学习/深度学习 数据挖掘 Python
Python编程入门——从零开始构建你的第一个程序
【10月更文挑战第39天】本文将带你走进Python的世界,通过简单易懂的语言和实际的代码示例,让你快速掌握Python的基础语法。无论你是编程新手还是想学习新语言的老手,这篇文章都能为你提供有价值的信息。我们将从变量、数据类型、控制结构等基本概念入手,逐步过渡到函数、模块等高级特性,最后通过一个综合示例来巩固所学知识。让我们一起开启Python编程之旅吧!
|
23天前
|
存储 Python
Python编程入门:打造你的第一个程序
【10月更文挑战第39天】在数字时代的浪潮中,掌握编程技能如同掌握了一门新时代的语言。本文将引导你步入Python编程的奇妙世界,从零基础出发,一步步构建你的第一个程序。我们将探索编程的基本概念,通过简单示例理解变量、数据类型和控制结构,最终实现一个简单的猜数字游戏。这不仅是一段代码的旅程,更是逻辑思维和问题解决能力的锻炼之旅。准备好了吗?让我们开始吧!
|
2月前
|
数据采集 前端开发 算法
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
本文介绍了如何使用 Python 的 `requests` 库应对复杂的 HTTP 请求场景,包括 Spider Trap(蜘蛛陷阱)、SESSION 访问限制和请求频率限制。通过代理、CSS 类链接数控制、多账号切换和限流算法等技术手段,提高爬虫的稳定性和效率,增强在反爬虫环境中的生存能力。文中提供了详细的代码示例,帮助读者掌握这些高级用法。
103 1
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
|
24天前
|
JSON API 数据格式
Python中获取HTTP请求响应体的详解
本文介绍了如何使用Python的`requests`和`urllib`库发送HTTP请求并处理响应体。`requests`库简化了HTTP请求过程,适合快速开发;`urllib`库则更为底层,适用于性能要求较高的场景。文章详细演示了发送GET请求、处理JSON响应等常见操作。
36 3
|
25天前
|
机器学习/深度学习 数据挖掘 开发者
Python编程入门:理解基础语法与编写第一个程序
【10月更文挑战第37天】本文旨在为初学者提供Python编程的初步了解,通过简明的语言和直观的例子,引导读者掌握Python的基础语法,并完成一个简单的程序。我们将从变量、数据类型到控制结构,逐步展开讲解,确保即使是编程新手也能轻松跟上。文章末尾附有完整代码示例,供读者参考和实践。
|
1月前
|
机器学习/深度学习 算法 编译器
Python程序到计算图一键转化,详解清华开源深度学习编译器MagPy
【10月更文挑战第26天】MagPy是一款由清华大学研发的开源深度学习编译器,可将Python程序一键转化为计算图,简化模型构建和优化过程。它支持多种深度学习框架,具备自动化、灵活性、优化性能好和易于扩展等特点,适用于模型构建、迁移、部署及教学研究。尽管MagPy具有诸多优势,但在算子支持、优化策略等方面仍面临挑战。
67 3
|
1月前
|
算法 测试技术 开发者
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗
在Python开发中,性能优化和代码审查至关重要。性能优化通过改进代码结构和算法提高程序运行速度,减少资源消耗;代码审查通过检查源代码发现潜在问题,提高代码质量和团队协作效率。本文介绍了一些实用的技巧和工具,帮助开发者提升开发效率。
40 3
|
1月前
|
存储 人工智能 数据挖掘
Python编程入门:构建你的第一个程序
【10月更文挑战第22天】编程,这个听起来高深莫测的词汇,实际上就像搭积木一样简单有趣。本文将带你走进Python的世界,用最浅显的语言和实例,让你轻松掌握编写第一个Python程序的方法。无论你是编程新手还是希望了解Python的爱好者,这篇文章都将是你的理想起点。让我们一起开始这段奇妙的编程之旅吧!
26 3
|
1月前
|
存储 机器学习/深度学习 搜索推荐
Python编程入门:从零开始构建你的第一个程序
【10月更文挑战第32天】本文旨在通过浅显易懂的方式引导编程新手进入Python的世界。我们将一起探索Python的基础语法,并通过实例学习如何构建一个简单的程序。文章将不直接展示代码,而是鼓励读者在阅读过程中自行尝试编写,以加深理解和记忆。无论你是编程初学者还是希望巩固基础知识的开发者,这篇文章都将是你的良师益友。让我们开始吧!
|
2月前
|
存储 开发者 Python
Python编程入门:构建你的第一个程序
【10月更文挑战第8天】本文旨在为初学者提供一个简单的Python编程入门指南。我们将从安装Python环境开始,逐步介绍如何编写、运行和理解一个简单的Python程序。文章将通过一个实际的代码示例来展示Python的基本语法和结构,帮助读者快速上手Python编程。