python结合openpyxl获取数据并写到excel和csv文件中

简介: python结合openpyxl获取数据并写到excel和csv文件中

 

需求背景:在工作中很少情况会去统计后台菜单与功能,不巧的是最近我们公司收购了其他公司的产品,包括一些后台系统;

有一次登进去瞄了一眼,里面的菜单着实有点多,还包含很多二级、三级、四级等等菜单。

那避免不了去统计菜单的活了,脑海里一下子就有了2中方法:

1、就是使用抓包方式去从页面元素里抓取并且处理;(过程这次咱就不说了)

2、还可以通过接口返回的菜单数据进行获取处理。(这次就说下这个)

       下面我会使用2种方式进行实现:

优化前(使用比较笨拙的方法):

缺点:显而易见的代码量太多了,而且每增加一层目录就要新增几行代码,显得不怎么智能!

先判断大概最多的菜单层级是几层,然后确定输出几层菜单数据(我这里创建了5层菜单):

# menuType = F(操作功能)不是菜单,不需要统计   M(一级目录)  C(二级目录) S (二级页面)
# 遍历菜单数据并输出有层级的目录
def print_menu(menu_list,row_index=2):
    # 创建表格
    wb_1 = openpyxl.Workbook()
    # 创建目录
    sheet = wb_1.create_sheet('菜单目录', 0)
    # 创建一级目录title
    sheet.cell(1, 1, '一级目录')
    # 遍历嵌套的字典
    for menu_dic in menu_list:
        # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
        if menu_dic['menuType'] != 'F':
            # 提取字典中的menuName字段值,存放到表格中
            sheet.cell(row_index, 1, menu_dic['menuName'])
            row_index += 1
            # 判断是否存在子菜单
            if 'menuTreeDtos' in menu_dic and menu_dic['menuTreeDtos'] is not None:
                # 创建二级目录title
                sheet.cell(1, 2, '二级目录')
                # 存在,则遍历列表中的字典
                for child_1 in menu_dic['menuTreeDtos']:
                    # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                    if child_1['menuType'] != 'F':
                        sheet.cell(row_index, 2, child_1['menuName'])
                        row_index += 1
                        # 判断是否存在子菜单
                        if 'menuTreeDtos' in child_1 and child_1['menuTreeDtos'] is not None:
                            # 创建三级目录title
                            sheet.cell(1, 3, '三级目录')
                            for child_2 in child_1['menuTreeDtos']:
                                # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                if child_2['menuType'] != 'F':
                                    sheet.cell(row_index, 3, child_2['menuName'])
                                    row_index += 1
                                    if 'menuTreeDtos' in child_2 and child_2['menuTreeDtos'] is not None:
                                        # 创建四级目录title
                                        sheet.cell(1, 4, '四级目录')
                                        for child_3 in child_2['menuTreeDtos']:
                                            # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                            if child_3['menuType'] != 'F':
                                                sheet.cell(row_index, 4, child_3['menuName'])
                                                row_index += 1
                                                if 'menuTreeDtos' in child_3 and child_3['menuTreeDtos'] is not None:
                                                    # 创建五级目录title
                                                    sheet.cell(1, 5, '五级目录')
                                                    for child_4 in child_3['menuTreeDtos']:
                                                        # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                                        if child_4['menuType'] != 'F':
                                                            sheet.cell(row_index, 5, child_4['menuName'])
                                                            row_index += 1
    print('row_index的值为', row_index - 1)
    wb_1.save('data.xlsx')
    xlsx_to_csv('data.xlsx','data.csv')

查看xlsx表格数据:

我们数据从哪里来呢?

1、接口返回(使用requests库)

2、直接把返回数据复制到文本里,然后使用上下文管理器去读取数据

menu.text文件内容大概是这样的:

写个读取文件内容的方法:

with open('./menu.text', encoding='utf-8', mode='r+') as f:
    json_str = f.readlines()[0]
    # print(json_str)
# 解析JSON字符串获取菜单数据
menu_data = json.loads(json_str)

如果我想把excel里的数据写到csv里 可以吗?

当然可以~

def xlsx_to_csv(filename1, filename2):
    workbook = openpyxl.load_workbook(filename1)
    table = workbook.active
    # utf-8-sig: 可以解决中文乱码问题
    with open(filename2, "w+", encoding="utf-8-sig") as f:
        import csv
        write = csv.writer(f)
        data = []
        for i in range(1, table.max_row + 1):
            row_stack = []
            for j in range(1, table.max_column + 1):
                row_stack.append(table.cell(row=i, column=j).value)
            data.append(row_stack)
        write.writerows(data)
        print('转换成功!!!')

csv文件的内容大概是这样的:

优化后(使用递归):

这个方法明显代码量减少了很多了,而且后期不需要一次一次的因为层级改变去增减代码!

# 创建表格
wb_1 = openpyxl.Workbook()
# 创建目录
sheet = wb_1.create_sheet('菜单目录', 0)
row_index=1
sheet.cell(1, 1, '1级目录')
sheet.cell(1, 7, '功能目录')
# 递归函数,遍历节点并记录每一层级的menuName值
def print_menu(data,col_index):
    global  row_index
    if isinstance(data,dict):
        # print(data)
        for k_list in data.keys():
            if "menuName" in k_list:
                row_index += 1
                if data["menuType"]!="F":
                    print(data)
                    sheet.cell(row_index, col_index-1, data['menuName'])
                    if 'menuTreeDtos' in data and data['menuTreeDtos'] is not None:
                        print("row_index:",row_index)
                        print("col_index:",col_index)
                        print_menu(data['menuTreeDtos'],col_index)
                else:
                    sheet.cell(row_index, 7, data['menuName'])
    else:
        for i in data:
            sheet.cell(1, col_index+1, f'{col_index+1}级目录')
            print_menu(i,col_index+1)
# 输出有层级的目录并返回结果列表
result = print_menu(menu_data,1)
wb_1.save('data_1.xlsx')

写进表格里的数据为:

看上去是不是轻便很多

相关文章
|
4天前
|
监控 网络安全 开发者
Python中的Paramiko与FTP文件夹及文件检测技巧
通过使用 Paramiko 和 FTP 库,开发者可以方便地检测远程服务器上的文件和文件夹是否存在。Paramiko 提供了通过 SSH 协议进行远程文件管理的能力,而 `ftplib` 则提供了通过 FTP 协议进行文件传输和管理的功能。通过理解和应用这些工具,您可以更加高效地管理和监控远程服务器上的文件系统。
38 20
|
9天前
|
存储 数据采集 数据处理
如何在Python中高效地读写大型文件?
大家好,我是V哥。上一篇介绍了Python文件读写操作,今天聊聊如何高效处理大型文件。主要方法包括:逐行读取、分块读取、内存映射(mmap)、pandas分块处理CSV、numpy处理二进制文件、itertools迭代处理及linecache逐行读取。这些方法能有效节省内存,提升效率。关注威哥爱编程,学习更多Python技巧。
|
10天前
|
存储 JSON 对象存储
如何使用 Python 进行文件读写操作?
大家好,我是V哥。本文介绍Python中文件读写操作的方法,包括文件读取、写入、追加、二进制模式、JSON、CSV和Pandas模块的使用,以及对象序列化与反序列化。通过这些方法,你可以根据不同的文件类型和需求,灵活选择合适的方式进行操作。希望对正在学习Python的小伙伴们有所帮助。欢迎关注威哥爱编程,全栈路上我们并肩前行。
|
25天前
|
存储 算法 Serverless
剖析文件共享工具背后的Python哈希表算法奥秘
在数字化时代,文件共享工具不可或缺。哈希表算法通过将文件名或哈希值映射到存储位置,实现快速检索与高效管理。Python中的哈希表可用于创建简易文件索引,支持快速插入和查找文件路径。哈希表不仅提升了文件定位速度,还优化了存储管理和多节点数据一致性,确保文件共享工具高效运行,满足多用户并发需求,推动文件共享领域向更高效、便捷的方向发展。
|
2月前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
219 10
|
4月前
|
数据采集 存储 JavaScript
自动化数据处理:使用Selenium与Excel打造的数据爬取管道
本文介绍了一种使用Selenium和Excel结合代理IP技术从WIPO品牌数据库(branddb.wipo.int)自动化爬取专利信息的方法。通过Selenium模拟用户操作,处理JavaScript动态加载页面,利用代理IP避免IP封禁,确保数据爬取稳定性和隐私性。爬取的数据将存储在Excel中,便于后续分析。此外,文章还详细介绍了Selenium的基本设置、代理IP配置及使用技巧,并探讨了未来可能采用的更多防反爬策略,以提升爬虫效率和稳定性。
233 4
|
2月前
|
存储 Java easyexcel
招行面试:100万级别数据的Excel,如何秒级导入到数据库?
本文由40岁老架构师尼恩撰写,分享了应对招商银行Java后端面试绝命12题的经验。文章详细介绍了如何通过系统化准备,在面试中展示强大的技术实力。针对百万级数据的Excel导入难题,尼恩推荐使用阿里巴巴开源的EasyExcel框架,并结合高性能分片读取、Disruptor队列缓冲和高并发批量写入的架构方案,实现高效的数据处理。此外,文章还提供了完整的代码示例和配置说明,帮助读者快速掌握相关技能。建议读者参考《尼恩Java面试宝典PDF》进行系统化刷题,提升面试竞争力。关注公众号【技术自由圈】可获取更多技术资源和指导。
|
6月前
|
关系型数据库 MySQL Shell
不通过navicat工具怎么把查询数据导出到excel表中
不通过navicat工具怎么把查询数据导出到excel表中
66 0
|
4月前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据,处理后将其保存为txt、xlsx和csv格式的文件。
243 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
|
4月前
|
easyexcel Java UED
SpringBoot中大量数据导出方案:使用EasyExcel并行导出多个excel文件并压缩zip后下载
在SpringBoot环境中,为了优化大量数据的Excel导出体验,可采用异步方式处理。具体做法是将数据拆分后利用`CompletableFuture`与`ThreadPoolTaskExecutor`并行导出,并使用EasyExcel生成多个Excel文件,最终将其压缩成ZIP文件供下载。此方案提升了导出效率,改善了用户体验。代码示例展示了如何实现这一过程,包括多线程处理、模板导出及资源清理等关键步骤。