利用cdp拿到自动化测试后的js覆盖率数据并展示

简介: 不熟悉cdp的可以参见前文:Chrome remote debugging protocol在自动化测试中的应用和实践cov的数据结构首先,使用takePreciseCoverage方法来拿到js执行数据,这个数据的数据结构是这样的: 'r...

不熟悉cdp的可以参见前文:Chrome remote debugging protocol在自动化测试中的应用和实践

cov的数据结构

首先,使用takePreciseCoverage方法来拿到js执行数据,这个数据的数据结构是这样的:

    'result': {
        'result': [{
            'scriptId': '17',
            'url':'https://www.xxxxxxxxx.com/browser/guide.js',
            'functions': [{
                'functionName': 'get',
                'ranges': [{
                    'startOffset': 0,
                    'endOffset': 4273,
                    'count': 1
                }],
                'isBlockCoverage': False
            },
            }],
        }],
    }
        ......

一个result包含多个js的统计情况,每个url基本就是js的请求地址;在每个js的统计情况里,又有多个function的统计情况,每个function里的startOffset和endOffset指的是这个方法的被统计语句按字节位置来算的开始位置和结束位置,count代表这段语句是否被执行到,1代表是,0代表否。

因此,思路就是,拿到测试完成后的js统计数据,然后通过每个js统计数据里的每个function的统计坐标值和统计状态,和原始js数据比对,从而实现对js覆盖状况的总览。

下面说一下具体流程。

过滤cov数据

cov数据(也就是上文的js统计数据)不是直接可用的,因为首先获取到的覆盖率是十分全面的,全面到会有很多额外的你不想要的数据,比如通用的js类库,还有dev tools操作时的js数据等等,所以第一步是过滤cov数据。

过滤分为两步,第一步是过滤掉你不需要的js统计数据,这里根据主域名来过滤,具体是写了cov_domain_filter()这个方法(详见源码,下同。),接受一个数组,数组内容是你要过滤的主域名列表,然后返回给你只留下含有主域名的js的统计数据。

第二步,因为这个统计数据包含了所有的执行状态的统计,包括覆盖到的和未覆盖到的,我们只需要标注出未覆盖到的代码,就可以体现出覆盖情况,因此这里进一步过滤了状态,只留下了未覆盖到的代码的统计情况,具体方法是cov_not_count_filter()。

至此,我们的数据就过滤完成了。

合并cov数据

仔细研究了一下cov数据,发现每个js的统计数据里,会有相同的function的统计数据,例如前面有一个function test,他的数据是{startoffset:10;endoffset:29},后面又可能存在一个unction test,他的数据是{startoffset:30;endoffset:60},当然他们的数据不一样,我猜测他是根据测试的进程,不断的在js的统计数据里追加方法统计数据,这点没有彻底的领悟作者的意图。

出于后面的统计结果展示方便,这里我把这种数据都给合并了,例如前文的例子,把他的数据合并了就是{startoffset:10;endoffset:60},这样每个js的统计数据里,只可能存在一个方法,每个方法会有多个不可再合并的统计数据,这里的方法是merge_same_func_ranges。

对比和追加cov数据

如果只进行一次的测试过程的覆盖率收集,那么这一步是不必要做的,但是,考虑到一个模块可能要多个测试用例才能覆盖完流程分支,那么要想获得这个模块的覆盖率,就只有在每个用例完成后,将收集的cov数据和前一次的进行对比和追加。

这里是写的很痛苦了,因为cov的数据结构不是我是谷歌制定的,本身对于为什么要这么设计也并不理解充分,这个数据结构层级非常的深,所以要对比并进行追加就非常的繁琐,这里用了大量的列表推导式来代替for循环,否则for循环会更多,这个方法是make_covdata_file。

将cov数据最终展示

cov数据处理完,还需要一个网页进行展示,这里是用了一个模板类,通过设立html模板,将数据替换,再生成从而实现了简单的网页展示,如果你有更高的需求可以自行进行设计。

这里要说的是着色器模块,也就是给数据上背景色,设计上是通过对未覆盖的代码两端插入背景色的html代码来实现未覆盖代码的醒目展示,这里存在一个算法问题,因为你不能直接根据代码的起始坐标(也就是startoffset和endoffset)直接插入背景色html代码,因为当你第一次插入的时候是没问题的,但你要在下一个坐标插入的时候,就会出问题,因为你之前插入了代码的缘故,对下一个坐标而言,已经不是真实坐标了,需要加上之前背景色代码的偏移量。

这里我不(jiu)得(shi)已(lan)采用了一个非常牺牲性能的办法,就是直接拿cov数据复制出副本,用需要加背景的代码的起始坐标拿出这部分的字符串,然后在副本里搜索并添加背景代码,然后再替换回去(捂脸哭)。

最终的展示效果

这里我做了一个简单的本地文件作为示例,看一下最终结果。

img_d175b822bbe4517076ddcce9d6c6a3f1.png
覆盖率效果展示.png

为了方便演示,整个profiler模块被我集成进了之前的一个ui测试框架里,例子也直接扔进去了,只需要把这个项目clone下来,然后把环境变量修改为你的,再运行process模块就可以体验,当然你也可以直接使用这个模块。

一些tips

1.不能用于压缩混淆后的js上;

2.因为展示部分的着色器算法性能损耗过大,所以如果你要生成报告的话会很慢,有兴趣的可以自己重写这部分。

3.php项目,结合博客里的php覆盖率统计方法,可以和这个模块一起做到前后端代码覆盖率统计。

目录
相关文章
|
2月前
|
数据采集 存储 JavaScript
自动化数据处理:使用Selenium与Excel打造的数据爬取管道
本文介绍了一种使用Selenium和Excel结合代理IP技术从WIPO品牌数据库(branddb.wipo.int)自动化爬取专利信息的方法。通过Selenium模拟用户操作,处理JavaScript动态加载页面,利用代理IP避免IP封禁,确保数据爬取稳定性和隐私性。爬取的数据将存储在Excel中,便于后续分析。此外,文章还详细介绍了Selenium的基本设置、代理IP配置及使用技巧,并探讨了未来可能采用的更多防反爬策略,以提升爬虫效率和稳定性。
101 4
|
2月前
|
安全 测试技术
北大李戈团队提出大模型单测生成新方法,显著提升代码测试覆盖率
【10月更文挑战第1天】北京大学李戈教授团队提出了一种名为“统一生成测试”的创新方法,有效提升了大模型如GPT-2和GPT-3在单一测试中的代码生成覆盖率,分别从56%提升至72%和从61%提升至78%。这种方法结合了模糊测试、变异测试和生成对抗网络等多种技术,克服了传统测试方法的局限性,在大模型测试领域实现了重要突破,有助于提高系统的可靠性和安全性。然而,该方法的实现复杂度较高且实际应用效果仍需进一步验证。论文可从此链接下载:【https://drive.weixin.qq.com/s?k=ACAAewd0AA48Z2kXrJ】
66 1
|
3月前
|
人工智能 测试技术 开发者
北大李戈团队提出大模型单测生成新方法,显著提升代码测试覆盖率
【9月更文挑战第27天】北京大学李戈团队在人工智能领域取得重要突破,提出HITS新方法,通过将待测方法分解为多个切片并利用大型语言模型逐个生成测试用例,显著提升代码测试覆盖率,尤其在处理复杂方法时效果显著,为软件开发和测试领域带来新希望。尽管存在一定局限性,HITS仍展示了巨大潜力,未来有望克服限制,推动软件测试领域的创新发展。论文详情见【https://www.arxiv.org/pdf/2408.11324】。
104 6
|
1天前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
|
27天前
|
数据采集 存储 监控
实现自动化数据抓取:使用Node.js操控鼠标点击与位置坐标
本文介绍了如何使用Node.js和Puppeteer实现自动化数据抓取,特别是针对新闻网站“澎湃新闻”。通过设置代理IP、User-Agent和Cookie,提高爬虫的效率和隐蔽性,避免被网站封锁。代码示例展示了如何模拟鼠标点击、键盘输入等操作,抓取并整理新闻数据,适用于需要规避IP限制和突破频率限制的场景。
72 10
|
29天前
|
数据采集 存储 JavaScript
如何使用Puppeteer和Node.js爬取大学招生数据:入门指南
本文介绍了如何使用Puppeteer和Node.js爬取大学招生数据,并通过代理IP提升爬取的稳定性和效率。Puppeteer作为一个强大的Node.js库,能够模拟真实浏览器访问,支持JavaScript渲染,适合复杂的爬取任务。文章详细讲解了安装Puppeteer、配置代理IP、实现爬虫代码的步骤,并提供了代码示例。此外,还给出了注意事项和优化建议,帮助读者高效地抓取和分析招生数据。
如何使用Puppeteer和Node.js爬取大学招生数据:入门指南
|
2月前
|
设计模式 关系型数据库 测试技术
进阶技巧:提高单元测试覆盖率与代码质量
【10月更文挑战第14天】随着软件复杂性的不断增加,确保代码质量的重要性日益凸显。单元测试作为软件开发过程中的一个重要环节,对于提高代码质量、减少bug以及加快开发速度都有着不可替代的作用。本文将探讨如何优化单元测试以达到更高的测试覆盖率,并确保代码质量。我们将从编写有效的测试用例策略入手,讨论如何避免常见的测试陷阱,使用mocking工具模拟依赖项,以及如何重构难以测试的代码。
62 4
|
2月前
|
前端开发 JavaScript
JS-数据筛选
JS-数据筛选
34 7
|
2月前
|
存储 测试技术 数据库
数据驱动测试和关键词驱动测试的区别
数据驱动测试 数据驱动测试或 DDT 也被称为参数化测试。
|
2月前
|
JavaScript 数据安全/隐私保护
2024了,你会使用原生js批量获取表单数据吗
2024了,你会使用原生js批量获取表单数据吗
50 4