聊聊ClickHouse的开发、编译和测试

简介: 聊聊ClickHouse的开发、编译和测试

ClickHouse为了一款性能极佳的开源OLAP数据库,在最近几年也是越来越火,除了在各大互联网公司落地生根之外,也吸引了一大批热心的贡献者。


截止到v21.10版本,CH在全球一共有1064名contributor。

SELECT count(1)
FROM system.contributors
Query id: 7cdf54f1-cb50-45c0-99b9-14d73d283e39
┌─count()─┐
│    1064 │
└─────────┘

而要给社区贡献代码,首先就要经历一次完整的开发、编译和测试过程,文本将总结上述流程中常用到的一些工具和技巧,希望对有志于贡献CH代码的同学能有所帮助。



开发


开发环境配置可参考以下文章


  • C++开发环境最佳实践
  • vscode clangd c++开发常见问题和解决方案



编译


在编译之前,下载最新代码

git clone https://github.com/clickhouse/clickhouse

然后git submodule三连, 拉取第三方库代码

git submodule update --init --recursive 
git submodule foreach git checkout .
git submodule sync     --recursive

接下来便是编译了,由于社区已经明确不支持gcc了,所以建议使用clang-12或clang-13编译。

mkdir -p build_clang
cd build_clang
cmake  -G Ninja "-DCMAKE_C_COMPILER=$(command -v clang-13)" "-DCMAKE_CXX_COMPILER=$(command -v clang++-13)"  -DCMAKE_BUILD_TYPE=Debug -DENABLE_TESTS=0 -DENABLE_UTILS=0  -DENABLE_THINLTO=0 -DENABLE_NURAFT=0 -DDISABLE_HERMETIC_BUILD=1 ..
ninja clickhouse



调试


调试环境搭建可参考:vscode c++远程调试实战

另外调试CH的过程中最好忽略SIGUSR1SIGUSR2信号(这俩信号用于统计query的一些指标),否则你会发现调试过程老被这俩信号打断。


debugger为gdb时,设置:

handle  SIGUSR1  noprint nostop
handle  SIGUSR2  noprint nostop

debugger为lldb时,设置:

pro hand -p false -s false -n false SIGUSR1
pro hand -p false -s false -n false SIGUSR1



测试


虽然社区已经有github actions用于检查新提交PR, 但肯定不如本地检查来的快。以下将介绍几个常用的测试工具:


check-style


check-style用于检查代码风格,CH对代码的要求还是比较高的,所以建议写完代码之后用check-style工具跑一遍,看看有哪些地方不符合社区的要求。

./utils/check-style/check-style | tee style.log

一般新手常见的错误有两种:


  • 大括号没有换行写


  • 行尾有空格


functional test


CH中最普遍最常用的一种测试情况,输入为sql或shell文件, 输出为sql执行结果,如果发现sql预期执行结果与实际不同,则判定该functional test失败。


那么如何运行functional test呢,分两种情况


对于输入为sql的functional test:

export CLICKHOUSE_CLIENT="/path/to/clickhouse client --host XX --port XX --user XX --password XX -m"
cat tests/queries/0_stateless/XXX.sql | $CLICKHOUSE_CLIENT

对于输入为shell的:

export CLICKHOUSE_CLIENT="/path/to/clickhouse client --host XX --port XX --user XX --password XX -m"
bash -x  tests/queries/0_stateless/01675_distributed_bytes_to_delay_insert_long.sh

fast test


被社区用于对PR的快速验证,会执行编译,并运行部分functional tests。当你发现提交的PR没通过fast test时,最好的办法便是在本地环境复现它。

export LLVM_VERSION=13
export PULL_REQUEST_NUMBER=31104
export stage="" # stage按照顺序有"", clone_root, run, clone_submodules, run_cmake, build, configure, run_test等选项,用户可按需设置stage参数。
export FASTTEST_WORKSPACE=/path/to/fasttest/workspace # fast test会在该目录下下载PR代码并编译运行
cd ./docker/test/fasttest
bash -x run.sh  | tee run.log  

integration test


在CH中,有很多测试依赖集群环境或者其他组件(mysql, zookeeper, hdfs等等),这时functional test便行不通了,所以社区引入了integration test


在本地我们仍可运行集成测试,以test_storage_hdfs为例:

cd $prefix/tests/integration
sudo ./runner --binary $prefix/build_clang/programs/clickhouse  --odbc-bridge-binary $prefix/b



相关文章
|
15天前
|
Dart 前端开发 Android开发
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
|
8天前
|
小程序 前端开发 关系型数据库
uniapp跨平台框架,陪玩系统并发性能测试,小程序源码搭建开发解析
多功能一体游戏陪练、语音陪玩系统的开发涉及前期准备、技术选型、系统设计与开发及测试优化。首先,通过目标用户分析和竞品分析明确功能需求,如注册登录、预约匹配、实时语音等。技术选型上,前端采用Uni-app支持多端开发,后端选用PHP框架确保稳定性能,数据库使用MySQL保证数据一致性。系统设计阶段注重UI/UX设计和前后端开发,集成WebSocket实现语音聊天。最后,通过功能、性能和用户体验测试,确保系统的稳定性和用户满意度。
|
2月前
|
IDE 测试技术 开发工具
10个必备Python调试技巧:从pdb到单元测试的开发效率提升指南
在Python开发中,调试是提升效率的关键技能。本文总结了10个实用的调试方法,涵盖内置调试器pdb、breakpoint()函数、断言机制、logging模块、列表推导式优化、IPython调试、警告机制、IDE调试工具、inspect模块和单元测试框架的应用。通过这些技巧,开发者可以更高效地定位和解决问题,提高代码质量。
247 8
10个必备Python调试技巧:从pdb到单元测试的开发效率提升指南
|
3月前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
86 1
|
3月前
|
存储 算法 C语言
用C语言开发游戏的实践过程,包括选择游戏类型、设计游戏框架、实现图形界面、游戏逻辑、调整游戏难度、添加音效音乐、性能优化、测试调试等内容
本文探讨了用C语言开发游戏的实践过程,包括选择游戏类型、设计游戏框架、实现图形界面、游戏逻辑、调整游戏难度、添加音效音乐、性能优化、测试调试等内容,旨在为开发者提供全面的指导和灵感。
78 2
|
4月前
|
测试技术 网络安全
什么是软件测试? 软件测试都有什么岗位 ?软件测试和调试的区别? 软件测试和开发的区别? 一位优秀的测试人员应该具备哪些素质? 软件测试等相关概念入门篇
文章全面介绍了软件测试的基本概念、目的、岗位分类、与开发和调试的区别,并阐述了成为优秀测试人员应具备的素质和技能。
377 1
什么是软件测试? 软件测试都有什么岗位 ?软件测试和调试的区别? 软件测试和开发的区别? 一位优秀的测试人员应该具备哪些素质? 软件测试等相关概念入门篇
|
4月前
|
人工智能 监控 测试技术
云应用开发平台测试
云应用开发平台测试
96 2
|
3月前
|
安全 测试技术 持续交付
云计算时代的软件开发与测试:高效、灵活、可扩展
云计算时代的软件开发与测试:高效、灵活、可扩展
|
4月前
|
敏捷开发 测试技术
开发模型(瀑布、螺旋、scrum) 和 测试模型(V、W)、增量和迭代、敏捷(思想)及敏捷开发 scrum
文章详细介绍了软件开发过程中的不同开发模型(瀑布、螺旋、Scrum)和测试模型(V模型、W模型),以及增量和迭代的概念,最后阐述了敏捷思想及其在敏捷开发(如Scrum)中的应用。
206 0
开发模型(瀑布、螺旋、scrum) 和 测试模型(V、W)、增量和迭代、敏捷(思想)及敏捷开发 scrum
|
4月前
|
存储 SQL 分布式计算
大数据-135 - ClickHouse 集群 - 数据类型 实际测试
大数据-135 - ClickHouse 集群 - 数据类型 实际测试
57 0