Open, collaboration and Win-win.
———程力
ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会。作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动早期的知名活动之一。
早在 1998 年,在 ASF 成立之前,ApacheCon 已经吸引了各个层次的参与者,在 300 多个 Apache 项目及其不同的社区中探索 "明天的技术"。也是在这一届上,开发 HTTPD 服务的开发者们欢聚一堂,并决定成立 Apache 软件基金会。
ApacheCon 每年举办一次,一般在欧洲或北美举行,是 Apache 开发者们线下交流、讨论、见面的绝佳机会,也是分享想法、思想激荡的难得的场合。通过动手实作、主题演讲、实际案例研究、培训、黑客松活动等方式,展示 Apache 项目的最新发展和新兴创新。
今年,为了更好地服务于亚太快速增长的 Apache 用户和贡献者,ApacheCon 组委会以及 Apache 软件基金会很高兴地宣布,首次针对亚太地区时区的 ApacheCon 在线会议 ApacheCon Asia 大会将于 2021 年 8 月 6 日至 8 日在线举行。
为了让大家进一步了解开源、了解 ApacheCon Asia,SegmentFault 思否将采访部分 Track Chair 或大会讲师,让你了解大会筹备的背后,和这些专家大牛们的故事。
今天,我们为大家带来的是,我们对腾讯云高级工程师程力的访谈。
以下为 SegmentFault 思否对程力的访谈内容:
关于程力
我是Apache Ozone社区PMC,Hadoop社区Committer,目前在腾讯云对象存储团队工作。曾经在AWS S3,华为存储等团队工作过。
程力初次接触开源的故事
第一次大规模的投入开源是2019年,hadoop孵化对象存储项目Ozone,作为一个开源新人,投入Ozone项目中,跟随项目一起成长,主导设计交付了MultiRaft,SCM HA等重大特性后,在社区中担任了更重要的角色,同时也伴随了Ozone成为了Apache顶级项目。
在参与开源并且为 Apache 社区做贡献的时候,个人及公司有哪些收获?
首先从参加Apache开源社区开始,我个人本身的代码规范,代码质量,到与社区成员合作沟通,共同协作的能力都有了明显的增长。更理解了开源社区,合作开放共赢的意义,同时伴随着Ozone项目成为Apache顶级项目和腾讯公司的在Hadoop和Ozone项目上的持续投入,在公司内外部的大数据项目中,也交付了一些内外部的客户使用场景,利用Ozone这个存储项目,帮助腾讯公司在私有化高密度存储设备的使用上找到了解决方案,实现了外部客户的实际价值。
程力理解的“The Apache Way”?
Open, collaboration and Win-win.
程力与 ApacheCon Asia
这次我有两个talk:
Big Data
腾讯云基于Hadoop-COS搭建的三层透明加速,助力数据湖
腾讯云对象存储COS在2019年提交Hadoop-COS文件系统插件到Hadoop社区后,融入了云原生存储的场景中,承载了大数据、AI、容器等应用EB级别的数据量。
今年腾讯云COS对于Hadoop-COS做了全面升级,增加了数据湖三层加速的功能特性,加速数据湖的构建和发展,同时助力大数据和AI的架构融合。本次演讲主要分享:
- 云原生生态下的Hadoop-COS存算分离
- Hadoop-COS三层透明加速
- 大数据和AI下的数据湖架构
此次演讲中,讲师主要分享腾讯云基于对象存储COS推出的湖仓三层加速方案,能达到最高10倍的读写加速提速,并且基于Hadoop-COS做到了Schema透明加速。
同时分享者也将介绍腾讯云如何基于Hadoop-COS三层透明加速,融入大数据+AI的统一数据湖架构。
期待听众对于腾讯云的数据湖加速方案有所了解,理解数据湖在大数据和AI场景下目前的具体使用案例。
Big Data
Apache Ozone如何利用Raft协议完成高可用方案和吞吐性能大幅提升
Apache Ozone在2020年正式成为Apache顶级项目,Ozone支持对象、HCFS,fuse等多种访问方式,腾讯工程师在Ozone社区中表现突出。
腾讯云团队在Ozone社区领导开发多个重要特性,此次演讲将重点分享其中两大特性,MultiRaft和Ozone High Availability,这两个Ozone社区的关键特性都是基于Raft协议完成的。
本次演讲主要分享:
- 如何利用Java Reflection和Raft协议完成Ozone元数据的强一致同步,完成Ozone高可用性建设
- 如何利用Multi-Raft特性,提升Ozone DataNode的单节吞吐能力
- 如何Multi-Raft特性,适配高密度硬盘机型,将Ozone融入私有化数据湖方案
观众可以从演讲中获取腾讯团队巧妙运用Raft和Java reflection解决Ozone一致性难题,同时也能从Multi-Raft实现和配合高密度磁盘机型的案例中获取优化DataNode写性能的新思路。
期待用户深入了解Ozone项目如何通过Raft实现元数据高可用和数据节点性能优化。