腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

Open, collaboration and Win-win.

———程力

ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会。作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动早期的知名活动之一。

早在 1998 年,在 ASF 成立之前,ApacheCon 已经吸引了各个层次的参与者,在 300 多个 Apache 项目及其不同的社区中探索 "明天的技术"。也是在这一届上,开发 HTTPD 服务的开发者们欢聚一堂,并决定成立 Apache 软件基金会。

ApacheCon 每年举办一次,一般在欧洲或北美举行,是 Apache 开发者们线下交流、讨论、见面的绝佳机会,也是分享想法、思想激荡的难得的场合。通过动手实作、主题演讲、实际案例研究、培训、黑客松活动等方式,展示 Apache 项目的最新发展和新兴创新。

今年,为了更好地服务于亚太快速增长的 Apache 用户和贡献者,ApacheCon 组委会以及 Apache 软件基金会很高兴地宣布,首次针对亚太地区时区的 ApacheCon 在线会议 ApacheCon Asia 大会将于 2021 年 8 月 6 日至 8 日在线举行。

为了让大家进一步了解开源、了解 ApacheCon Asia,SegmentFault 思否将采访部分 Track Chair 或大会讲师,让你了解大会筹备的背后,和这些专家大牛们的故事。

今天,我们为大家带来的是,我们对腾讯云高级工程师程力的访谈。


以下为 SegmentFault 思否对程力的访谈内容:

关于程力

我是Apache Ozone社区PMC,Hadoop社区Committer,目前在腾讯云对象存储团队工作。曾经在AWS S3,华为存储等团队工作过。


程力初次接触开源的故事

第一次大规模的投入开源是2019年,hadoop孵化对象存储项目Ozone,作为一个开源新人,投入Ozone项目中,跟随项目一起成长,主导设计交付了MultiRaft,SCM HA等重大特性后,在社区中担任了更重要的角色,同时也伴随了Ozone成为了Apache顶级项目。


在参与开源并且为 Apache 社区做贡献的时候,个人及公司有哪些收获?

首先从参加Apache开源社区开始,我个人本身的代码规范,代码质量,到与社区成员合作沟通,共同协作的能力都有了明显的增长。更理解了开源社区,合作开放共赢的意义,同时伴随着Ozone项目成为Apache顶级项目和腾讯公司的在Hadoop和Ozone项目上的持续投入,在公司内外部的大数据项目中,也交付了一些内外部的客户使用场景,利用Ozone这个存储项目,帮助腾讯公司在私有化高密度存储设备的使用上找到了解决方案,实现了外部客户的实际价值。


程力理解的“The Apache Way”?

Open, collaboration and Win-win.


程力与 ApacheCon Asia

这次我有两个talk:

Big Data

腾讯云基于Hadoop-COS搭建的三层透明加速,助力数据湖

腾讯云对象存储COS在2019年提交Hadoop-COS文件系统插件到Hadoop社区后,融入了云原生存储的场景中,承载了大数据、AI、容器等应用EB级别的数据量。

今年腾讯云COS对于Hadoop-COS做了全面升级,增加了数据湖三层加速的功能特性,加速数据湖的构建和发展,同时助力大数据和AI的架构融合。本次演讲主要分享:

  1. 云原生生态下的Hadoop-COS存算分离
  2. Hadoop-COS三层透明加速
  3. 大数据和AI下的数据湖架构

此次演讲中,讲师主要分享腾讯云基于对象存储COS推出的湖仓三层加速方案,能达到最高10倍的读写加速提速,并且基于Hadoop-COS做到了Schema透明加速。

同时分享者也将介绍腾讯云如何基于Hadoop-COS三层透明加速,融入大数据+AI的统一数据湖架构。

期待听众对于腾讯云的数据湖加速方案有所了解,理解数据湖在大数据和AI场景下目前的具体使用案例。

Big Data

Apache Ozone如何利用Raft协议完成高可用方案和吞吐性能大幅提升

Apache Ozone在2020年正式成为Apache顶级项目,Ozone支持对象、HCFS,fuse等多种访问方式,腾讯工程师在Ozone社区中表现突出。

腾讯云团队在Ozone社区领导开发多个重要特性,此次演讲将重点分享其中两大特性,MultiRaft和Ozone High Availability,这两个Ozone社区的关键特性都是基于Raft协议完成的。

本次演讲主要分享:

  1. 如何利用Java Reflection和Raft协议完成Ozone元数据的强一致同步,完成Ozone高可用性建设
  2. 如何利用Multi-Raft特性,提升Ozone DataNode的单节吞吐能力
  3. 如何Multi-Raft特性,适配高密度硬盘机型,将Ozone融入私有化数据湖方案

观众可以从演讲中获取腾讯团队巧妙运用Raft和Java reflection解决Ozone一致性难题,同时也能从Multi-Raft实现和配合高密度磁盘机型的案例中获取优化DataNode写性能的新思路。

期待用户深入了解Ozone项目如何通过Raft实现元数据高可用和数据节点性能优化。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
测试技术 应用服务中间件 Apache
后端工程师如何使用apache ab性能测试工具进行系统压力测试(比LoadRunner简单多了)
作为后端工程师,除了实现业务需求之外,需要考虑的就是自己写的服务,在大并发下是否能正常运行了。但是,在一般开发情况下,没那么多大并发情况让你测试,那该怎么办呢? 这时候,我们就可以用到apache的压力测试工具了,apache bench简称ab。
后端工程师如何使用apache ab性能测试工具进行系统压力测试(比LoadRunner简单多了)
|
Apache
【实施工程师】Wampserver64橙色无法启动【apache】问题
【实施工程师】Wampserver64橙色无法启动【apache】问题
183 0
【实施工程师】Wampserver64橙色无法启动【apache】问题
|
存储 人工智能 分布式计算
腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.
腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.
132 0
|
3月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
44 1
|
22天前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
522 13
Apache Flink 2.0-preview released
|
27天前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
61 3
|
2月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
3月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
207 2

推荐镜像

更多
下一篇
无影云桌面