勋章
我关注的人
粉丝
专注于大数据开发、数据架构之路，热衷于分享Hadoop、Flink、Spark、Doris、实时数仓、推荐等精品干货！#公众号：857技术社区。个人微信：Bigdata-dylan
-
-
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（二）1年前Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇545来自： 开发与运维 -
-
-
-
发表了文章 2024-05-15
入门生成式语言模型（Generative Language Models）
入门生成式语言模型涉及理解基本概念、学习NLP基础知识、掌握相关工具和框架、训练与评估模型、实践项目和案例，以及持续学习。关键步骤包括预训练、微调（如SFT、LoRA、Prefix Tuning）、模型选择（如LLaMA、ChatGLM、Bloom等）和优化部署（量化、剪枝）。训练策略包括Pretrain、SFT、LoRA等，模型如Qwen、GPT-3、OPT等，评估数据集有SuperGLUE、CLUEbenchmark等。此外，有专门的加速和分布式框架如DeepSpeed、Megatron、FairScale等，以及部署工具vLLM、TensorRT-LLM。
-
发表了文章 2024-03-12
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
-
发表了文章 2024-01-10
Shell遍历HDFS路径统计层级目录大小
Shell遍历HDFS路径统计层级目录大小
-
发表了文章 2023-09-07
【nlp-with-transformers】|Transformers中的generate函数解析
今天社群中的小伙伴面试遇到了一个问题，如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。 这里面造成问题的因素有两个方面： 一个方面是在forward过程中参数的计算出现了差异，这种情况一般发生在游戏显卡中，游戏显卡无法保证每一次底层算子计算都是成功的，也没有办法保证同输入同输出，这里我们就需要采用具有ecc内存纠错机智的专用显卡用来解决相关的问题。
-
发表了文章 2023-07-25
【建议收藏】|3分钟让你学会Scala Trait 使用
Scala 是一种强大的静态类型编程语言，其中的 Trait 是一种重要的特性。Trait 可以被看作是一种包含方法和字段定义的模板，可以被其他类或 Trait 继承或混入。在本文中，我们将介绍 Scala Trait 的边界（Boundary）的概念，并展示如何使用它来限制 Trait 的使用范围。
-
发表了文章 2023-05-21
【建议收藏】|某大型金融集团内部数据治理实战总结
近几年，企业都在做数字化转型。 数字化转型是为了使组织更好地适应数字时代的变革，提高效率、降低成本、增强竞争力。是将业务和流程数字化，以实现更快、更准确、更可靠的数据处理和决策。是以数据驱动的精细化运营、业务创新增长和商业模式创新。
-
发表了文章 2023-03-27
这......Spark面试题完全不会啊！
资深Spark工程师一线大厂面试题，错过了就是错过了，关注公众号：857Hub
-
发表了文章 2023-03-07
基于ray 多进程调度管理能力优化networks节点最短路径的并行计算
原生的networkx实现的只能在节点介数度量性任务上达到单核心100的cpu利用率。通过对源码的几行改造我们可以实现多核心的100的利用率。接下来要我们来一起看看是如何实现的多核心100的利用率。
-
发表了文章 2023-03-06
5分钟入门数据湖IceBerg
随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要方向。Netflix 发起的 Apache Iceberg 项目具备 ACID 能力的表格式成为了大数据、数据湖领域炙手可热的方向。关注公众号：857Hub
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（三）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（二）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（一）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（四）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（三）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（二）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（一）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）E
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）E
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）D
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）C
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）B
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）A
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（七）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（六）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（五）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（一）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
5万字Spark全集之末尾Structured Streaming续集！！！！！（二）
5万字Spark全集之末尾Structured Streaming续集！！！！！
-
发表了文章 2023-01-01
5万字Spark全集之末尾Structured Streaming续集！！！！！（一）
5万字Spark全集之末尾Structured Streaming续集！！！！！
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（七）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（六）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（五）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（四）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（三）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（二）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（一）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
【建议收藏】|信息抽取与经济学文本量化分析（下）
【建议收藏】|信息抽取与经济学文本量化分析
-
发表了文章 2023-01-01
【建议收藏】|信息抽取与经济学文本量化分析（上）
【建议收藏】|信息抽取与经济学文本量化分析
-
发表了文章 2023-01-01
【建议收藏】Flink watermark分析实战（下）
【建议收藏】Flink watermark分析实战
-
发表了文章 2023-01-01
【建议收藏】Flink watermark分析实战（上）
【建议收藏】Flink watermark分析实战
-
发表了文章 2023-01-01
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战（下）
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战
-
发表了文章 2023-01-01
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战（中）
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战
-
发表了文章 2023-01-01
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战（上）
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战
-
发表了文章 2023-01-01
Spark3.2.1源码编译（傻瓜式图文教学）
Spark3.2.1源码编译（傻瓜式图文教学）
-
发表了文章 2023-01-01
【源码解读】| LiveListenerBus源码解读（下）
【源码解读】| LiveListenerBus源码解读
-
发表了文章 2023-01-01
【源码解读】| LiveListenerBus源码解读（上）
【源码解读】| LiveListenerBus源码解读
-
发表了文章 2023-01-01
浅谈 Apache Doris FE 处理查询 SQL 源码解析
浅谈 Apache Doris FE 处理查询 SQL 源码解析
-
发表了文章 2023-01-01
X86系统基于Centos8的Hadoop3.x源码编译
X86系统基于Centos8的Hadoop3.x源码编译
-
发表了文章 2023-01-01
Doris FE源码解读系列之源码编译踩坑！！！（下）
Doris FE源码解读系列之源码编译踩坑！！！
-
发表了文章
2024-05-15
入门生成式语言模型（Generative Language Models）
-
发表了文章
2024-05-15
Apache Flink自定义 logback xml配置
-
发表了文章
2024-05-15
Shell遍历HDFS路径统计层级目录大小
-
发表了文章
2023-09-07
【nlp-with-transformers】|Transformers中的generate函数解析
-
发表了文章
2023-07-25
【建议收藏】|3分钟让你学会Scala Trait 使用
-
发表了文章
2023-05-21
【建议收藏】|某大型金融集团内部数据治理实战总结
-
发表了文章
2023-03-27
这......Spark面试题完全不会啊！
-
发表了文章
2023-03-07
基于ray 多进程调度管理能力优化networks节点最短路径的并行计算
-
发表了文章
2023-03-06
5分钟入门数据湖IceBerg
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（三）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（二）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（一）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（四）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（三）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（二）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（一）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）E
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）D
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）C
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）B
