勋章
粉丝
技术能力
- Linux
- Java
- Shell
- Python
- BI
- 数据建模
- SQL
- OLAP
-
Java
高级
能力说明：
精通JVM运行机制，包括类生命、内存模型、垃圾回收及JVM常见参数；能够熟练使用Runnable接口创建线程和使用ExecutorService并发执行任务、识别潜在的死锁线程问题；能够使用Synchronized关键字和atomic包控制线程的执行顺序，使用并行Fork/Join框架；能过开发使用原始版本函数式接口的代码。
-
Python
初级
能力说明：
了解Python语言的基本特性、编程环境的搭建、语法基础、算法基础等，了解Python的基本数据结构，对Python的网络编程与Web开发技术具备初步的知识，了解常用开发框架的基本特性，以及Python爬虫的基础知识。
-
数据库
初级
能力说明：
具备数据库基础知识，了解数据库的分类，具备安装MySQL数据库的能力，掌握MySQL数据类型知识，基本了解常用SQL语句，对阿里云数据库产品有基本认知。
-
-
Apsara Clouder大数据技能认证：基于机器学习的客户流失预警分析
获得于2023-02-01 21:28:48 -
Apsara Clouder大数据专项技能认证：基于MaxCompute的热门话题分析
获得于2023-01-16 17:33:37
-
Apsara Clouder大数据技能认证：使用MaxCompute进行数据质量核查
获得于2023-01-13 18:45:28
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
获得于2022-12-27 12:06:24
-
暂无个人介绍
-
发表了文章 2023-11-09
作为一线开发对数据治理的认知
数据治理的目的是为了让数据更加准确，降低后续数据清洗的难度，节约成本，加强把控，好处是说不完的，但这实际开发中所遇到的问题却比好处要复杂，你可能考虑到所有的问题，但却无法预估问题解决的难度。
-
发表了文章 2023-11-04
PyODPS实现MaxComputer表数据把控
该脚本的最初设计目标是根据ODPS表中的不同二级分区，统计每个字段的详细量级，以便为下游用户提供数据支持。这有助于对中台数据资产进行有效管理，并能够及时关注上游数据质量问题。
-
发表了文章 2023-09-01
如何确定自己手中的数据是正确的,是合理的?
咋样才能是一个合格的大数据开发,其实我也很迷茫,不过我希望自己可以越来越清晰
-
发表了文章 2023-08-21
那一天我带着满怀恶意的问题去问大模型
那一天我带着满怀恶意的问题去问大模型
-
发表了文章 2023-07-29
零售行业消费者域离线数仓构建思考
该文章所有的思考都是个人理解，不一定准确，也不一定适合所有的零售行业，主要以“业务”，“建模”和“调优”三个大方向来讲述。
-
提交了问题
2023-05-08
datawroks调用dataphin的节点，怎么配置调度依赖
-
发表了文章 2023-05-07
Python基于线程的并行和基于进程并行详解
当涉及到并行编程时，Python标准库提供了两种不同的方式：基于线程的并行（threading）和基于进程的并行（multiprocessing）。下面我将从概念、性能、使用场景和底层实现等方面对它们进行解释和比较。
-
发表了文章 2023-04-30
Maxcomputer表判定联系方式是否是正常的联系方式的两个方式
在数据预处理的过程中，手机号作为联系方式的一种重要形式，经常需要进行格式验证和去重等操作。然而，在实际应用中，我们常常遇到手机号格式不统一、线上业务还好点，但是有部分线下的业务手机号是手工录入的数据等问题。这些问题导致正则清洗的工作量很大，而且容易出现错误，影响数据的质量。为了解决这些问题，本文提出了一些可能的优化方案，希望能够为数据预处理工作提供一些参考。
-
发表了文章 2023-04-09
广度优先搜索算法从浅到深
广度优先搜索算法是一种图搜索算法，用于在图或树等数据结构中寻找从起点开始到达目标节点的最短路径。该算法从起点开始搜索，逐层地向外遍历其相邻节点，直到找到目标节点或遍历完整张图。
-
提交了问题
2023-04-03
dataworks有个vim选项,打开后为什么和正常的vim语法是不同的呢
-
提交了问题
2023-03-29
最近在读<数据仓库工具箱>第三版,第三章有句话我不太理解
-
发表了文章 2023-03-26
Python版本数据探查的一些方法和Demo
探查度量值是数据分析中至关重要的一步，它可以帮助我们了解数据类型、发现异常值、理解数据分布、提供数据参考等。这些信息对于我们进一步的数据处理和分析都至关重要。使用Python中的Pandas和PyTorch等工具，我们可以快速实现数据类型确定、描述性分析和探索性数据分析。
-
发表了文章 2023-03-19
十个SQL代码最容易出错的地方和解决方案
这十个代码错误处，是我在日常工作中总结的一些问题，同时也包括了我解决这些问题时采用的一些方法。这些方法仅供参考，具体还需要根据数据和业务需求进行调整，才能编写出正确的 SQL 代码。
-
提交了问题
2023-03-15
pyodps在notebook使用,会出现一个js的报错
-
提交了问题
2023-03-14
关于数仓模型，对于dws的粒度是否是应该由业务定义
-
提交了问题
2023-03-13
pyodps是会先转化为sql，再转化成mapreduce吗？
-
发表了文章 2023-03-12
维度建模中，粒度对于事实和维度的影响
度是指在事实表中所记录的数据的最小粒度，也可以理解为事实表中每个记录所代表的含义。在维度建模中，粒度对维度表和事实表都具有重要性。
-
提交了问题
2023-03-11
我想一次性求出结果,不想多一个中间变量,但是我应该怎么指定新聚合出来的字段呢?
-
提交了问题
2023-03-09
正在搭建的数仓,发现其中的一部分逻辑可以从dwd抽离出来,但是迭代会需要成本?
-
提交了问题
2023-03-08
emr on ecs和emr on ack具体的差异是在哪里呢
-
提交了问题
2023-03-07
我有点不太理解EMR是做什么的
-
提交了问题
2023-03-06
pyodps我想获得df某一列trim后长度为0,而且不是null的量级,应该怎么写呢?
-
发表了文章 2023-03-05
基于pyodps对MaxComputer表的数据探查
本次脚本设计是针对大批量表，并且没有明确业务支持下的数据探查，会根据不同的类型进行判定，根据结果值进行分析得出结论，并给出一定的建议，同时该脚本仅仅支持普通表，一级分区表和二级分区表；一级分区表的分区字段必须是ds或者pt。
-
提交了问题
2023-03-04
使用pyodps->df读取的decimal会自带百分号
-
提交了问题
2023-03-01
在使用pyodps的时候，打印出来的列注释乱码
-
提交了问题
2023-02-28
pyodps版本怎么提升
-
提交了问题
2023-02-27
大数据有什么好的开源项目吗?
-
发表了文章 2023-02-26
市面常见数据存储方式的简单介绍
下面是市面上一些存储方式概念的简单介绍，包含关系型数据库，非关系型数据库，内存数据库，数据仓库，对象存储，图数据库，时序数据库和多维数据库
-
提交了问题
2023-02-24
odpssql用with cube报错，空指针异常
-
提交了问题
2023-02-23
有办法获得dataworks中写的代码吗?
-
提交了问题
2023-02-22
图数据库的数据删除成本很高吗?为什么
-
提交了问题
2023-02-21
使用idea操作maxcomputer的时候,每次生成dag图的时候总会弹出一个dag图的窗口
-
提交了问题
2023-02-20
如何权衡成本和数据完整性的关系
-
发表了文章 2023-02-19
流式读取热搜词汇并解析，urllib+Kafka+Spark
紧接上文，本次对于上次的优化是增加了kafka的插件，用简单消费者和生产者在本地window系统完成模拟，每五分钟爬取一次百度热搜，条数基本为145条，然后消费者来消费数据，写入到spark，下次的优化应该就是从sparksql转化为sparkstreaming，并直接整合kafka，而不是中间转row再写入。
-
提交了问题
2023-02-17
有没有数据探查的文档推荐呢
-
提交了问题
2023-02-16
面对数据延迟导致的问题，模型层应该如何设计
-
提交了问题
2023-02-15
告警规则配置成功后,预警情况不符
-
发表了文章 2023-02-14
使用python+spark爬取百度热搜写入mysql
本次算是爬取的第一个demo，百度热搜只是用来测试，写入的mysql也肯定不是最优解，到后期应该会写入到hbase中，spark也大概会换成flink，不过目前还是spark+mysql
-
提交了问题
2023-02-12
dwd维度冗余是怎么理解呢?
-
提交了问题
2023-02-11
物化视图是否只有在开发中才会使用
-
提交了问题
2023-02-10
dataworks中的odps节点能否被transform语句套用
-
提交了问题
2023-02-09
目前大数据行业除了做自有的产品外,hive,spark,flink等除了sql外,正常的业务会写代码
-
发表了文章 2023-01-16
使用Spark实现微博内容解析-每月前十最热词汇
简单spark+scala的demo,具体为map,flatmap,reducebykey等算子的运用
-
发表了文章 2023-01-08
Mac安装Spark+Spark基本功能
主要实现的是mac安装spark,spark基本的wordcount代码,spark on yarn
-
发表了文章 2023-01-02
Mac安装单机版hive
基本学习使用hive可以，但有条件，还是建议买个ecs，在linux环境中学习
-
发表了文章 2022-12-28
hbase-微博三表实战demo
这是根据学习图谱中hbase的教程，写的最后的微博案例demo，使用的是mac系统，本地安装的mysql，单机版的hbase，本地环境配置的jdk版本是openjdk11.0.16.1，具体逻辑是用户微博内容写入到内容表，关注该用户的用户根据用户关系表，将数据推送到信箱表中。
-
发表了文章 2022-12-14
pandas+odps实现批量化表信息解析
最近在做数仓建设，发现很多弊病都来自ods的数据没有探测好，之前都是人手工探查，看具体的字段注释是否是枚举或者最大值最小值等判定，再加上后续数据采集方式的调整，再次探查的成本会增大，我就寻思能够利用pandas来分析odps的数据。
-
发表了文章 2022-11-27
Window环境下安装大数据框架
虽然公司配了mac，不过家里的电脑还是上学时候的拯救者，学习大数据框架的时候也基本是直接上虚拟机，每次打开电脑，打开虚拟机，再打开xshell，真的是烦，正好最近重装了一下电脑，于是就想着结合scoop+docker优化一下之前的虚拟机+xshell的路线。
-
发表了文章 2022-11-13
python捕获桌面文字信息
本次试验是因为女友的工作带着些客服性质，经常需要回复些重复性质的信息，他们的私域数据集中在企业微信，但是我没有办法去打通这个渠道，所以我就琢磨着能不能捕捉整个桌面的信息，然后解析出需要的数据。
-
发表了文章 2022-11-06
一文解析大数据的JOIN
本文大部分理论和问题都从maxcomputer中得出，不同的计算引擎底层结构不同最后结果可能稍微不同，这一点需要注意，本文应该可以让你不再苦恼各种join，或者更加苦恼join。
-
发表了文章
2023-11-09
作为一线开发对数据治理的认知
-
发表了文章
2023-11-04
PyODPS实现MaxComputer表数据把控
-
发表了文章
2023-10-26
数据的压迫
-
发表了文章
2023-09-01
如何确定自己手中的数据是正确的,是合理的?
-
发表了文章
2023-08-21
那一天我带着满怀恶意的问题去问大模型
-
发表了文章
2023-07-29
零售行业消费者域离线数仓构建思考
-
发表了文章
2023-05-07
Python基于线程的并行和基于进程并行详解
-
发表了文章
2023-04-30
Maxcomputer表判定联系方式是否是正常的联系方式的两个方式
-
发表了文章
2023-04-09
广度优先搜索算法从浅到深
-
发表了文章
2023-03-26
Python版本数据探查的一些方法和Demo
-
发表了文章
2023-03-19
十个SQL代码最容易出错的地方和解决方案
-
发表了文章
2023-03-12
维度建模中，粒度对于事实和维度的影响
-
发表了文章
2023-03-05
基于pyodps对MaxComputer表的数据探查
-
发表了文章
2023-02-26
市面常见数据存储方式的简单介绍
-
发表了文章
2023-02-19
流式读取热搜词汇并解析，urllib+Kafka+Spark
-
发表了文章
2023-02-14
使用python+spark爬取百度热搜写入mysql
-
发表了文章
2023-01-16
使用Spark实现微博内容解析-每月前十最热词汇
-
发表了文章
2023-01-08
Mac安装Spark+Spark基本功能
-
发表了文章
2023-01-02
Mac安装单机版hive
-
发表了文章
2022-12-28
hbase-微博三表实战demo
-
回答了问题
2023-12-05
微服务还是单体架构？
云上的架构还是微服务会成为主流，虽然不能一开始就建立一套“淘宝“的架构，但更易于扩展的微服务架构还是微服务架构。而且云能够提供的核心点就是透明，很多人聊微服务架构可能是不必要的，可能是有更多的费用，但这不应该是我们考虑未来架构需要考虑的东西。未来的云上微服务费用只会更低廉，部署比起单体架构也只会相同轻松。赞1 踩0 评论0 -
回答了问题
2023-12-04
技术人上下班通勤时间会做些什么？
长的离谱，早上一个小时，晚上一个小时，通勤时间做什么，完全看自己心情，听书也好，听歌也好，刷剧也罢，只要自己开开心心就很好，如果要是下班都要考虑一个收获，那我只能说，不如跳舞。赞1 踩0 评论0 -
回答了问题
2023-11-13
DataWorks开发环境能自动调度吗？
不能，而且正常调度应该上生产，逻辑上讲不通，大不了你到时候下线就是赞0 踩0 评论0 -
回答了问题
2023-11-13
dataworks 里支持对数据进行某一个字段 hash 后分表存储到目标库里的分表里吗？
你可以试一下多路插入MULTI INSERT，这个是最简单的办法赞0 踩0 评论0 -
回答了问题
2023-09-18
程序员有哪些约定俗成的“码德”？
最好的码德就是写好注释,能够写好注释的,大家顶多需要看执行的时长,代码的优劣,而不需要花费更多的时间在,纠结这段代码实现的什么功能,修改的时候会影响到哪里?赞3 踩0 评论0 -
回答了问题
2023-09-18
哪些事情是你成为程序员之后才知道的？
原来程序员也是需要写文档的,和不同的需求提出人员沟通的,我曾经还以为程序员只要代码牛逼就可以赞1 踩0 评论0 -
回答了问题
2023-09-12
手撕代码是程序员的基本功吗？
算基本功吧,要说复杂代码,手撕难度会大,但是经常写的话,大差不差也是可以写出来的,而且也应该没有那个公司苛刻到必须把完整的代码一个单词不错的写出来.赞3 踩0 评论0 -
回答了问题
2023-09-12
日常工作中，你对于日志数据都是如何利用的？
日志保存时间取决于公司money的多少,如果多,那就是没有人关注,正常七天,一个月,谁也不会说,money不足,那就是越少越好,需要的反而是更快的发现问题,而不是时隔多久后再来解决问题,so,我认为报警机制的健全比起日志的保存要重要.赞1 踩0 评论0 -
回答了问题
2023-09-01
相比优秀的服装设计师，AIGC 可以如何突破设计灵感的界限？是纯粹的机械语言还是一点点的灵光乍现？
替代倒是不可能,可能更多的是替代一部分工作,生成好看的图片和生成可用的图片是有差别的,不然也不用搞这个活动了,毕竟每个人可能用AIGC生成的图片都一样优秀,那还搞什么第一第二.赞0 踩0 评论0 -
回答了问题
2023-08-28
高端的程序员，都有哪些朴素的编程方式？
我见过最牛逼的编程方式,那还是第一次接触lambda语法的时候,突出的就是简洁,更重要是门槛高,写的越多,越不容易被替代.赞1 踩0 评论0 -
回答了问题
2023-08-18
能多端登录的无影云电脑有哪些花式玩法？
更轻量化,之前我看过阿里似乎是发布过一款电脑,忘记是错觉还是真的,说电脑上无影做的远程桌面那种.如果是真的,这其实就是很好的思路,轻量化的办公可以推动的不仅仅是技术上的突破,更可能是商业化的思路,只要信号够好,是不是代表在芯片电池等没有更好的突破前,我们就可以使用上更强大性能的电脑.赞2 踩0 评论0 -
回答了问题
2023-08-18
大模型是真正的银弹吗？
大模型所能做到的,和期望他做到的,应该是减少重复的工作,但最后负责定论的依旧还是人本身,无非是减少人机交互的次数,就拿订机票来说,我说'hei siri帮我订个明天早上九点去北京的出租车.'哪怕有消息的提现,我也需要去看一眼自己订的出租车好了没有,这其实和大模型是没有关系的,是人和机器间不可能是百分之百信任导致的.所以大模型适应的其实是人决策前的所有工作,如果成本过高不接受容错的精细活,甚至整个实际进行的链路(不包括人的思考)都不应该有大模型的参与.赞1 踩0 评论0 -
回答了问题
2023-08-16
程序员需要考证吗？
很简单,如果公司能够出钱,并且需要学习的内容和工作相关,没有不考的理由;如果是自己出钱考,说实话不如进行体系化的学习,因为目前互联网的证书基本都有有效期,而且考资不菲,面试也没有任何强制要求,拥有某个证书的优先.赞1 踩0 评论0 -
回答了问题
2023-08-07
目前流行的开源数据库你最喜欢哪个？
商业产品和开源产品的区别,我认为应该是在某些重要的技术点,至少开源和商业产品之间应该有两到三个版本的差异,除非是大公司,可能不在乎版本的差异,而是在乎某些技术的开通与否.赞1 踩0 评论0 -
回答了问题
2023-08-07
如果室温超导被验证成功，它会是算力的永动机吗？
这个好像还在待证实的过程中,如果真的有,那大概就是有更小的集成电路,比如之前那个被吐槽的'智能眼镜'和'音频眼镜'的区别,包括如今各大厂商生产的穿戴设备应该会呈现更井喷式的发展,而不是因为各种情况出现的阉割版.赞1 踩0 评论0 -
回答了问题
2023-08-07
工作中的成长是从摆脱低水平勤奋开始的吗？
工作也是一个成长的过程,我感觉有时候在工作了一段时间后,需要有一个'挑肥拣瘦'的思考: 有个活,先思考一下这个活是有必要的吗?站在客户,自己,项目的角度看耗费的时间和获得的收益是多少?这个活如果干,有什么其他办法能缩短周期吗?干活的人一定要是自己吗?可以分工或者是下推吗?如果非干不可,周期应该是多久合适呢?赞10 踩0 评论0 -
回答了问题
2023-07-28
你认为数字技术能让古籍“活过来”吗？
难度很高,目前无论是大模型还是其他NLP技术都很少有针对古文设计的数据集,你说'月亮在天上,柳树在下面',或许机器可以理解,但说'人约黄昏后,月上柳梢头',机器就是大写的懵逼.更不要说古籍中更加晦涩难懂的语言,就拿量化单位,秦朝的重量和明朝的重量不同,这种常识,在人为不强干预的情况下,机器想要明白,实习的困难程度不亚于,OCR技术识别小学生二年级同学的字迹.赞0 踩0 评论0 -
回答了问题
2023-07-25
有什么暗号可以证明你是程序员？
心里'不干了,爱谁谁,我今天必定要准点下班'身体'这bug谁写出来的,原来是我,明天凌晨我一定解决它'赞1 踩0 评论0 -
回答了问题
2023-07-24
畅意抒怀，以诗会友，写下你的运维打油诗！
走走停停，基本无休，运维日常是辛苦。监控巡查，保系统稳，服务器升级忙不休。 代码部署，半夜钟，紧急修复到天明。备份数据，防丢失，故障排查不停歇。 软件更新，系统补，升级版本一串串。用户问题来投诉，服务响应争秒秒。 网络抖动，流量涌，解决难题要排解。走走停停，午休短，但心甘愿，为工作舞。赞3 踩0 评论0 -
回答了问题
2023-07-18
存储能力VS算法模型，哪一个才是AIGC的必杀技？
木桶效应,大模型,大数据和高算力在我看起来在AIGC的场景下,每一个都不可或缺,有好的大数据,但不能少了高算力,不然跑出来结果,和没有AIGC是一样的,再说大模型,目前市面上比较火的大模型,除了每次运算的调优外,如果有质量更好的大数据支撑,发展也才能更好,如果非要选一个,那我肯定选大数据,因为数据是根本.赞1 踩0 评论0