传学
传学_个人页
传学
文章
17
问答
4
视频
0
个人介绍
传学，专注于大数据领域的解决方案
擅长的技术
获得更多能力
通用技术能力：
暂时未有相关通用技术能力~
云产品技术能力：
-
ACP
-
阿里云云安全ACP专业认证考试
获得于2020-08-13 18:19:36
-
阿里云大数据ACP专业认证考试
获得于2020-07-23 19:36:15
-
阿里云云计算ACP专业认证考试
获得于2020-05-23 17:49:41
-
阿里云数据中台架构师专项认证
获得于2019-05-13 09:34:04
-
阿里云云安全ACP专业认证考试
-
ACE
-
阿里云ACE认证
获得于2021-12-23 15:07:55
-
阿里云ACE认证
阿里云技能认证
详细说明
-
发表了文章 2018-02-23
离线计算中的幂等和DataWorks中的相关事项
概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息，针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例，有个对于一个单据的确认模块没有考虑到幂等性，导致对应的单据有两条确认记录。
-
发表了文章 2018-01-17
EMR使用OSS还是云盘HDFS存储的选择讨论
使用EMR如何选择数据存储方案，这里分别列举各种场景下两种方案的优缺点，各位可以根据实际情况，选择最合适自己业务的一种方式。
-
发表了文章 2017-11-27
如何将个性化需求变成大数据解决方案
大数据的技术日新月异，解决了很多传统的方法所无法解决的问题，为软件实现上提供了新思路。目前已经有很多企业已经基于大数据的相关技术已经搭建了很多系统。 在系统的搭建过程中，需要解决一个的问题：“我的这个需求，用大数据的技术如何实现”。
-
发表了文章 2017-11-05
MaxCompute跨Region数据迁移指导手册
本文的方案让用户可以方便地把数据通过SQL语句进行跨区域迁移
-
发表了文章 2017-07-30
精打细算使用MaxCompute搭建数仓
MaxCompute是一套阿里自主研发的数据仓库解决方案。产品除了功能、性能、简单等优势外，还能在费用上节省下一大笔前。墨迹天气使用MaxCompute，除了性能和稳定性也有提升外，整体存储和计算的费用比之前节省70%。这是如何做到的呢，这里有一些常用的规则。
-
发表了文章 2017-07-30
MaxCompute和DataIDE权限体系介绍
理解大数据开发套件和大数据计算服务的权限体系。
-
发表了文章 2017-06-14
用Java代码调用MaxCompute
有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢，MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景，做一些示例。
-
发表了文章 2017-06-06
通过Fluentd实时上传数据到DataHub实践
本文把我通过Flunetd，把数据上传到DataHub的配置过程记录下来，希望对大家在配置中能有帮助。
-
发表了文章 2017-05-26
MaxCompute如何实现跨项目授权
实际的企业使用场景里，可能需要把不同项目里的数据、函数、计算资源等一起使用。那如何实现这种跨项目的使用呢，本文用实际例子来说明下。
-
发表了文章 2017-05-21
MaxCompute MapReduce
大数据计算服务(MaxCompute)的功能详解和使用心得
-
发表了文章 2017-05-11
性能测试脚本的编写和调试
性能测试是一个入门简单，但是精通难，很依赖实践经验的技术活。如何编写压测脚本只是小术，而如何快速找到问题的原因，压出瓶颈却是大有学问。这次，云享团的专家从“术”入手，对一个自己临时写的的一个网站进行压测，希望能帮大家更好理解性能测试产品，特别是脚本编写的部分。
-
发表了文章 2017-05-11
基于大数据开发套件的增量同步策略
因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略有疑惑，所以今天第一波我们来聊一下数据的同步策略，根据数据的特性，看看哪些数据适合增量同步，哪些适合全量同步，又是如何实现的？请认真看完下面的介绍，这些问题都不是事儿。
-
发表了文章 2017-04-18
用脚本模式配置数据同步
本文主要用自定义的ECS来调度来解网络不可达的问题。通过使用脚本模式来解因为网络不可达导致的向导模式无法配置的问题。
-
发表了文章 2017-01-09
基于自定义日志打印的UDAF调试
看到最近有一些用户，代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景，所以有一些BUG可能需要到线上用一些简单的测试数据进行调试。这里用最简单的手工打印日志的方法，针对代码调试中最麻烦的UDAF的例子做一次调试。
-
发表了文章 2016-12-23
MaxCompute 学习计划(二)
学习MaxCompute SQL和UDF的checklist
-
发表了文章 2016-12-23
基于Quick BI的用户分布分析
使用Quick BI的气泡地图功能来分析全国数据用户分布，更好地理解数据并发现其中的异常
-
发表了文章 2016-12-20
如何用SQL对MaxCompute数据进行修改和删除
MaxCompute SQL不支持对数据的Update和Delete操作，但是实际工作中可能确实有一些场景需要这样处理，怎么办呢？本文就各种场景下的的解决方法做一个说明。 特别提醒大家，在工作中为避免误操作，尽量避免直接对数据进行直接的修改和删除，建议是创建一张新的表，把结果表进过加工后写入新的表
-
提交了问题
2015-11-24
怎么使用PLDA进行文本聚类
-
提交了问题
2015-11-23
如何设置worker的个数
-
提交了问题
2015-11-09
算法平台的预测任务特别慢怎么查
暂无更多信息
-
发表了文章
2018-02-23
离线计算中的幂等和DataWorks中的相关事项
-
发表了文章
2018-01-17
EMR使用OSS还是云盘HDFS存储的选择讨论
-
发表了文章
2017-11-27
如何将个性化需求变成大数据解决方案
-
发表了文章
2017-11-05
MaxCompute跨Region数据迁移指导手册
-
发表了文章
2017-07-30
精打细算使用MaxCompute搭建数仓
-
发表了文章
2017-07-30
MaxCompute和DataIDE权限体系介绍
-
发表了文章
2017-06-14
用Java代码调用MaxCompute
-
发表了文章
2017-06-06
通过Fluentd实时上传数据到DataHub实践
-
发表了文章
2017-05-26
MaxCompute如何实现跨项目授权
-
发表了文章
2017-05-21
MaxCompute MapReduce
-
发表了文章
2017-05-11
性能测试脚本的编写和调试
-
发表了文章
2017-05-11
基于大数据开发套件的增量同步策略
-
发表了文章
2017-04-18
用脚本模式配置数据同步
-
发表了文章
2017-01-09
基于自定义日志打印的UDAF调试
-
发表了文章
2016-12-23
MaxCompute 学习计划(二)
-
发表了文章
2016-12-23
基于Quick BI的用户分布分析
-
发表了文章
2016-12-20
如何用SQL对MaxCompute数据进行修改和删除
滑动查看更多
-
回答了问题
2016-01-15
ODPS中，实现两表关联，但能关联的字段为包含关系，怎么实现，谢谢
我看你的意思，你的表1里的存的是一个字符串，但是实际是想实现类似数组的功能。 目前odps的数组功能还在内部测试中，对外还是不支持的。 你可以考虑写个udf来实现，或者有一些odps自带函数你也可以考虑一下，比如 CHAR_MATCHCOUNT REGEXP_COUNT 详情见： https://help.aliyun.com/document_detail/odps/SQL/builtin_function.html?spm=5176.product8314999_odps.4.35.LcMUkL赞0 踩0 评论0 -
提交了问题
2015-11-24
怎么使用PLDA进行文本聚类
-
提交了问题
2015-11-23
如何设置worker的个数
-
提交了问题
2015-11-09
算法平台的预测任务特别慢怎么查
滑动查看更多
暂无更多信息