AI 助理
备案控制台

努力增长_个人页

个人头像照片 努力增长
文章
0
问答
20
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2021年03月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2021-03-31

    请教ODPS上多张表join的性能优化问题

    1.如果某些join的关联key相同，需按顺序放在一起，提高效率 2. 分析join是否有倾斜，有的话考虑切分热点数据，最后进行union all合并 3. 还可以看看时间是否可切分，不做全表关联，增量关联近xx天数据，补历史数据的情况下，每次运行只刷新近xx天数据
    踩0 评论0
  • 回答了问题 2021-03-31

    ODPS中，实现两表关联，但能关联的字段为包含关系，怎么实现，谢谢

    你好，你可以通过TRANS_ARRAY列转行函数，将一行数据转化为多行，将关联的key打开后再进行关联，使用如下，谢谢 +----------+----------+------------+ | login_id | login_ip | login_time | +----------+----------+------------+ | wangwangA | 192.168.0.1,192.168.0.2 | 20120101010000,20120102010000 | | wangwangB | 192.168.45.10,192.168.67.22,192,168.6.3 | 20120111010000,20120112010000,20120223080000 | 执行sql： select trans_array(1, ',', login_id, login_ip, login_time) as (login_id,login_ip,login_time) from t_table; 产生的数据是 +----------+----------+------------+ | login_id | login_ip | login_time | +----------+----------+------------+ | wangwangB | 192.168.45.10 | 20120111010000 | | wangwangB | 192.168.67.22 | 20120112010000 | | wangwangB | 192.168.6.3 | 20120223080000 | | wangwangA | 192.168.0.1 | 20120101010000 | | wangwangA | 192.168.0.2 | 20120102010000 |
    踩0 评论0
  • 回答了问题 2021-03-31

    关于mapjoin的问题

    1.max聚合函数，需把select中其他不聚合的字段，放到group by里 2. datediff的字段，需转换为datetime类型
    踩0 评论0
  • 回答了问题 2021-03-31

    今天我在ODPS中执行一个简单的SQL ： select * from dxlus； 这个表大概1万多条数据，一致处于Job Quening...状态，无法执行，使用show p查看任务时，发现什么任务都没执行，请问是什么原因导致我无法执行操作？并且我将执行很多任务，这样一来就会导致我的任务无法正常执行。

    应该是当时排队的作业太多，资源一直处于等待状态，杀掉任务，等资源不紧张后重试
    踩0 评论0
  • 回答了问题 2021-03-31

    ODPS统计订单数据，有的日期没有订单数据，想在统计时显示0，有没有什么办法补齐日期？

    建立日历表，以日历表为主表left outer join您的订单事实表，key为日期，通过coalesce(counts,0)将未关联出的订单则置为0，谢谢
    踩0 评论0
  • 回答了问题 2021-03-31

    dataworks参数

    你好，可以检查一下两边变量配置的计算逻辑是否相同，谢谢
    踩0 评论0
  • 回答了问题 2021-03-31

    Quick BI加载MaxCompute数据时报错

    你好，物理执行计划生成失败，原因是全表所有分区扫描，数据量太大，请指定具体分区
    踩0 评论0
  • 回答了问题 2021-03-31

    《ODPS权威指南 阿里大数据平台应用开发实践》现在还适用吗？

    你好，框架都还适用，平台功能、函数大部分都适用，原理没有大改，可以买来入门学习
    踩0 评论0
  • 回答了问题 2021-03-31

    我在使用MaxCompute提供的聚合函数，median 进行求中值的时候，报如下错： FAILED: ODPS-0123049:buffer overflow - in median func the number of row exceeds the max limitation 请问如何解决？

    median函数目前限制在一个组内不超过100万行数据
    踩0 评论0
  • 回答了问题 2021-03-31

    请问一列能放的最大数据长度是多少？

    你好，根据您字段类型不同而不同，以下参考： 类型 是否新类型 常量定义 描述 TINYINT 是 1Y，-127Y 8 位有符号整形，范围 -128 到 127 SMALLINT 是 32767S， -100S 16 位有符号整形， 范围 -32768 到 32767 INT 是 1000，-15645787（注释1） 32位有符号整形，范围-231到231 -1 BIGINT 否 100000000000L， -1L 64位有符号整形, 范围-263 + 1到263 - 1 FLOAT 是 无 32位二进制浮点型 DOUBLE 否 3.1415926 1E+7 8字节双精度浮点数,64位二进制浮点型 DECIMAL 否 3.5BD， 99999999999.9999999BD(注释4) 10 进制精确数字类型，整形部分范围-1036+1到1036-1, 小数部分精确到 10-18 。 VARCHAR(n) 是 无 ( 注释2 ) 变长字符类型，n为长度，取值范围 1 到 65535 STRING 否 “abc”，’bcd’，”alibaba” ‘inc’ ( 注释3 ) 字符串类型，目前长度限制为 8M BINARY 是 无 二进制数据类型，目前长度限制为 8M DATETIME 否 DATETIME ‘2017-11-11 00:00:00’ 日期时间类型，使用东八区时间作为系统标准时间。范围从0000年1月1日到9999年12月31日，精确到毫秒 。（注释5） TIMESTAMP 是 TIMESTAMP ‘2017-11-11 00:00:00.123456789’ 范围从0000年1月1日到9999年12月31日 23.59:59.999999999, 精确到纳秒。注意：timestamp类型本身与时区无关，在任何时区，timestamp类型存储的都是从epoch（UTC 1970-01-01 00:00:00)开始的一个偏移量。您可以通过一些内置函数对timestamp类型数据进行与时区相关的计算，如cast( as string)将timestamp类型数据按照当前时区值转换成string类型。 BOOLEAN 否 TRUE，FALSE boolean 类型, 取值 TRUE 或 FALSE
    踩0 评论0
  • 回答了问题 2021-03-31

    odps怎么实现分组排序后合并呢，wm_concat()能支持排序吗？

    你好，wm_concat()可以支持分组排序后合并，具体使用方式： string wm_concat(string separator, string str) 用途：用指定的spearator做分隔符，链接str中的值。 参数说明： separator：String类型常量，分隔符。其他类型或非常量将引发异常。 str：String类型，若输入为bigint，double或者datetime类型会隐式转换为string后参与运算，其它类型报异常。 返回值：String类型。 备注: 对语句”select wm_concat(‘,’,name) from test_src;”，若test_src为空集合，这MaxCompute SQL条语句返回NULL值。
    踩0 评论0
  • 回答了问题 2021-03-31

    Flink反压问题

    调大资源和并发
    踩0 评论0
  • 回答了问题 2021-03-31

    odps 的 MapReduce 必须指定输入表或分区吗

    输入、输出表是必须需要指定的。如果读全表可不指定分区
    踩0 评论0
  • 回答了问题 2019-07-17

    你好，我们想用MaxCompute 查询最近多少条的分区，但是不知道怎么写 ，${bdp.system.bizdate}' 减7天怎么写 ds =$[${bdp.system.bizdate}' -7*N ] 大概这种格式吗？日期转换会报错。

    select * from table where ds >= to_char(dateadd(to_date('${bizdate}', 'yyyymmdd'), -7, 'dd'),'yyyymmdd')
    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute 中double类型的字段 sum之后，结果小数点后出现十多位，请问怎么解决

    可以用round函数四舍五入计算到任意小数点后的位置
    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute不支持更新，请问如何实现？

    将A系统和B系统的表都抽入到MaxCompute里面的，如果是需要A系统和B系统的表关联加工来更新C表的话，可以通过数据开发，编写SQL脚本，一次性insert overwriteC表，进行更新。如果insert overwrite分别更新的话，那么只保留最后一次更新的数据，前一次的就被覆盖掉了。
    踩0 评论0
  • 回答了问题 2019-07-17

    我想请教下Maxcompute的MR程序里面reduce阶段可以输出到mysql之类的关系型数据库吗？

    你好，由于ODPS的所有数据都被存放在表中，因此ODPS MapReduce的输入、输出只能是表，不允许用户自定义输出格式，不提供类似文件系统的接口，谢谢
    踩0 评论0
  • 回答了问题 2019-07-17

    东南亚节点，使用MaxCompute odpscmd工具，通过tunnel功能上传数据，设置了经典网络的endpoint，但是却连接到外网的tunnel endpoint。

    你好，odpscmd中有一个conf文件，里面有一个odps_config.ini，在里面设置endpoint即可，谢谢。
    踩0 评论0
  • 回答了问题 2019-07-17

    maxcompute left outer join 不等值On 连接条件查询

    把不等值放在关联之后的where中过滤，把b、c表中的过滤条件提到子查询中提前过滤数据量，减少join的数据量，望采纳，谢谢！select a.* from (select * from tmp_t_mz_ry_jhdj)a left join (select * from t_jztp_gx_sum where gxxl like '1104%' and zgxr is null)b on ((a.zgxr = b.zgxr and a.cgxr = b.cgxr) or (a.zgxr = b.cgxr and a.cgxr = b.zgxr)) left join (select * from tmp_t_mz_ry_lhdj where zgxr is null)c on a.zgxr = c.zgxr and a.cgxr = c.cgxr where a.gxfssj
    踩0 评论0
  • 回答了问题 2019-07-17

    mysql 关键字

    AACCESSIBLE (R)ACTIONADD (R)AFTERAGAINSTAGGREGATEALGORITHMALL (R)ALTER (R)ANALYZE (R)AND (R)ANYAS (R)ASC (R)ASCIIASENSITIVE (R)ATAUTHORSAUTOEXTEND_SIZEAUTO_INCREMENTAVGAVG_ROW_LENGTHBBACKUPBEFORE (R)BEGINBETWEEN (R)BIGINT (R)BINARY (R)BINLOGBITBLOB (R)BLOCKBOOLBOOLEANBOTH (R)BTREEBY (R)BYTECCACHECALL (R)CASCADE (R)CASCADEDCASE (R)CATALOG_NAMECHAINCHANGE (R)CHANGEDCHAR (R)CHARACTER (R)CHARSETCHECK (R)CHECKSUMCIPHERCLASS_ORIGINCLIENTCLOSECOALESCECODECOLLATE (R)COLLATIONCOLUMN (R)COLUMNSCOLUMN_NAMECOMMENTCOMMITCOMMITTEDCOMPACTCOMPLETIONCOMPRESSEDCONCURRENTCONDITION (R)CONNECTIONCONSISTENTCONSTRAINT (R)CONSTRAINT_CATALOGCONSTRAINT_NAMECONSTRAINT_SCHEMACONTAINSCONTEXTCONTINUE (R)CONTRIBUTORSCONVERT (R)CPUCREATE (R)CROSS (R)CUBECURRENT_DATE (R)CURRENT_TIME (R)CURRENT_TIMESTAMP (R)CURRENT_USER (R)CURSOR (R)CURSOR_NAMEDDATADATABASE (R)DATABASES (R)DATAFILEDATEDATETIMEDAYDAY_HOUR (R)DAY_MICROSECOND (R)DAY_MINUTE (R)DAY_SECOND (R)DEALLOCATEDEC (R)DECIMAL (R)DECLARE (R)DEFAULT (R)DEFINERDELAYED (R)DELAY_KEY_WRITEDELETE (R)DESC (R)DESCRIBE (R)DES_KEY_FILEDETERMINISTIC (R)DIRECTORYDISABLEDISCARDDISKDISTINCT (R)DISTINCTROW (R)DIV (R)DODOUBLE (R)DROP (R)DUAL (R)DUMPFILEDUPLICATEDYNAMICEEACH (R)ELSE (R)ELSEIF (R)ENABLEENCLOSED (R)ENDENDSENGINEENGINESENUMERROR added in 5.5.3 (nonreserved)ERRORSESCAPEESCAPED (R)EVENTEVENTSEVERYEXECUTEEXISTS (R)EXIT (R)EXPANSIONEXPLAIN (R)EXTENDEDEXTENT_SIZEFFALSE (R)FASTFAULTSFETCH (R)FIELDSFILEFIRSTFIXEDFLOAT (R)FLOAT4 (R)FLOAT8 (R)FLUSHFOR (R)FORCE (R)FOREIGN (R)FOUNDFRAC_SECOND removed in 5.5.3FROM (R)FULLFULLTEXT (R)FUNCTIONGGENERAL added in 5.5.3 (reserved); became nonreserved in 5.5.8GEOMETRYGEOMETRYCOLLECTIONGET_FORMATGLOBALGRANT (R)GRANTSGROUP (R)HHANDLERHASHHAVING (R)HELPHIGH_PRIORITY (R)HOSTHOSTSHOURHOUR_MICROSECOND (R)HOUR_MINUTE (R)HOUR_SECOND (R)IIDENTIFIEDIF (R)IGNORE (R)IGNORE_SERVER_IDS became nonreserved in 5.5.8IMPORTIN (R)INDEX (R)INDEXESINFILE (R)INITIAL_SIZEINNER (R)INNOBASE removed in 5.5.3INNODB removed in 5.5.3INOUT (R)INSENSITIVE (R)INSERT (R)INSERT_METHODINSTALLINT (R)INT1 (R)INT2 (R)INT3 (R)INT4 (R)INT8 (R)INTEGER (R)INTERVAL (R)INTO (R)INVOKERIOIO_THREADIPCIS (R)ISOLATIONISSUERITERATE (R)JJOIN (R)KKEY (R)KEYS (R)KEY_BLOCK_SIZEKILL (R)LLANGUAGELASTLEADING (R)LEAVE (R)LEAVESLEFT (R)LESSLEVELLIKE (R)LIMIT (R)LINEAR (R)LINES (R)LINESTRINGLISTLOAD (R)LOCALLOCALTIME (R)LOCALTIMESTAMP (R)LOCK (R)LOCKSLOGFILELOGSLONG (R)LONGBLOB (R)LONGTEXT (R)LOOP (R)LOW_PRIORITY (R)MMASTERMASTER_CONNECT_RETRYMASTER_HEARTBEAT_PERIOD became nonreserved in 5.5.8MASTER_HOSTMASTER_LOG_FILEMASTER_LOG_POSMASTER_PASSWORDMASTER_PORTMASTER_SERVER_IDMASTER_SSLMASTER_SSL_CAMASTER_SSL_CAPATHMASTER_SSL_CERTMASTER_SSL_CIPHERMASTER_SSL_KEYMASTER_SSL_VERIFY_SERVER_CERT (R)MASTER_USERMATCH (R)MAXVALUE (R)MAX_CONNECTIONS_PER_HOURMAX_QUERIES_PER_HOURMAX_ROWSMAX_SIZEMAX_UPDATES_PER_HOURMAX_USER_CONNECTIONSMEDIUMMEDIUMBLOB (R)MEDIUMINT (R)MEDIUMTEXT (R)MEMORYMERGEMESSAGE_TEXTMICROSECONDMIDDLEINT (R)MIGRATEMINUTEMINUTE_MICROSECOND (R)MINUTE_SECOND (R)MIN_ROWSMOD (R)MODEMODIFIES (R)MODIFYMONTHMULTILINESTRINGMULTIPOINTMULTIPOLYGONMUTEXMYSQL_ERRNONNAMENAMESNATIONALNATURAL (R)NCHARNDBNDBCLUSTERNEWNEXTNONODEGROUPNONENOT (R)NO_WAITNO_WRITE_TO_BINLOG (R)NULL (R)NUMERIC (R)NVARCHAROOFFSETOLD_PASSWORDON (R)ONEONE_SHOTOPENOPTIMIZE (R)OPTION (R)OPTIONALLY (R)OPTIONSOR (R)ORDER (R)OUT (R)OUTER (R)OUTFILE (R)OWNERPPACK_KEYSPAGEPARSERPARTIALPARTITIONPARTITIONINGPARTITIONSPASSWORDPHASEPLUGINPLUGINSPOINTPOLYGONPORTPRECISION (R)PREPAREPRESERVEPREVPRIMARY (R)PRIVILEGESPROCEDURE (R)PROCESSLISTPROFILEPROFILESPROXY added in 5.5.7 (nonreserved)PURGE (R)QQUARTERQUERYQUICKRRANGE (R)READ (R)READS (R)READ_ONLYREAD_WRITE (R)REAL (R)REBUILDRECOVERREDOFILEREDO_BUFFER_SIZEREDUNDANTREFERENCES (R)REGEXP (R)RELAY added in 5.5.3 (nonreserved)RELAYLOGRELAY_LOG_FILERELAY_LOG_POSRELAY_THREADRELEASE (R)RELOADREMOVERENAME (R)REORGANIZEREPAIRREPEAT (R)REPEATABLEREPLACE (R)REPLICATIONREQUIRE (R)RESETRESIGNAL (R)RESTORERESTRICT (R)RESUMERETURN (R)RETURNSREVOKE (R)RIGHT (R)RLIKE (R)ROLLBACKROLLUPROUTINEROWROWSROW_FORMATRTREESSAVEPOINTSCHEDULESCHEMA (R)SCHEMAS (R)SCHEMA_NAMESECONDSECOND_MICROSECOND (R)SECURITYSELECT (R)SENSITIVE (R)SEPARATOR (R)SERIALSERIALIZABLESERVERSESSIONSET (R)SHARESHOW (R)SHUTDOWNSIGNAL (R)SIGNEDSIMPLESLAVESLOW added in 5.5.3 (reserved); became nonreserved in 5.5.8SMALLINT (R)SNAPSHOTSOCKETSOMESONAMESOUNDSSOURCESPATIAL (R)SPECIFIC (R)SQL (R)SQLEXCEPTION (R)SQLSTATE (R)SQLWARNING (R)SQL_BIG_RESULT (R)SQL_BUFFER_RESULTSQL_CACHESQL_CALC_FOUND_ROWS (R)SQL_NO_CACHESQL_SMALL_RESULT (R)SQL_THREADSQL_TSI_DAYSQL_TSI_FRAC_SECOND removed in 5.5.3SQL_TSI_HOURSQL_TSI_MINUTESQL_TSI_MONTHSQL_TSI_QUARTERSQL_TSI_SECONDSQL_TSI_WEEKSQL_TSI_YEARSSL (R)STARTSTARTING (R)STARTSSTATUSSTOPSTORAGESTRAIGHT_JOIN (R)STRINGSUBCLASS_ORIGINSUBJECTSUBPARTITIONSUBPARTITIONSSUPERSUSPENDSWAPSSWITCHESTTABLE (R)TABLESTABLESPACETABLE_CHECKSUMTABLE_NAMETEMPORARYTEMPTABLETERMINATED (R)TEXTTHANTHEN (R)TIMETIMESTAMPTIMESTAMPADDTIMESTAMPDIFFTINYBLOB (R)TINYINT (R)TINYTEXT (R)TO (R)TRAILING (R)TRANSACTIONTRIGGER (R)TRIGGERSTRUE (R)TRUNCATETYPETYPESUUNCOMMITTEDUNDEFINEDUNDO (R)UNDOFILEUNDO_BUFFER_SIZEUNICODEUNINSTALLUNION (R)UNIQUE (R)UNKNOWNUNLOCK (R)UNSIGNED (R)UNTILUPDATE (R)UPGRADEUSAGE (R)USE (R)USERUSER_RESOURCESUSE_FRMUSING (R)UTC_DATE (R)UTC_TIME (R)UTC_TIMESTAMP (R)VVALUEVALUES (R)VARBINARY (R)VARCHAR (R)VARCHARACTER (R)VARIABLESVARYING (R)VIEWWWAITWARNINGSWEEKWHEN (R)WHERE (R)WHILE (R)WITH (R)WORKWRAPPERWRITE (R)XX509XAXMLXOR (R)YYEARYEAR_MONTH (R)ZZEROFILL (R)MySQL 5.5 New Keywords and Reserved WordsThe following list shows the keywords and reserved words that are added in MySQL 5.5, compared to MySQL 5.1. Reserved keywords are marked with (R).CCATALOG_NAMECLASS_ORIGINCOLUMN_NAMECONSTRAINT_CATALOGCONSTRAINT_NAMECONSTRAINT_SCHEMACURSOR_NAMEEERRORGGENERALIIGNORE_SERVER_IDSMMASTER_HEARTBEAT_PERIODMESSAGE_TEXTMYSQL_ERRNOPPROXYRRELAYRELAYLOGRESIGNAL (R)SSCHEMA_NAMESIGNAL (R)SLOWSUBCLASS_ORIGINTTABLE_NAMEXXMLMySQL 5.5 Removed Keywords and Reserved WordsThe following list shows the keywords and reserved words that are removed in MySQL 5.5, compared to MySQL 5.1. Reserved keywords are marked with (R).FRAC_SECONDINNOBASEINNODBSQL_TSI_FRAC_SECOND原文：https://blog.csdn.net/u011479200/article/details/78664625
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息