开发者学堂课程【大数据 Hive 教程精讲：课时名称】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/90/detail/1384
Apache Hive--特殊分隔符处理
内容介绍：
一、特殊分隔符处理（扩展）
一、特殊分隔符处理（扩展）
hive 读取数据的机制:
首先用 InputFormat
<默认是:org.apache.hadoop.mapred.TextInputFormat >的一个具体实现类读入文件数据,返回一条一条的记录(可以是行,或者是逻辑中的“行”)
然后利用 SerDe<默认: org. apache. hadoop.hive.serde2.lazy. LazySimpleSerDe>的一个具体实现类，对上面返回的一条一条的记录进行字段切割。
Hive 对文件中字段的分隔符默认情况下只支持单字节分隔符，如果数据文件中的分隔符是多字符的，如下所示:
01||zhangsan
02| | lisi
可用使用 RegexSerDe 通过正则表达式来抽取字段
drop table t_bi_reg;
create table t_bi_reg(id string,name string)
row format serde
'org.apache.hadoop.hive.serde2.RegexSerDe'
with serdeproperties(
'input.regex'='(.*)11/N1/(.*)".
'output.format.string'='%1$s %2$s'
stored as textfile;
hive>load data local inpath ' /root/hivedata/bi.dat' into table t_bi_reg;
hive>select * from t_bi_reg;
其中:
input.regex:输入的正则表达式
表示||左右两边任意字符被抽取为一个字段
output.format.string:输出的正则表达式
%1$s%2$s则分别表示表中的第一个字段、第二个地段
注意事项:
使用 RegexSerDe 类时，所有的字段必须为 string
