创建OSS源表

OSS

阿里云对象存储服务（Object Storage Service），简称OSS。为您提供基于网络的数据存取服务。使用OSS，您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。

Flink可以读取OSS上的各种结构化及非结构化文件进行计算，例如，

     
     

      
      
create table oss_csv_source(
      
      
    a VARCHAR
      
      
) with (
      
      
    type = 'csv',
      
      
    path='oss://ossbucket/test.csv?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
      
      
)
     
     

With参数

OSS作为源表或目标表进行计算时，需要根据不同的文件类型指定参数。跟OSS相关的参数为path或filePath。OSS文件路径格式为

oss://${osspath}/${ossFile}?accessKeyId=${accessID}&accessKeySecret=${accessKey}&endpoint=http%3a%2f%2f${OSSEndpoint}。

读取OSS上Parquet文件示例如下。

     
     

      
      
create table oss_parquet_source(
      
      
 x varchar,
      
      
 y varchar,
      
      
 z varchar
      
      
) with (
      
      
 type='parquet',
      
      
 filePath='oss://ossbucket/test.parquet?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
      
      
);
     
     

读取OSS上ORC文件示例如下。

     
     

      
      
create table oss_parquet_source(
      
      
  x varchar,
      
      
 y varchar,
      
      
 z varchar
      
      
) with (
      
      
 type='parquet',
      
      
 filePath='oss://ossbucket/test.orc?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
      
      
);
     
     

本文转自实时计算——创建OSS源表