开发者社区> 问答> 正文

flink sql confluent schema avro topic注册成表

flink sql是否能够支持将confluent schema registry注册的一个avro数据格式 的topic注册成一张table? *来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-08 11:36:17 1375 0
1 条回答
写回答
取消 提交回答
  • 目前社区确实不支持confluent schema registry的avro格式,我们内部也是依赖schema registry来做avro

    schema的管理,所以,我们改动了flink-avro 的源码来支持。

    主要涉及到这些地方:

    org.apache.flink.formats.avro.{AvroRowFormatFactory,AvroRowDeserializationSchema,AvroRowSerializationSchema}

    和org.apache.flink.table.descriptors.{Avro,AvroValidator}

    使用时在构建Avro时指定以下三个参数即可(见标红部分):

    tableEnv.connect(

    new Kafka()

    .version("universal")

    .topic(topic)

    .properties(props)

    ).withFormat(

    new Avro()

    .useRegistry(true)

    .registryUrl(KAFKA_SCHEMA_REGISTRY_URL_ADDRESS)

    .registrySubject(subject)

    .avroSchema(avroSchemaStr)

    )

    *来自志愿者整理的flink邮件归档

    2021-12-08 14:26:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载