开发者社区> 问答> 正文

Flume sink组件目的包括什么?

Flume sink组件目的包括什么?

展开
收起
芯在这 2021-12-10 23:31:54 559 0
1 条回答
写回答
取消 提交回答
  • Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。

    Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者发送到另一个Flume Agent。

    Sink 是完全事务性的。

    在从 Channel 批量删除数据之前,每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent,Sink 就利用 Channel 提交事务。事务一旦被提交,该 Channel 从自己的内部缓冲区删除事件。如果写入失败,将缓冲区takeList中的数据归还给Channel。

    2021-12-10 23:42:27
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
零基础实现Flume收集网站日志数据到MaxCompute 立即下载
《基于 Flink 的全新 Pulsar Connector 的设计、开发和使用》 立即下载
Dataflow with Apache NiFi 立即下载