开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

问下jdbc写入holo 有什么方式能提高写入效率吗?

问下jdbc写入holo 有什么方式能提高写入效率吗?

展开
收起
游客6vdkhpqtie2h2 2022-09-02 12:12:30 1083 0
6 条回答
写回答
取消 提交回答
    1. 攒批写入数据。 在通过客户端写入时,攒批写入相比单条写入能够提供更高的吞吐,从而提升写入性能。 使用JDBC时可以在JDBC连接串配置WriteBatchedInserts=true,
    2. 使用Prepared Statement模式写入数据。 Hologres兼容PostgreSQL生态,并基于Postgres的extended协议,支持了Prepared Statement模式,会缓存服务器的SQL编译结果,从而降低了FE、QO等组件的开销,提高写入的性能。
    2022-11-29 07:55:09
    赞同 展开评论 打赏
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    Hologres是一站式实时数据仓库引擎,支持海量数据高性能实时写入与实时更新,满足大数据场景上对数据高性能低延迟的需求,

    在写入或更新场景上,Hologres提供多种数据写入和更新的方式,详情请参见https://help.aliyun.com/document_detail/461881.html?share_token=a0ebbb12-e8a1-45bf-a8c8-f4be37246519&tt_from=copy_link&utm_source=copy_link&utm_medium=toutiao_android&utm_campaign=client_share - 写入/更新调优指南-阿里云 - 今日头条

    2022-11-26 18:40:51
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    想要提高写入效率,可以使用Prepared Statment模式,这个模式服务器会缓存结果,一旦缓存了速度肯定就快了。另外建议开启批量写入,因为写入需要吃IO资源,批量的话会比你一条一条效率高,并且建议批量的条数设置成256的倍数。

    2022-11-24 15:00:06
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    写入数据至Hologres。 可以通过JDBC的Statement或Prepared Statement模式写入数据。 通常情况下,推荐使用Prepared Statment模式,并且设置批量写入数据

    2022-11-23 15:50:21
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    官方有对应相关的优化方法,楼主可以看一下。核心的优化内容如下所示: 使用JDBC时想要达到比较好的性能,有以下需要注意的事项。 尽量使用VPC网络,避免使用公网,已避免公网带来的网络开销。 通过JDBC驱动写入数据时,JDBC URL中添加reWriteBatchedInserts=true配置,系统会以批量写入的方式提交作业,性能更好。实践证明攒批配置256的倍数(建议最低设置为256条)效果会更好。同时您也可以使用Hologres的Holo Client会自动攒批。

    jdbc:postgresql://{ENDPOINT}:{PORT}/{DBNAME}?ApplicationName={APPLICATION_NAME}&reWriteBatchedInserts=true
    

    使用Prepared Statment模式,此模式下服务端会缓存SQL编译的结果,从而降低写入数据的延时,并提高吞吐量。

    2022-11-22 20:42:40
    赞同 1 展开评论 打赏
  • https://help.aliyun.com/document_detail/162684.html(此答案整理自实时数仓Hologres交流群)

    2022-09-02 13:01:33
    赞同 展开评论 打赏
滑动查看更多

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关电子书

更多
阿里云分析引擎Spark On 多数据源介绍 立即下载
HareQL:快速HBase查询工具的发展过程 立即下载
HBase实践之MOB使用指南(未翻译) 立即下载