开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

向量化 Python UDF 的执行过程是怎样的?

向量化 Python UDF 的执行过程是怎样的?

展开
收起
詹姆斯邦德00 2021-11-17 17:39:42 1002 0
1 条回答
写回答
取消 提交回答
  • 如图示,向量化 Python UDF 的执行过程。首先在 Java 端,Java 在攒完多条数据之后会转换成 Arrow 格式,然后发送给 Python 进程。Python 进程在收到数据之后,将其转换成 Pandas 的数据结构,然后调用用户自定义的向量化Python UDF。同时向量化 Python UDF 的执行结果会再转化成 Arrow 格式的数据,再发送给 Java 进程。

    19.png

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    2021-11-17 19:22:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载