如何在命令行中指定StreamingPro的写入路径

简介: 如何在命令行中指定StreamingPro的写入路径?如何命令行指定输如输出的参数?本文就给出了详细的操作步骤。
如何命令行指定输如输出的参数?

下面有个输出的例子:

{
        "name": "stream.outputs",
        "params": [
          {
            "name":"jack",
            "format": "jdbc",
            "path": "-",
            "driver":"com.mysql.jdbc.Driver",
            "url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",
            "inputTableName": "finalOutputTable",
            "user":"~",
            "password":"~",
            "dbtable":"~",
            "mode":"Overwrite"
          }
        ]
      }

其中dbtable 是按天建立的,也就是我每天见一个表,表后缀是时间譬如 20121111 这种。在StreamingPro中的处理方式很简单,只要是Source或者Ouput,那么所有的配置都是可以在命令行中指定的。比如我需要指定dbtable的时候,只要如下即可:

SHome=/home/zhuhl/streamingpro
spark-submit --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
$SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar    \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file:///test.json 
-streaming.sql.out.jack.dbtable  aaa
最后一行就是让你指定变量的地方。 jack 是你的输出的名字,dbtable 则是你需要更改的变量。这样,默认写入的表名就是aaa了。


如何给SQL传递变量
其实batch.sql/stream.sql 也是可以传递变量的,比如:

{
        "name": "batch.sql",
        "params": [
          {
            "sql": "select * from test where a=:jack",
            "outputTableName": "finalOutputTable"
          }
        ]
      }
其中a 的值只有在启动的时候才知道,那么你可以通过参数
-streaming.sql.params.jack    william
来进行传递。

目录
相关文章
|
8月前
|
运维 Java 应用服务中间件
Tomcat安装shell脚本
Tomcat安装shell脚本
71 7
|
8月前
|
Shell 开发工具 git
shell空文件夹查找
shell空文件夹查找
53 0
|
8月前
|
Shell
【shell】万能解压脚本
【shell】万能解压脚本
|
8月前
|
Unix Shell Linux
在Shell中,对文件和目录进行操作
在Shell中,对文件和目录进行操作
88 1
|
数据采集 安全 Unix
[oeasy]python0029_放入系统路径_PATH_chmod_程序路径_执行原理
[oeasy]python0029_放入系统路径_PATH_chmod_程序路径_执行原理
146 0
[oeasy]python0029_放入系统路径_PATH_chmod_程序路径_执行原理
|
C语言 索引 Windows
BAT文件语法和技巧(bat文件的编写及使用)
BAT文件语法和技巧(bat文件的编写及使用)
270 0
|
分布式计算 Java Shell
Spark源码分析之Spark Shell(上)
终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的。另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口。
943 0
|
Shell iOS开发 数据格式
shell技巧5 - 全自动打包ipa
1、前言 最近在研究上传ipa文件自动上传到苹果后台(后续有时间也分享给大家啊),然后,就需要制作大量的ipa文件啊!如果手工的Archive 那不就死啦,整个步骤,大概要5分钟过程,而且不是一步到位等5分钟,所以就研究了一下项目如何自动打ipa,最后...
2456 0
|
Shell
shell命令|文件测试
image.png image.png image.png -e 文件或者目录是否存在则为真(0) -e :exit -e 文件或者目录是否存在则为真(0) -d和-f -d:目录。
798 0