开发者社区> 问答> 正文

Spark程序中使用SQL语句将Schema绑定到处理后的数据上的方法是什么?

Spark程序中使用SQL语句将Schema绑定到处理后的数据上的方法是什么?

展开
收起
游客qzzytmszf3zhq 2021-12-09 20:13:21 396 0
1 条回答
写回答
取消 提交回答
  • 针对YahooStockPrice创建一个RDD,并注册为一张表:
    
    scala> val stockprice = data.map(_.split(",")).map(row=> YahooStockPrice(row(0), row(1).trim.toFloat, row(2).trim.toFloat,row(3).trim.toFloat, row(4).trim.toFloat, row(5).trim.toInt,row(6).trim.toFloat)).toDF()
    
    stockprice: org.apache.spark.sql.DataFrame = [date: string,open: float ... 5 more fields]
    
    
    2021-12-09 20:13:46
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载