AI 助理
备案控制台
开发者社区 大数据 文章 正文

大数据进阶之路——Spark SQL 之 DataFrame&&Dataset

2022-01-06 164
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
简介： 文章目录dataframe 和 rddAPI常用操作DataFrame和RDD案例DataSet

DataFrame它不是Spark SQL提出的，而是早起在R、Pandas语言就已经有了的。

A Dataset is a distributed collection of data：分布式的数据集


A DataFrame is a Dataset organized into named columns.

以列（列名、列的类型、列值）的形式构成的分布式数据集，按照列赋予不同的名称


dataframe 和 rdd

DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame引入了schema。

image.png

image.png

API常用操作

package org.example
import org.apache.spark.sql.SparkSession
object DataFrameApp {
  def main(args: Array[String]) {
    val spark = SparkSession.builder().appName("DataFrameApp").master("local[2]").getOrCreate()
    // 将json文件加载成一个dataframe
    val peopleDF = spark.read.format("json").load("people.json")
    // 输出dataframe对应的schema信息
    peopleDF.printSchema()
    // 输出数据集的前20条记录
    peopleDF.show()
    //查询某列所有的数据： select name from table
    peopleDF.select("name").show()
    // 查询某几列所有的数据，并对列进行计算： select name, age+10 as age2 from table
    peopleDF.select(peopleDF.col("name"), (peopleDF.col("age") + 10).as("age2")).show()
    //根据某一列的值进行过滤： select * from table where age>19
    peopleDF.filter(peopleDF.col("age") > 19).show()
    //根据某一列进行分组，然后再进行聚合操作： select age,count(1) from table group by age
    peopleDF.groupBy("age").count().show()
    spark.stop()
  }
}

root
 |-- age: long (nullable = true)
 |-- name: string (nullable = true)
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+
+-------+
|   name|
+-------+
|Michael|
|   Andy|
| Justin|
+-------+
+-------+----+
|   name|age2|
+-------+----+
|Michael|null|
|   Andy|  40|
| Justin|  29|
+-------+----+
+---+----+
|age|name|
+---+----+
| 30|Andy|
+---+----+
+----+-----+
| age|count|
+----+-----+
|  19|    1|
|null|    1|
|  30|    1|
+----+-----+

DataFrame和RDD

package org.example
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SparkSession}
object DataFrameRDDApp {
  def main(args: Array[String]) {
    val spark = SparkSession.builder().appName("DataFrameRDDApp").master("local[2]").getOrCreate()
    //inferReflection(spark)
    program(spark)
    spark.stop()
  }
  def program(spark: SparkSession): Unit = {
    // RDD ==> DataFrame
    val rdd = spark.sparkContext.textFile("infos.txt")
    val infoRDD = rdd.map(_.split(",")).map(line => Row(line(0).toInt, line(1), line(2).toInt))
    val structType = StructType(Array(StructField("id", IntegerType, true),
      StructField("name", StringType, true),
      StructField("age", IntegerType, true)))
    val infoDF = spark.createDataFrame(infoRDD, structType)
    infoDF.printSchema()
    infoDF.show()
    //通过df的api进行操作
    infoDF.filter(infoDF.col("age") > 70).show
    //通过sql的方式进行操作
    infoDF.createOrReplaceTempView("infos")
    spark.sql("select * from infos where age > 70").show()
  }
  def inferReflection(spark: SparkSession) {
    // RDD ==> DataFrame
    val rdd = spark.sparkContext.textFile("infos.txt")
    //注意：需要导入隐式转换
    import spark.implicits._
    val infoDF = rdd.map(_.split(",")).map(line => Info(line(0).toInt, line(1), line(2).toInt)).toDF()
    infoDF.show()
    infoDF.filter(infoDF.col("age") > 70).show
    infoDF.createOrReplaceTempView("infos")
    spark.sql("select * from infos where age > 70").show()
  }
  case class Info(id: Int, name: String, age: Int)
}

root
 |-- id: integer (nullable = true)
 |-- name: string (nullable = true)
 |-- age: integer (nullable = true)
+---+-----+---+
| id| name|age|
+---+-----+---+
|  1|hello| 66|
|  2|world| 89|
|  3|spark| 88|
+---+-----+---+
+---+-----+---+
| id| name|age|
+---+-----+---+
|  2|world| 89|
|  3|spark| 88|
+---+-----+---+
+---+-----+---+
| id| name|age|
+---+-----+---+
|  2|world| 89|
|  3|spark| 88|
+---+-----+---+

案例

package org.example
import org.apache.spark.sql.SparkSession
/**
 * DataFrame中的操作操作
 */
object DataFrameProjectApp {
  def main(args: Array[String]) {
    val spark = SparkSession.builder().appName("DataFrameProjectApp").master("local[2]").getOrCreate()
    // RDD ==> DataFrame
    val rdd = spark.sparkContext.textFile("Student.data")
    //注意：需要导入隐式转换
    import spark.implicits._
    val studentDF = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()
    //show默认只显示前20条
    studentDF.show
    studentDF.show(30)
    studentDF.show(30, false)
    studentDF.take(10)
    studentDF.first()
    studentDF.head(3)
    studentDF.select("email").show(30,false)
    studentDF.filter("name=''").show
    studentDF.filter("name='' OR name='NULL'").show
    //name以M开头的人
    studentDF.filter("SUBSTR(name,0,1)='M'").show
    studentDF.sort(studentDF("name")).show
    studentDF.sort(studentDF("name").desc).show
    studentDF.sort("name","id").show
    studentDF.sort(studentDF("name").asc, studentDF("id").desc).show
    studentDF.select(studentDF("name").as("student_name")).show
    val studentDF2 = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()
    studentDF.join(studentDF2, studentDF.col("id") === studentDF2.col("id")).show
    spark.stop()
  }
  case class Student(id: Int, name: String, phone: String, email: String)
}

+---+--------+--------------+--------------------+
| id|    name|         phone|               email|
+---+--------+--------------+--------------------+
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
|  2|   Kamal|1-668-571-5046|pede.Suspendisse@...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
|  5|  Trevor|1-300-527-4967|dapibus.id@acturp...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
|  7|    Sara|1-608-140-1995|Donec.nibh@enimEt...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 11|     Emi|1-467-270-1337|        est@nunc.com|
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
| 14|   Anika|1-856-828-7883|euismod@ligulaeli...|
| 15|   Tarik|1-398-171-2268|turpis@felisorci.com|
| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
| 18|     Guy|1-869-521-3230|senectus.et.netus...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
+---+--------+--------------+--------------------+
only showing top 20 rows
| id|    name|         phone|               email|
+---+--------+--------------+--------------------+
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
|  2|   Kamal|1-668-571-5046|pede.Suspendisse@...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
|  5|  Trevor|1-300-527-4967|dapibus.id@acturp...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
|  7|    Sara|1-608-140-1995|Donec.nibh@enimEt...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 11|     Emi|1-467-270-1337|        est@nunc.com|
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
| 14|   Anika|1-856-828-7883|euismod@ligulaeli...|
| 15|   Tarik|1-398-171-2268|turpis@felisorci.com|
| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
| 18|     Guy|1-869-521-3230|senectus.et.netus...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
| 21|        |1-711-710-6552|lectus@aliquetlib...|
| 22|        |1-711-710-6552|lectus@aliquetlib...|
| 23|    NULL|1-711-710-6552|lectus@aliquetlib...|
+---+--------+--------------+--------------------+
+---+--------+--------------+-----------------------------------------+
|id |name    |phone         |email                                    |
+---+--------+--------------+-----------------------------------------+
|1  |Burke   |1-300-746-8446|ullamcorper.velit.in@ametnullaDonec.co.uk|
|2  |Kamal   |1-668-571-5046|pede.Suspendisse@interdumenim.edu        |
|3  |Olga    |1-956-311-1686|Aenean.eget.metus@dictumcursusNunc.edu   |
|4  |Belle   |1-246-894-6340|vitae.aliquet.nec@neque.co.uk            |
|5  |Trevor  |1-300-527-4967|dapibus.id@acturpisegestas.net           |
|6  |Laurel  |1-691-379-9921|adipiscing@consectetueripsum.edu         |
|7  |Sara    |1-608-140-1995|Donec.nibh@enimEtiamimperdiet.edu        |
|8  |Kaseem  |1-881-586-2689|cursus.et.magna@euismod.org              |
|9  |Lev     |1-916-367-5608|Vivamus.nisi@ipsumdolor.com              |
|10 |Maya    |1-271-683-2698|accumsan.convallis@ornarelectusjusto.edu |
|11 |Emi     |1-467-270-1337|est@nunc.com                             |
|12 |Caleb   |1-683-212-0896|Suspendisse@Quisque.edu                  |
|13 |Florence|1-603-575-2444|sit.amet.dapibus@lacusAliquamrutrum.ca   |
|14 |Anika   |1-856-828-7883|euismod@ligulaelit.co.uk                 |
|15 |Tarik   |1-398-171-2268|turpis@felisorci.com                     |
|16 |Amena   |1-878-250-3129|lorem.luctus.ut@scelerisque.com          |
|17 |Blossom |1-154-406-9596|Nunc.commodo.auctor@eratSed.co.uk        |
|18 |Guy     |1-869-521-3230|senectus.et.netus@lectusrutrum.com       |
|19 |Malachi |1-608-637-2772|Proin.mi.Aliquam@estarcu.net             |
|20 |Edward  |1-711-710-6552|lectus@aliquetlibero.co.uk               |
|21 |        |1-711-710-6552|lectus@aliquetlibero.co.uk               |
|22 |        |1-711-710-6552|lectus@aliquetlibero.co.uk               |
|23 |NULL    |1-711-710-6552|lectus@aliquetlibero.co.uk               |
+---+--------+--------------+-----------------------------------------+
+-----------------------------------------+
|email                                    |
+-----------------------------------------+
|ullamcorper.velit.in@ametnullaDonec.co.uk|
|pede.Suspendisse@interdumenim.edu        |
|Aenean.eget.metus@dictumcursusNunc.edu   |
|vitae.aliquet.nec@neque.co.uk            |
|dapibus.id@acturpisegestas.net           |
|adipiscing@consectetueripsum.edu         |
|Donec.nibh@enimEtiamimperdiet.edu        |
|cursus.et.magna@euismod.org              |
|Vivamus.nisi@ipsumdolor.com              |
|accumsan.convallis@ornarelectusjusto.edu |
|est@nunc.com                             |
|Suspendisse@Quisque.edu                  |
|sit.amet.dapibus@lacusAliquamrutrum.ca   |
|euismod@ligulaelit.co.uk                 |
|turpis@felisorci.com                     |
|lorem.luctus.ut@scelerisque.com          |
|Nunc.commodo.auctor@eratSed.co.uk        |
|senectus.et.netus@lectusrutrum.com       |
|Proin.mi.Aliquam@estarcu.net             |
|lectus@aliquetlibero.co.uk               |
|lectus@aliquetlibero.co.uk               |
|lectus@aliquetlibero.co.uk               |
|lectus@aliquetlibero.co.uk               |
+-----------------------------------------+
+---+----+--------------+--------------------+
| id|name|         phone|               email|
+---+----+--------------+--------------------+
| 21|    |1-711-710-6552|lectus@aliquetlib...|
| 22|    |1-711-710-6552|lectus@aliquetlib...|
+---+----+--------------+--------------------+
+---+----+--------------+--------------------+
| id|name|         phone|               email|
+---+----+--------------+--------------------+
| 21|    |1-711-710-6552|lectus@aliquetlib...|
| 22|    |1-711-710-6552|lectus@aliquetlib...|
| 23|NULL|1-711-710-6552|lectus@aliquetlib...|
+---+----+--------------+--------------------+
+---+-------+--------------+--------------------+
| id|   name|         phone|               email|
+---+-------+--------------+--------------------+
| 10|   Maya|1-271-683-2698|accumsan.convalli...|
| 19|Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
+---+-------+--------------+--------------------+
+---+--------+--------------+--------------------+
| id|    name|         phone|               email|
+---+--------+--------------+--------------------+
| 21|        |1-711-710-6552|lectus@aliquetlib...|
| 22|        |1-711-710-6552|lectus@aliquetlib...|
| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...|
| 14|   Anika|1-856-828-7883|euismod@ligulaeli...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
| 11|     Emi|1-467-270-1337|        est@nunc.com|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
| 18|     Guy|1-869-521-3230|senectus.et.netus...|
|  2|   Kamal|1-668-571-5046|pede.Suspendisse@...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 23|    NULL|1-711-710-6552|lectus@aliquetlib...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
+---+--------+--------------+--------------------+
+---+--------+--------------+--------------------+
| id|    name|         phone|               email|
+---+--------+--------------+--------------------+
|  5|  Trevor|1-300-527-4967|dapibus.id@acturp...|
| 15|   Tarik|1-398-171-2268|turpis@felisorci.com|
|  7|    Sara|1-608-140-1995|Donec.nibh@enimEt...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
| 23|    NULL|1-711-710-6552|lectus@aliquetlib...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
|  2|   Kamal|1-668-571-5046|pede.Suspendisse@...|
| 18|     Guy|1-869-521-3230|senectus.et.netus...|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
| 11|     Emi|1-467-270-1337|        est@nunc.com|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
| 14|   Anika|1-856-828-7883|euismod@ligulaeli...|
+---+--------+--------------+--------------------+
+---+--------+--------------+--------------------+
| id|    name|         phone|               email|
+---+--------+--------------+--------------------+
| 21|        |1-711-710-6552|lectus@aliquetlib...|
| 22|        |1-711-710-6552|lectus@aliquetlib...|
| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...|
| 14|   Anika|1-856-828-7883|euismod@ligulaeli...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
| 11|     Emi|1-467-270-1337|        est@nunc.com|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
| 18|     Guy|1-869-521-3230|senectus.et.netus...|
|  2|   Kamal|1-668-571-5046|pede.Suspendisse@...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 23|    NULL|1-711-710-6552|lectus@aliquetlib...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
+---+--------+--------------+--------------------+
+---+--------+--------------+--------------------+
| id|    name|         phone|               email|
+---+--------+--------------+--------------------+
| 22|        |1-711-710-6552|lectus@aliquetlib...|
| 21|        |1-711-710-6552|lectus@aliquetlib...|
| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...|
| 14|   Anika|1-856-828-7883|euismod@ligulaeli...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
| 11|     Emi|1-467-270-1337|        est@nunc.com|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
| 18|     Guy|1-869-521-3230|senectus.et.netus...|
|  2|   Kamal|1-668-571-5046|pede.Suspendisse@...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 23|    NULL|1-711-710-6552|lectus@aliquetlib...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
+---+--------+--------------+--------------------+
+------------+
|student_name|
+------------+
|       Burke|
|       Kamal|
|        Olga|
|       Belle|
|      Trevor|
|      Laurel|
|        Sara|
|      Kaseem|
|         Lev|
|        Maya|
|         Emi|
|       Caleb|
|    Florence|
|       Anika|
|       Tarik|
|       Amena|
|     Blossom|
|         Guy|
|     Malachi|
|      Edward|
+------------+
+---+--------+--------------+--------------------+---+--------+--------------+--------------------+
| id|    name|         phone|               email| id|    name|         phone|               email|
+---+--------+--------------+--------------------+---+--------+--------------+--------------------+
| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...| 12|   Caleb|1-683-212-0896|Suspendisse@Quisq...|
| 22|        |1-711-710-6552|lectus@aliquetlib...| 22|        |1-711-710-6552|lectus@aliquetlib...|
|  1|   Burke|1-300-746-8446|ullamcorper.velit...|  1|   Burke|1-300-746-8446|ullamcorper.velit...|
| 13|Florence|1-603-575-2444|sit.amet.dapibus@...| 13|Florence|1-603-575-2444|sit.amet.dapibus@...|
|  6|  Laurel|1-691-379-9921|adipiscing@consec...|  6|  Laurel|1-691-379-9921|adipiscing@consec...|
| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...| 16|   Amena|1-878-250-3129|lorem.luctus.ut@s...|
|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|  3|    Olga|1-956-311-1686|Aenean.eget.metus...|
| 20|  Edward|1-711-710-6552|lectus@aliquetlib...| 20|  Edward|1-711-710-6552|lectus@aliquetlib...|
|  5|  Trevor|1-300-527-4967|dapibus.id@acturp...|  5|  Trevor|1-300-527-4967|dapibus.id@acturp...|
| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...| 19| Malachi|1-608-637-2772|Proin.mi.Aliquam@...|
| 15|   Tarik|1-398-171-2268|turpis@felisorci.com| 15|   Tarik|1-398-171-2268|turpis@felisorci.com|
|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  9|     Lev|1-916-367-5608|Vivamus.nisi@ipsu...|
| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...| 17| Blossom|1-154-406-9596|Nunc.commodo.auct...|
|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|  4|   Belle|1-246-894-6340|vitae.aliquet.nec...|
|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|  8|  Kaseem|1-881-586-2689|cursus.et.magna@e...|
| 23|    NULL|1-711-710-6552|lectus@aliquetlib...| 23|    NULL|1-711-710-6552|lectus@aliquetlib...|
|  7|    Sara|1-608-140-1995|Donec.nibh@enimEt...|  7|    Sara|1-608-140-1995|Donec.nibh@enimEt...|
| 10|    Maya|1-271-683-2698|accumsan.convalli...| 10|    Maya|1-271-683-2698|accumsan.convalli...|
| 21|        |1-711-710-6552|lectus@aliquetlib...| 21|        |1-711-710-6552|lectus@aliquetlib...|
| 11|     Emi|1-467-270-1337|        est@nunc.com| 11|     Emi|1-467-270-1337|        est@nunc.com|
+---+--------+--------------+--------------------+---+--------+--------------+--------------------+
only showing top 20 rows

image.png

DataFrame = Dataset[Row]

Dataset：强类型 typed case class

DataFrame：弱类型 Row


SQL: seletc name from person; compile ok, result no


DF:


df.select(“name”) compile no

df.select(“nname”) compile ok

DS:ds.map(line => line.itemid) compile no

文章标签：
云原生大数据计算服务 MaxCompute
Python
分布式计算
SQL
Spark
API
数据库
大数据
关键词：
大数据SQL
云原生大数据计算服务 MaxCompute sql
apache spark大数据
SQL大数据
apache spark SQL
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
孙中明
目录
相关文章
番茄酱脑袋
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何开发ODPS Spark任务
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
番茄酱脑袋
44 2
vohelon
|
20天前
|
机器学习/深度学习 分布式计算 大数据
Spark 适合解决多种类型的大数据处理问题
【9月更文挑战第1天】Spark 适合解决多种类型的大数据处理问题
vohelon
31 3
土木林森
|
24天前
|
分布式计算 大数据 Apache
跨越界限：当.NET遇上Apache Spark，大数据世界的新篇章如何谱写？
【8月更文挑战第28天】随着信息时代的发展，大数据已成为推动企业决策、科研与技术创新的关键力量。Apache Spark凭借其卓越的分布式计算能力和多功能数据处理特性，在大数据领域占据重要地位。然而，对于.NET开发者而言，如何在Spark生态中发挥自身优势成为一个新课题。为此，微软与Apache Spark社区共同推出了.NET for Apache Spark，使开发者能用C#、F#等语言编写Spark应用，不仅保留了Spark的强大功能，还融合了.NET的强类型系统、丰富库支持及良好跨平台能力，极大地降低了学习门槛并拓展了.NET的应用范围。
土木林森
42 3
1941623231718325
|
29天前
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势：解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统，在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及，Spark必将成为企业实现数字化转型和业务创新的重要工具。未来，我们有理由相信，Spark将继续引领大数据处理技术的发展潮流，为企业创造更大的价值。
1941623231718325
51 3
格格的阿里云
|
27天前
|
存储 分布式计算 供应链
Spark在供应链核算中应用问题之调整Spark读取ODPS离线表分区大小如何解决
Spark在供应链核算中应用问题之调整Spark读取ODPS离线表分区大小如何解决
格格的阿里云
21 1
wljslmz
|
1月前
|
SQL 存储 分布式计算
如何使用 Spark SQL 从 DataFrame 查询数据？
【8月更文挑战第13天】
wljslmz
34 4
土木林森
|
20天前
|
Java Spring API
Spring框架与GraphQL的史诗级碰撞：颠覆传统，重塑API开发的未来传奇！
【8月更文挑战第31天】《Spring框架与GraphQL：构建现代API》介绍了如何结合Spring框架与GraphQL构建高效、灵活的API。首先通过引入`spring-boot-starter-data-graphql`等依赖支持GraphQL，然后定义查询和类型，利用`@GraphQLQuery`等注解实现具体功能。Spring的依赖注入和事务管理进一步增强了GraphQL服务的能力。示例展示了从查询到突变的具体实现，证明了Spring与GraphQL结合的强大潜力，适合现代API设计与开发。
土木林森
39 0
不吃核桃
|
30天前
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
不吃核桃
31 0
jianz123
|
1月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
jianz123
37 0
sunrr
|
2月前
|
SQL 存储 监控
SQL Server的并行实施如何优化？
【7月更文挑战第23天】SQL Server的并行实施如何优化？
sunrr
63 13

热门文章

最新文章

  • 1
    RDS for SQL server 空间问题排查汇总
  • 2
    Git.Framework 框架随手记--SQL配置文件的使用
  • 3
    SQL函数设计——临时表的使用
  • 4
    使用Transact-SQL进行数据导入导出方法详解
  • 5
    MS SQL Server中的 CONVERT 日期时间 格式化大全
  • 6
    SQL Server里的INTERSECT
  • 7
    解决并清除SQL被注入<script>恶意病毒代码的语句
  • 8
    JDBC操作 SQL SERVER之数据的分页显示
  • 9
    找到SQL Server的序列号
  • 10
    SQL点滴10—使用with语句来写一个稍微复杂sql语句，附加和子查询的性能对比
  • 1
    大数据组件之Storm简介
    91
  • 2
    大数据处理与分析实战：技术深度剖析与案例分享
    746
  • 3
    矢量数据库与大数据平台的集成：实现高效数据处理
    59
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后，timesramp遇到时区问题，解决方法是什么
    65
  • 5
    DataWorks操作报错合集之DataWorks中udf开发完后，本地和在MaxCompute的工作区可以执行函数查询，但是在datawork里报错FAILED: ODPS-0130071:[2,5]，是什么原因
    73
  • 6
    DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候，遇到报错，该怎么处理
    72
  • 7
    DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时，出现找不到文件资源的情况，是BUG吗
    65
  • 8
    DataWorks操作报错合集之在DataWorks数据集成中，但是预览ODPS源数据库为空，是什么导致的
    70
  • 9
    DataWorks操作报错合集之在DataWorks中使用ODPS SQL时遇到"该文件对应引擎实例已失效，请重新选择可用的引擎实例"的错误提示”，是什么导致的
    99
  • 10
    DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么
    67

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 相关实验场景

    更多
  • SQL的增删改查及函数应用
  • PolarDB MySQL自动SQL限流
  • 如何开通SQL Server的专属集群
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • 使用DAS实现数据库自动SQL优化
  • 使用DAS实现数据库自动SQL限流
    • 下一篇
    通义千问API入门教程