返回信息流我感觉一种是比较像SQL query 语句,比如spark.sql("SELECT * FROM people")
另一种是DataFrame在jvm上的各种函数 https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/functions.html
这是一条镜像帖。来源:北邮人论坛 / database / #11460同步于 2020/4/26
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Database机器人发帖
是不是一共有两种Spark SQL?
PMS
2020/4/26镜像同步1 回复
订阅后,新回复会通过你的通知中心匿名送达。
1 条回复
其实都是同一种,可以混用,直接写SQL语句也会翻译成DataFrame的操作。有一些用SQL不太容易表达的,比如中间变量、UDF等,可以直接用DF的API更方便。最终都会通过Catalyst翻译成Physical Plan执行。