码迷,mamicode.com
首页 > 系统相关 > 详细

spark-shell读取parquet文件

时间:2019-09-21 14:52:27      阅读:234      评论:0      收藏:0      [点我收藏+]

标签:hdf   str   text   src   medium   Parquet   dfs   ext   file   

1、进入spark-shell窗口

 

2、

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

 

3、

val parquetFile = sqlContext.parquetFile("hdfs://cdp/user/az-user/sparkStreamingKafka2HdfsData/part-00000-ff60a7d3-bf91-4717-bd0b-6731a66b9904-c000.snappy.parquet")

hdfs://cdp是defaultFS,也可以不写,如下:

val parquetFile2 = sqlContext.parquetFile("/user/az-user/sparkStreamingKafka2HdfsData/part-00000-ff60a7d3-bf91-4717-bd0b-6731a66b9904-c000.snappy.parquet")

 

4、

parquetFile.take(30).foreach(println)

技术图片

 

 

技术图片

 

 

参考:https://www.jianshu.com/p/57b20d9d7b4a?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

spark-shell读取parquet文件

标签:hdf   str   text   src   medium   Parquet   dfs   ext   file   

原文地址:https://www.cnblogs.com/mylittlecabin/p/11562922.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!