spark sql

标签：amp   error:   ted   please   frame   ssi   creat   eterm   spark sql   

1.rdd to dataframe

　　rdd.toDF(schema=None, sampleRatio=Non)

　　session.createDataFrame(data, schema=None, samplingRatio=None, verifySchema=True)

       rdd转换为dataframe可以声明schema,也可以设置samplingRatio，让系统自己去猜测数据集的结构。（Error: Some of types cannot be determined by the first 100 rows, please try again with sampling）

2.

spark sql

标签：amp   error:   ted   please   frame   ssi   creat   eterm   spark sql   

原文地址：http://www.cnblogs.com/lowseasonwind/p/7755218.html