运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
代码： import json from pyspark.sql import SparkSession from pyspark import SparkConf def trans_form(data_tuple): """ 对从es读取出来的每一条数据进行格式转换 :param data_tu ...
分类：
其他好文 时间：
2020-07-17 22:12:04
阅读次数：
101
from pyspark.sql import SparkSession,Rowfrom pyspark.sql.types import StructField, StructType, StringType, IntegerType, LongType data = [('Alex','male ...
分类：
其他好文 时间：
2020-07-07 15:40:28
阅读次数：
55
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
项目来源厦门大学林子雨老师得Spark学习项目中，里面为部分项目代码和实验截图 读取文件 from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession from pyspark.ml.feature ...
分类：
其他好文 时间：
2020-07-03 19:04:21
阅读次数：
89
利用字典构建dataframe。 from pyspark.sql import SparkSession,Row spark = SparkSession.builder.appName("get_app_category").enableHiveSupport().config("spark.d ...
分类：
其他好文 时间：
2020-06-30 14:51:17
阅读次数：
59
遇到的问题： 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车 ...
分类：
其他好文 时间：
2020-06-29 21:28:22
阅读次数：
66
代码： import re import datetime from pyspark.sql import SparkSession from pyspark import SparkContext from elasticsearch import Elasticsearch spark=Spar ...
分类：
编程语言 时间：
2020-06-14 17:09:05
阅读次数：
125
aggregate(zeroValue, seqOp, combOp) 入参： zeroValue表示一组初值 Tuple seqOp表示在各个分区partition中进行 什么样的聚合操作，支持不同类型的聚合 Func combOp表示将不同分区partition聚合后的结果再进行聚合，只能进行同 ...
分类：
其他好文 时间：
2020-05-30 10:34:58
阅读次数：
89
最近spark上机练习比较多，原先采用了虚拟机的方式做练习 第一机器性能比较差，本地体验不好 第二用vscode比较多，轻量好用又熟悉 所以周末抽时间把环境布到开发机上去 构建流程: 安装vscode 安装msys2/mingw等模拟shell环境，安装ssh相关组件 这个可以偷个懒直接装 git ...
分类：
其他好文 时间：
2020-05-16 18:39:35
阅读次数：
133
