基础常识基础常识 软件 即一系列按照特定顺序组织计算机数据和指令的集合 分为 系统软件 和应用软件 系统软件 ： windows mac os linux unix android ios.. 应用软件 word ppt 画图板 人机交互：图形化界面 vs 命令行方式 常用的DOS命令： dir 列 ...
分类：
编程语言 时间：
2019-12-21 00:29:48
阅读次数：
85
解决普通用户 环境变量shell 退出不生效问题 1、在~/.bashrc 编辑了 scalacat .bashrc export SCALA_HOEM=/home/aipf/scala-2.11.12export PATH=PATH:$SCALA_HOEM/bin :wq source ~/.ba ...
分类：
系统相关 时间：
2019-12-20 18:31:13
阅读次数：
156
spark 提供了两个机器学习库 MLlib 和 ML，MLlib 是 spark 第一个机器学习库，相比于 ML，它更加成熟 rdd 是 spark core 的数据抽象，dataframe 是 sparkSQL 的数据抽象， 而 MLib 的数据抽象包括 Vector、LabeledPoint、 ...
分类：
其他好文 时间：
2019-12-20 18:26:13
阅读次数：
101
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下（IP地址与之前文章有变动）： 2、官网下载安装包：spark-2.4.4-bin-hadoop2.7.tgz（推荐去清华大学或中科大的开源镜像站）。 3、spark将部署在三台都已存在的路径/myda ...
分类：
其他好文 时间：
2019-12-20 15:28:51
阅读次数：
130
现象：hdp的集群没有配置spak的临时本地目录，默认在跑程序的时候会将中间过程的文件存放在本地的/tmp目录下 如果跑的spark数据量过大，就会导致/tmp下文件过大，最终导致根分区被占满，系统崩溃 解决办吧：修改spark的环境变量配置文件，在ambari界面上找到spark-env.sh的配 ...
分类：
其他好文 时间：
2019-12-20 12:12:42
阅读次数：
211
以两台节点为例来组件Hadoop分布式集群，这里采用的系统版本为Centos7，如下表所示： 主机名 内存 硬盘 IP地址 角色 master 8192MB 100G 192.168.200.131 Ambari-Server Ambari-Agent slave1 4096MB 100G 192. ...
分类：
其他好文 时间：
2019-12-20 01:16:58
阅读次数：
160
SQL on Hadoop 技术 | 备注 | Apache Hive | Cloudera Impala | Facebook Presto | Apache Drill | Spark SQL | Apache Phoenix | ...
分类：
数据库 时间：
2019-12-20 01:16:13
阅读次数：
124
前情提要 "Scala函数式编程指南（一） 函数式思想介绍" "scala函数式编程（二） scala基础语法介绍" "Scala函数式编程（三） scala集合和函数" "Scala函数式编程（四）函数式的数据结构 上" 1.List代码解析 今天介绍的内容，主要是对上一篇介绍的scala函数式数 ...
分类：
其他好文 时间：
2019-12-19 18:58:19
阅读次数：
120
数据结构：时间戳，省份，城市，用户，广告，中间字段使用空格分割。 样本如下： 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 package Spark02 import org.apache.spark ...
分类：
其他好文 时间：
2019-12-19 18:55:54
阅读次数：
129
需求描述 定义一个类，描述订单信息订单id订单所属用户（用户对象）订单所包含的商品（不定数量个商品对象）订单总金额订单应付金额： 总金额500~1000，打折85折 总金额1000~1500，打折80折 总金额1500~2000，打折70折 总金额超过2000，打折65折 在此基础上，还要看用户的v ...
分类：
编程语言 时间：
2019-12-19 10:02:39
阅读次数：
113
