大数据Scala系列之文件以及正则表达式1读取行导入scala.io.Source后，即可引用Source中的方法读取文件信息。importscala.io.SourceobjectFileDemoextendsApp{valsource=Source.fromFile("C:/Users/admin/res.txt")//返回一个迭代器vallines=source.getL
分类：
其他好文 时间：
2019-10-18 15:40:24
阅读次数：
63
[root@bigdata27exam]#echo‘<123456>‘|sed‘s#123456#123456#g‘<123456>[root@bigdata27exam]#echo‘<123456>‘|sed‘s#123456#<123456>#g‘<<123456>>[root@bigdata27exam]#echo123
分类：
系统相关 时间：
2019-10-18 09:31:40
阅读次数：
130
Hadoop+Spark集群部署指南 （多节点文件分发、集群操作建议salt/ansible） 1.集群规划节点名称 主机名 IP地址 操作系统Master centos1 192.168.0.1 CentOS 7.2Slave1 centos2 192.168.0.2 CentOS 7.2Slav ...
分类：
Web程序 时间：
2019-10-17 13:53:28
阅读次数：
132
集成Zeppelin和Spark Big Data Tools是IntelliJ IDEA Ultimate的新插件，是为使用 Zeppelin 和 Spark 的数据工程师和其他专业人员所量身定做的一款软件。 Zeppelin notebooks with IntelliJ IDEA 该插件可在笔 ...
分类：
其他好文 时间：
2019-10-17 13:31:21
阅读次数：
376
好程序员大数据教程Scala系列之样例类Option偏函数，在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值，None表示没有值。objectOptionDemo{defmain(args:Array[String]){valmap=Map("a"->1,"b"-
分类：
其他好文 时间：
2019-10-17 12:04:49
阅读次数：
67
1.安装jdk，配置jdk环境变量 https://www.cnblogs.com/zhangjiahao/p/8551362.html 2.安装配置scala https://www.cnblogs.com/zhangjiahao/p/11689268.html 3.安装spark spark下载 ...
分类：
其他好文 时间：
2019-10-17 01:33:22
阅读次数：
103
Flume配置文件： 但是在启动Flume时，报以下错误： 解决方案： 由于用到了agent的sink是 org.apache.spark.streaming.flume.sink.SparkSink类型，需要把spark streaming flume sink_2.11 2.4.3.jar复制到 ...
分类：
Web程序 时间：
2019-10-16 13:43:59
阅读次数：
98
好程序员大数据教程分享Scala系列之Option_偏函数_StringOption类型在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值，None表示没有值。objectOptionDemo{defmain(args:Array[String]){valmap=Map("a"->1,&q
分类：
其他好文 时间：
2019-10-15 10:09:01
阅读次数：
86
一、概念 1、什么是kafka Kafka是由Apache软件基金会开发的一个开源的分布式流处理平台，由Scala和Java编写。Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），它可以处理消费者在网站中的所有动作流数据。 Kafk ...
分类：
其他好文 时间：
2019-10-15 09:57:16
阅读次数：
70
Scala系列之柯里化，柯里化是把接受多个参数的函数变换成接受一个单一参数（最初函数的第一个参数）的函数，并且返回接受余下的参数而且返回结果的新函数的技术。下面先给出一个普通的非柯里化的函数定义，实现一个加法函数：scala>defplainOldSum(x:Int,y:Int)=x+yplainOldSum:(x:Int,y:Int)Intscala>plainOldSum(1,
分类：
其他好文 时间：
2019-10-15 09:34:00
阅读次数：
78
