好程序员大数据学习路线分享scala单列和伴生对象scala单例objectSingletonDemo{defmain(args:Array[String]):Unit={vals=SessionFactoryprintln(s.getSession)println(s.getSession.size)//.size得到几个session对象}}objectSessionFactory{print
分类:
其他好文 时间:
2019-08-22 09:25:14
阅读次数:
83
好程序员大数据学习路线分享高阶函数,我们通常将可以做为参数传递到方法中的表达式叫做函数高阶函数包含:作为值的函数、匿名函数、闭包、柯里化等等。定义函数时格式:val变量名=(输入参数类型和个数)=>函数实现和返回值类型和个数“=”表示将函数赋给一个变量“=>”左面表示输入参数名称、类型和个数,右边表示函数的实现和返回值类型和参数个数作为值的函数定义函数scala>valfun
分类:
其他好文 时间:
2019-08-22 09:24:23
阅读次数:
90
好程序员大数据学习路线hive内部函数,持续为大家更新了大数据学习路线,希望对正在学习大数据的小伙伴有所帮助。1、取随机数函数:rand()语法:rand(),rand(intseed)返回值:double说明:返回一个0到1范围内的随机数。如果指定seed,则会得到一个稳定的随机数序列selectrand();selectrand(10);2、分割字符串函数:split(str,splitor)
分类:
其他好文 时间:
2019-08-13 00:04:35
阅读次数:
125
好程序员大数据学习路线分享hive的运行方式,hive的属性设置:1、在cli端设置(只针对当前的session)3、在java代码中设置(当前连接)2、在配置文件中设置(所有session有效)设置属性的优先级依次降低。cli端只能设置非hive启动需要的属性。(log属性,元数据连接属性)查找所有属性:hive>set;查看当前属性的值:通常是hadoophive>set-v;
分类:
其他好文 时间:
2019-08-07 17:28:26
阅读次数:
100
好程序员大数据学习路线之hive表的查询 1.join查询 1、永远是小结果集驱动大结果集(小表驱动大表,小表放在左表)。2、尽量不要使用join,但是join是难以避免的。 leftjoin、leftouterjoin、leftsemijoin(左半开连接,只显示左表信息) hive在0.8版本以后开始支持leftjoin leftjoin和leftouterjoin效果差不多
分类:
其他好文 时间:
2019-08-05 17:29:51
阅读次数:
111
参考博客:做了五年大数据开发工程师总结的的大数据学习路线 大数据的4V特征: 常见的大数据的开源框架: 第一章:初识Hadoop 1.1 学会百度与Google 不论遇到什么问题,先试试搜索并自己解决。Google首选,翻不过去的,就用百度吧。 1.2 参考资料首选官方文档 特别是对于入门来说,官方 ...
分类:
其他好文 时间:
2019-07-21 18:02:21
阅读次数:
107
一、大数据处理流程 1.1 数据收集 1.2 数据存储 &n ...
分类:
其他好文 时间:
2019-07-04 17:33:35
阅读次数:
133
Linux学习路线图运维学习需要分为四个阶段:①linux初级入门②linux中级进阶③linux高级提升④资深方向细化。第一阶段:初级入门Linux基础知识、基本命令(起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令)Linux用户及权限基础Linux系统进程管理进阶Linux高效文本、文件处理命令(vim、grep、sed、awk、find等命令)第二阶段:中级进阶(基础运
分类:
系统相关 时间:
2019-07-02 13:29:03
阅读次数:
164
大数据又称巨量资料,就是数据量大、来源广、种类繁多(日志、视频、音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据。专业的来讲:大数据(bigdata,megadata),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值
分类:
其他好文 时间:
2019-06-25 13:25:02
阅读次数:
118
目录 大数据 大数据的行业与技术趋势 大数据学习路线 FusionInsight大数据开发学习总结(1) FusionInsight大数据开发 HDFS应用开发(2) 软件设计 软考知识分析 面向对象设计-自查 计算机组成原理和体系结构—自查 自检!!!操作系统基本原理 软考自查!!!数据库系统 软 ...
分类:
其他好文 时间:
2019-06-12 13:53:18
阅读次数:
152