package com.bigdata/*scala的构造函数分为主构造函数和辅助构造函数。一、主构造函数在Scala中,每个类都有主构造函数,和类的定义交织在一起。一个Scala类的主构造函数包括:1、构造函数参数;2、在类内部被调的方法;3、在类内部执行的语句和表达式。*/class Perso ...
分类:
其他好文 时间:
2019-02-13 14:20:24
阅读次数:
169
1、bigdataisnotallowedtoimpersonatexxx原因:用户代理未生效。检查core-site.xml文件是否正确配置。<property><name>hadoop.proxyuser.bigdata.hosts</name><value>*</value></property><property
分类:
其他好文 时间:
2019-01-26 11:14:36
阅读次数:
575
回顾你的课程计划,你完成的程度如何,请列出具体数据和实际例子 在课程计划中,我认为比较重要的技能有Overall, Comprehension, Design, Implementation, Communication, BigData. 通过这次软件工程课程的学习,我觉得在Overall, Im ...
分类:
其他好文 时间:
2019-01-21 21:03:49
阅读次数:
168
Spark官网下载Spark Spark下载,版本随意,下载后解压放入bigdata下(目录可以更改) 下载Windows下Hadoop所需文件winutils.exe 同学们自己网上找找吧,这里就不上传了,其实该文件可有可无,报错也不影响Spark运行,强迫症可以下载,本人就有强迫症~~,文件下载 ...
分类:
数据库 时间:
2019-01-19 16:17:28
阅读次数:
299
package cn.itcast.bigdata.hdfs.diceng; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils... ...
分类:
其他好文 时间:
2019-01-03 21:40:42
阅读次数:
208
一、大数据是什么?大数据,bigdata,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。这句话至少传递两种信息:1、大数据是海量的数据2、大数据处理无捷径,对分析处理技术提出了更高的要求欢迎加入大数据交流群:658558542一起吹水交流学习二、大数据的处理流程下图是数据处理流程:欢迎加入大数据交流群:658558542一起吹水交流学习
分类:
其他好文 时间:
2018-12-25 00:57:24
阅读次数:
231
一、大数据相关概念 Bigdata: 结构化数据 半结构化数据 非结构化数据 搜索引擎:搜索组件、索引组件,由蜘蛛程序搜集而来 存储平台 分析处理平台 Google: 2003年:The Google File System 2004年:MapReduce:Simplified Data Procc ...
分类:
其他好文 时间:
2018-12-10 00:01:21
阅读次数:
208
Python是机器学习领域内的首选编程语言,它易于使用,也有很多出色的库来帮助你更快处理数据。但当我们面临大量数据时,一些问题就会显现……目前,大数据(BigData)这个术语通常用于表示包含数十万数据点的数据集。在这样的尺度上,工作进程中加入任何额外的计算都需要时刻注意保持效率。在设计机器学习系统时,数据预处理非常重要——在这里,我们必须对所有数据点使用某种操作。在默认情况下,Python程序是
分类:
编程语言 时间:
2018-12-08 23:58:40
阅读次数:
267
注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6627669615377908231/ Hadoop环境已安装完成,安装hive 注意1.x和2.x版本区别较大,此处安装的是1.x的版本 准备安装包 使用hadoop用户 解压文件到/opt/bigdata 修改文 ...
分类:
其他好文 时间:
2018-12-07 11:49:25
阅读次数:
200