码迷,mamicode.com
首页 >  
搜索关键字:bigdata    ( 307个结果
Scala-构造函数
package com.bigdata/*scala的构造函数分为主构造函数和辅助构造函数。一、主构造函数在Scala中,每个类都有主构造函数,和类的定义交织在一起。一个Scala类的主构造函数包括:1、构造函数参数;2、在类内部被调的方法;3、在类内部执行的语句和表达式。*/class Perso ...
分类:其他好文   时间:2019-02-13 14:20:24    阅读次数:169
AWS Redshift ETL的几个性能最佳实践
Bigdata/数据仓库
分类:其他好文   时间:2019-02-01 11:33:54    阅读次数:263
Hadoop集群问题集
1、bigdataisnotallowedtoimpersonatexxx原因:用户代理未生效。检查core-site.xml文件是否正确配置。<property><name>hadoop.proxyuser.bigdata.hosts</name><value>*</value></property><property
分类:其他好文   时间:2019-01-26 11:14:36    阅读次数:575
最后一周总结
回顾你的课程计划,你完成的程度如何,请列出具体数据和实际例子 在课程计划中,我认为比较重要的技能有Overall, Comprehension, Design, Implementation, Communication, BigData. 通过这次软件工程课程的学习,我觉得在Overall, Im ...
分类:其他好文   时间:2019-01-21 21:03:49    阅读次数:168
java+spark-sql查询excel
Spark官网下载Spark Spark下载,版本随意,下载后解压放入bigdata下(目录可以更改) 下载Windows下Hadoop所需文件winutils.exe 同学们自己网上找找吧,这里就不上传了,其实该文件可有可无,报错也不影响Spark运行,强迫症可以下载,本人就有强迫症~~,文件下载 ...
分类:数据库   时间:2019-01-19 16:17:28    阅读次数:299
大数据学习——hdfs客户端流式操作代码的实现
package cn.itcast.bigdata.hdfs.diceng; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils... ...
分类:其他好文   时间:2019-01-03 21:40:42    阅读次数:208
一篇文章带你弄懂大数据!
一、大数据是什么?大数据,bigdata,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。这句话至少传递两种信息:1、大数据是海量的数据2、大数据处理无捷径,对分析处理技术提出了更高的要求欢迎加入大数据交流群:658558542一起吹水交流学习二、大数据的处理流程下图是数据处理流程:欢迎加入大数据交流群:658558542一起吹水交流学习
分类:其他好文   时间:2018-12-25 00:57:24    阅读次数:231
Hadoop
一、大数据相关概念 Bigdata: 结构化数据 半结构化数据 非结构化数据 搜索引擎:搜索组件、索引组件,由蜘蛛程序搜集而来 存储平台 分析处理平台 Google: 2003年:The Google File System 2004年:MapReduce:Simplified Data Procc ...
分类:其他好文   时间:2018-12-10 00:01:21    阅读次数:208
数据预处理速度高倍提升,3行python代码简单搞定!
Python是机器学习领域内的首选编程语言,它易于使用,也有很多出色的库来帮助你更快处理数据。但当我们面临大量数据时,一些问题就会显现……目前,大数据(BigData)这个术语通常用于表示包含数十万数据点的数据集。在这样的尺度上,工作进程中加入任何额外的计算都需要时刻注意保持效率。在设计机器学习系统时,数据预处理非常重要——在这里,我们必须对所有数据点使用某种操作。在默认情况下,Python程序是
分类:编程语言   时间:2018-12-08 23:58:40    阅读次数:267
CentOS6.5安装Hive-1.2.2
注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6627669615377908231/ Hadoop环境已安装完成,安装hive 注意1.x和2.x版本区别较大,此处安装的是1.x的版本 准备安装包 使用hadoop用户 解压文件到/opt/bigdata 修改文 ...
分类:其他好文   时间:2018-12-07 11:49:25    阅读次数:200
307条   上一页 1 ... 8 9 10 11 12 ... 31 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!