1、BigData是什么？大数据（BigData），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据包括结构化、半结
分类：
其他好文 时间：
2020-03-18 14:04:51
阅读次数：
105
TAB for more information Boot Entry Linux >root=(hd0,1) #linux img/linux root(hd0, gpt1), (hd1, msdos1) >linux /boot/linuz-X.X.X.img root=/dev/sdb1 >i ...
分类：
其他好文 时间：
2020-03-15 11:48:03
阅读次数：
68
本周花费较多时间在手头的一个深度学习项目上，对于java的实战仅限于课堂的练习代码。 本周所花上机时间27小时，代码量共计1760行，其中，java代码940行，python代码820行。 本周发表博客三篇（关于HDFS分布式文件系统2篇，课堂实战项目一篇） 本周学到的内容有： （1）redis集群 ...
分类：
其他好文 时间：
2020-03-14 19:55:54
阅读次数：
47
利用云计算、大数据技术，构建涵盖关系型数据库、分布式文件系统、NOSQL数据库、内存数据库等混合型数据资源中心，建立高安全、高可用、高扩展的智慧环保大数据中心数据架构，更好地解决未来5-10年大流量、高并发、高响应、高实时需求所带来的计算、存储、扩容、负载均衡等问题。 同时按照标准先行的思路，整合环 ...
分类：
其他好文 时间：
2020-03-13 15:58:44
阅读次数：
67
把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
数据操作 加载数据 LOAD DATA 加载数据 LOCAL 本地数据，不加LOCAL就是分布式文件系统数据 OVERWRITE表示覆盖表中已有数据，否则表示追加 通过查询语言插入数据 这里使用了OVERWRITE关键字，之前分区内容会被覆盖掉。这是一次插入。 以下为多次插入，对多个分区目录插入数据 ...
分类：
其他好文 时间：
2020-03-10 12:11:23
阅读次数：
88
使用模态框，一般都会自动带上一个属性，tabindex="-1",因为这个属性的存在，导致select2的搜索框无法输入，去掉这个属性即可解决 html中的tabIndex属性可以设置键盘中的TAB键在控件中的移动顺序,即焦点的顺序。 把控件的tabIndex属性设成1到32767的一个值，就可以把... ...
分类：
其他好文 时间：
2020-03-09 09:17:55
阅读次数：
67
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
注：文中大部分素材为网络取材，文字叙述大部分为个人学习和搭建经验所理解，如有误，请谅解辛苦指出。 一. FastDfs简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 FastD ...
分类：
其他好文 时间：
2020-03-03 13:20:40
阅读次数：
101
Hadoop初学思维导图 1，Hadoop ··· Hadoop： Hadoop的核心由HDFS和MapReduce组成。HDFS是分布式文件系统，是Hadoop生态圈的分布式数据存储基石；MapReduce是计算组件，会被Spark取代。 ··· Hadoop生态圈： Hadoop生态圈是一系列用 ...
分类：
其他好文 时间：
2020-02-29 00:17:31
阅读次数：
101
