在没有安装flink的情况下，试运行 wordcount 代码。代码如下： package bigdata.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api ...
分类：
其他好文 时间：
2019-11-22 01:09:59
阅读次数：
93
编译模板文件bigdata.template： Logstash配置文件 nginx.conf： Nginx的配置文件中关于日志格式的配置： 此处我只保留了需要的一个字段范围 产生的日志格式： 之后在Kibana里看到就是这样的： ...
分类：
Web程序 时间：
2019-11-01 16:39:13
阅读次数：
214
参考： https://blog.csdn.net/Snoopy_Yuan/article/details/75808006 ...
分类：
移动开发 时间：
2019-10-29 13:54:46
阅读次数：
145
大数据具体是什么意思？虽然都知道高薪，但如何学习大数据呢？有哪些学习路径和方法？今天我们就来具体看一下大数据是什么？来看看维基百科的定义大数据（英语：Bigdata或Megadata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合
分类：
其他好文 时间：
2019-10-25 12:55:15
阅读次数：
88
[root@bigdata27exam]#echo‘<123456>‘|sed‘s#123456#123456#g‘<123456>[root@bigdata27exam]#echo‘<123456>‘|sed‘s#123456#<123456>#g‘<<123456>>[root@bigdata27exam]#echo123
分类：
系统相关 时间：
2019-10-18 09:31:40
阅读次数：
130
在阿里云轻量服务器Ubuntu18.04上装BigData相关软件的一系列教程的第二篇，安装了Hadoop2.9.2与Hbase2.2.0，并学习了Hbase Shell基本操作。 ...
分类：
系统相关 时间：
2019-10-03 10:24:38
阅读次数：
96
参考链接：https://github.com/SwordfallYeung/BigData_AutomaticDeploy 自动化部署：https://gitee.com/lucky110100/sloth/tree/master Linux命令行与shell脚本编程大全案例：https://gi ...
分类：
其他好文 时间：
2019-10-03 00:41:36
阅读次数：
118
>> show databases; >>CREATE DATABASE bigdata; 创建 >> use bigdata; >>drop database bigdata; 删除 >>create table bigdata.mytable(id int ,nane varchar(200)) ...
分类：
数据库 时间：
2019-09-19 10:29:09
阅读次数：
116
我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下： 目录/home/hadoop-twq/bigdata/dfs/data就是DataNode存放数据的地方，这个目录对应的存储介质就是普通的磁盘(DISK)。除了普通磁盘，存储介质其实还有固态 ...
分类：
其他好文 时间：
2019-09-08 19:50:27
阅读次数：
78
1. 副本摆放机制 机架感知策略： 由于处于不同的机架的两个节点在通信的时候需要通过交换机，而同一机架上的节点之间的通信网络带宽更高，效率更高，读写成本更低。 通常情况下，HDFS默认的副本系数为3： 副本1：本rack的一个节点上 副本2：另外一个rack的节点上 副本3：与2相同的rack的另外 ...
分类：
其他好文 时间：
2019-09-08 09:55:16
阅读次数：
72
