大数据已经火了很久了，一直想了解它学习它结果没时间，了解了一些资料，结合我自己的情况，整理了一个学习路线，。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeepe ...
分类：
其他好文 时间：
2018-11-19 13:31:09
阅读次数：
183
今天就讲讲MySQL的锁 主讲：Mysql的悲观锁 和 乐观锁官方:If you query data and then insert or update related data within the same transaction, the regular SELECT statement d ...
分类：
数据库 时间：
2018-11-18 20:07:30
阅读次数：
252
http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex ...
分类：
Web程序 时间：
2018-11-18 15:02:09
阅读次数：
215
Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume的功能支持在日志系统中定制各类数据发送方，用于收集数据提供对数据简单处理，并写到各类数据接收方（可定制）的能力Flume的组成Agent:
分类：
Web程序 时间：
2018-11-16 20:47:12
阅读次数：
168
实现如图的的效果(详细步骤请参考官方文档(http://flume.apache.org/FlumeUserGuide.html),flume更新版本比较快) flume1.conf的配置文件内容 flume2.conf的配置文件内容 参考官方文档截图如下 详细配置如下 ...
分类：
Web程序 时间：
2018-11-15 22:37:55
阅读次数：
285
事务指的是逻辑上的一组操作,组成这组操作的各个单元要么全都成功,要么全都失败. * 事务作用：保证在一个事务中多次操作要么全都成功,要么全都失败. * 一组操作:同一个连接下的操作 称为一组操作 mysql事务操作 sql语句 描述 start transaction; 开启事务 commit; 提 ...
分类：
数据库 时间：
2018-11-15 18:24:24
阅读次数：
160
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
backup.sh #!/bin/bash/usr/bin/mysqldump -uroot -proot -h127.0.0.1 --single-transaction -R --triggers -B xxx_admin >/app/backup/xxx`date +%F`ALL.SQL && ...
分类：
数据库 时间：
2018-11-13 18:06:31
阅读次数：
116
1>.Caused by: org.apache.kafka.common.errors.NetworkException: The server disconnected before a response was received. ...
分类：
Web程序 时间：
2018-11-13 11:37:51
阅读次数：
553
一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF ...
分类：
Web程序 时间：
2018-11-12 17:36:19
阅读次数：
239
