前面已经学习了如何将数据从关系型数据库导入到Hive/HDFS，并且在Windows客户端查询导入的数据，接下来继续学习CDH，知识点： 1、Hue环境中DB Query如何使用，DB Query这个功能是在Hue这个Web界面可以直接查询其他关系型数据库的数据，Hue在默认装完后是无法直接使用DB ...
分类：
其他好文 时间：
2018-11-27 11:19:11
阅读次数：
165
写代码脑子一定要绷紧一根弦，认知到我们所在的机器资源是有限的。机器资源有哪些？CPU、内存、网络、磁盘等，如果不做好保护控制工作，一旦某一资源满负荷，很容易导致出现线上问题。1 CPU 资源怎么限制* 计算算法优化。如果服务需要进行大量的计算，比如推荐排序服务，那么务必对你的计算算法进行优化，比如笔 ...
分类：
其他好文 时间：
2018-11-23 11:28:15
阅读次数：
166
1.下载 https://hadoop.apache.org/releases.html 2.上传到linux scp hadoop-3.0.3.tar.gz XJ@192.168.109.101:~/installPack/hadoop-3.0.3.tar.gz 3.解包 tar -zxvf ha ...
分类：
其他好文 时间：
2018-11-22 23:53:59
阅读次数：
263
bayaim_bayaim_hadoop2_hdfs_20181107 HDFS 原理：上传数据要分块（128M）分块存储分布式文件系统 先启动HDFS 1. sbin/start-dfs.sh 一直输入：yes 电脑密码: root/dba_2018 再启动YARN 2. sbin/start-y ...
分类：
其他好文 时间：
2018-11-19 11:10:57
阅读次数：
170
Hbase伪分布式（成功实施）hadoop集群正常，zookeeper集群正常 修改Hbase-env.sh的JAVA_HOME,改成绝对路径。 并修改export HBASE_MANAGES_ZK=false 修改环境变量HBASE_HOME 修改hbase-site.xml 添加 <proper ...
分类：
其他好文 时间：
2018-11-18 14:16:27
阅读次数：
167
区别： 1. Hive是一个构建在Hadoop基础设施之上的数据仓库，通过HQL查询存放在HDFS上的数据，不能交互查询。HBase是一种Key/Value系统，它运行在HDFS之上，可以交互查询。 2. Hive只是一种类SQL的引擎，运行MapReduce任务，不能更新数据。Hbase是一种在H ...
分类：
其他好文 时间：
2018-11-18 02:12:43
阅读次数：
200
一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF ...
分类：
Web程序 时间：
2018-11-12 17:36:19
阅读次数：
239
一、采集点的取舍 说到数据分析，首先当然是数据越全面越详细越好。因为这有助于分析得出比较正确的结果，从而做出合理的决策。 1.服务器数据 采集的服务器数据主要围绕着这么几个？ (1)服务器负载 (2)磁盘读写 (3)网卡流量 如何采集这些数据，可以通过zabbix监控获取。 关于zabbix学习，可 ...
分类：
Web程序 时间：
2018-11-10 17:56:32
阅读次数：
284
问题背景 现在有两份数据，file1是校园新闻版块，每一条新闻点击记录；file2是校园新闻版块使用活跃度高的学生记录。用mr统计出某一天的点击记录里，使用ios/android手机的活跃学生的总的点击次数 原始数据格式如下： file 1，校园新闻点击记录 ，记录了每一次学生点击校园新闻的行为 格 ...
分类：
编程语言 时间：
2018-11-09 17:43:55
阅读次数：
202
一、df命令df-hdf-mbyte字节1024=1KB/bootswap/dev/shm内存，大小是物理内存的一半df-i查看inodeiNode满了就算磁盘还有空间也写不进去二、du命令du-sh查看一个文件大小或者目录大小du-sh/rootdu-sh/boot/三、磁盘分区fdisk查看磁盘信息fdisk-l可以把目前虚拟机内的磁盘列出来虚拟机不支持热拔插主分区加扩展分区之间的和不超过4小
分类：
其他好文 时间：
2018-10-30 21:54:56
阅读次数：
146
