最近工作中用了了Hadoop，比如用Hadoop来处理广告的一些pv量数据、点击数据等，最后统计后给运营展示每个广告的数据报表 首先自己了解了一些关于Hadoop的概念知识 hadoop平台提供了分布式存储（hdfs），分布式计算（mapredduce），任务调度（YARN）、对象存储（Ozone） ...
分类：
其他好文 时间：
2020-05-30 20:22:33
阅读次数：
94
RAID 一、名称解释： Redundant Array of Independent Disks，独立冗余磁盘阵列 二、RAID功能： 数据冗余-磁盘可用性 磁盘性能-吞吐效率 三、RAID分类： RAID0 至少两块硬盘，速度是n倍（n块硬盘），容量是单个硬盘的n倍,任何一块硬盘损坏 ，数据丢失 ...
分类：
其他好文 时间：
2020-05-30 12:21:04
阅读次数：
55
1、前言伴随着IT技术的飞速发展，人类社会已步入信息化时期，人类活动和社会经济发展所累积的专业知识和工作经验依靠智能化技术积累成大量的数据资源。步入二十一世纪，随着互联网技术、移动互联和物联网技术的盛行，数据资源正展现为类型和经营规模的迅速扩大，比如中国电商企业淘宝公司每日均值约有6000万账号登录和20亿PV，沪深两市每日4个钟头的交易时间会产生三亿条以上逐笔成交数据，腾讯企业各种数据储存量（经
分类：
其他好文 时间：
2020-05-29 17:41:25
阅读次数：
56
lab lvm setup lvscan vgs lvs lvextend -r -L 300M /dev/finance/loans cp /etc/fstab /var/tmp/fstab cd /var/tmp setfacl -m u:natasha:rw /var/tmp/fstab se ...
分类：
其他好文 时间：
2020-05-29 10:40:28
阅读次数：
44
ClouderaCDH集群的部署实际上主要是ClouderaManager的部署，在说的直白点儿那就是ClouderaManagerServer和本地YUM源的部署与搭建。ClouderaCDH和Manager6.3.3及以后版本升级需要有效的clouderaenterprise或者cdp数据中心授权，这意味着ClouderaCDH和Manager免费社区版本将会停留在6.3.2版，一直以资金不足
分类：
其他好文 时间：
2020-05-29 09:52:25
阅读次数：
100
一、LVM介绍LVM是LogicalVolumeManager(逻辑卷管理)的简写，它是Linux环境下对磁盘分区进行管理的一种机制LVM-优点:LVM通常用于装备大量磁盘的系统，但它同样适于仅有一、两块硬盘的小系统。小系统使用LVM的益处:传统的文件系统是基于分区的，一个文件系统对应一个分区。这种方式比较直观，但不易改变：不同的分区相对独立，无相互联系，各分区空间很易利用不平衡，空间不能充分利用
分类：
其他好文 时间：
2020-05-28 13:38:23
阅读次数：
70
在已有Linux系统中，增加了磁盘一块。以此为模式，对磁盘进行简单的初始化和挂接。Step1:用parted对磁盘进行分区：[root@YunDisk~]#parted/dev/sdb进行分区，开启LVM：(parted)mklabelgpt(parted)mkpartprimaryxfs0%100%(parted)set1lvmon(parted)扫描一次，让分区立即生效：[root@YunDi
分类：
系统相关 时间：
2020-05-28 13:13:41
阅读次数：
108
1.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7}' access.l ...
分类：
其他好文 时间：
2020-05-28 13:09:14
阅读次数：
60
在已有Linux系统中，增加了磁盘一块。以此为模式，对磁盘进行简单的初始化和挂接。Step1:用parted对磁盘进行分区：[root@YunDisk~]#parted/dev/sdb进行分区，开启LVM：(parted)mklabelgpt(parted)mkpartprimaryxfs0%100%(parted)set1lvmon(parted)扫描一次，让分区立即生效：[root@YunDi
分类：
系统相关 时间：
2020-05-28 13:05:04
阅读次数：
77
获取要增加的4G的SWAP文件块 [root@iZgt88z6l1kvd7Z mysql] dd if=/dev/zero of=/swapfile bs=1k count=4096000 创建SWAP文件 [root@iZgt88z6l1kvd7Z mysql] mkswap /swapfile ...
分类：
系统相关 时间：
2020-05-25 12:31:16
阅读次数：
72
