http://www.ipip.net/download.html#ip_code 下载免费版 IP 地址数据库。 网站下面有官方给出的查找IP地址所属国家、省、市的办法。 python版本列出 这种即便在hadoop上也是适合streaming方法。 如果批量的处理，还是需要以文件的形式传到hdf ...
分类：
其他好文 时间：
2017-06-12 20:37:52
阅读次数：
623
一、关于Python操作mysql: 1.导入pyutil模块，这模块有很多常用的功能 2.之后用execute函数执行sql语句就OK了 mysql_dal.excute(sql).fetchone() 3.fetchone()只取出一个结果，fetchall()把结果全取出来。fetchone的 ...
分类：
其他好文 时间：
2017-06-11 21:07:25
阅读次数：
146
Hive的官方网站： https://hive.apache.org/ Hive简介： Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 Hive在企业中作为一种工作，可以很容易的对数据进行ETL。 Hive可以对各种各样的数据进行一种结 ...
分类：
其他好文 时间：
2017-06-10 19:28:00
阅读次数：
122
单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈 常用的估算公式为1G对应1百万个块，按缺省块大小计算的话，大概是64T (这个估算比例是有比较大的富裕的，其实，即使是每个文件只有一个块，所有元数 ...
分类：
其他好文 时间：
2017-06-09 11:16:46
阅读次数：
200
./bin/hdfs dfs -mkdir -p input 新建文件夹 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster 但 YARN 主要是为集群提供更好的资源管理与任务调度，然而这在单机上体现不出价值，反而会使程序跑得稍慢 ...
分类：
其他好文 时间：
2017-06-07 19:45:46
阅读次数：
124
Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 一、从本地文件系统中导入数据到Hi ...
分类：
其他好文 时间：
2017-06-05 19:00:59
阅读次数：
171
使用Hadoop ACL 控制訪问权限 一、HDFS訪问控制 hdfs-site.xml设置启动acl <property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <property> <name>d ...
分类：
其他好文 时间：
2017-06-04 22:53:05
阅读次数：
310
首先开启linux sshd 服务区停用防火墙,命令如下: 然后去掉红框中的# 重启服务 创建hadoop 用户(abcd_123是用户密码,这个可以自己随意改) 修改/etc/hosts文件加入hadoop 机器主机名和ip地址.master不用变,ip地址改成自己本地的ip地址 修改/etc/s ...
分类：
其他好文 时间：
2017-06-04 18:38:17
阅读次数：
208
参考文献： http://blog.csdn.net/lxhandlbb/article/details/54410644 每次提交Spark任务到yarn的时候，总会出现uploading resource（打包spark jars并上传）到hdfs上。 恶劣情况下，会在这里卡住很久。 解决： 在 ...
分类：
编程语言 时间：
2017-06-02 14:57:32
阅读次数：
1611
环境 hadoop安装 解压hadoop安装包 解压到/usr/local/目录下 配置环境变量 vi /etc/profile maven、jdk、Hadoop所有添加的相关配置如下： 如果只是针对Hadoop则只加入如下配置 测试安装成功与否 命令行输入命令 成功则显示 至此，Hadoop安装完 ...
分类：
其他好文 时间：
2017-05-30 21:01:32
阅读次数：
279
