MapReduce计算流程 MapReduce计算流程 1 首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交 2 一个MR程序就是一个Job，Job信息会给Resourcemanger，向Resourcemanger注册信息 3 在注册通过后，Job会拷贝相关的资源信息（从HDF ...
分类：
其他好文 时间：
2019-09-21 15:26:11
阅读次数：
96
1.node_exporter https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz https://github.com/prome ...
分类：
其他好文 时间：
2019-09-15 01:47:47
阅读次数：
1146
The APR based Apache Tomcat Native library which allows optimal performance in production environments was not found on the java.library.path: [C:\Pro ...
分类：
编程语言 时间：
2019-09-10 14:48:52
阅读次数：
113
测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。 在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。 大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的 ...
分类：
其他好文 时间：
2019-09-04 13:36:06
阅读次数：
103
好久没刷coursera的课了，这周注册了个cloud computing看看。 第一章 讲mapreduce，没啥好说的。 第二章 gossip protocol，是一种应用层的协议，bitcoin和很多其他类似的分布式数据库系统有用到这种协议，它基本就是将数据从一个结点定期向周围传播信息，可以是 ...
分类：
其他好文 时间：
2019-09-04 10:14:31
阅读次数：
86
大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个 ...
分类：
其他好文 时间：
2019-09-02 21:00:24
阅读次数：
165
python中datetime模块非常好用，提供了日期格式和字符串格式相互转化的函数strftime/strptime 1、由日期格式转化为字符串格式的函数为: datetime.datetime.strftime() 2、由字符串格式转化为日期格式的函数为: datetime.datetime.s ...
分类：
编程语言 时间：
2019-09-02 11:18:52
阅读次数：
74
1.今日工作： 改变了菜品图片的存储方式，解决了之前调试时图片不能显示的问题 看视频学习springboot 结合jpa操作mysql，但是运行时报错：An incompatible version [1.2.12] of the APR based Apache Tomcat Native lib ...
分类：
其他好文 时间：
2019-09-01 19:00:59
阅读次数：
78
pip install pyspider 最终解决方案：（参考 http://www.v2ex.com/t/173842） 1： http://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载 pycurl-7.19.5.3-cp27-none-win_amd64.whl ...
分类：
Web程序 时间：
2019-09-01 18:58:34
阅读次数：
161
帮助命令 ~帮助命令man ~其他帮助命令 一、帮助命令man 格式一：man [命令] 例如：man ls：可以显示命令ls的介绍使用文件 man man：可以查看man命令的介绍 那么如何查看目标命令有哪些级别的帮助文档呢？ 格式二：man -f [命令] 例如：man -f ls 那么知道了命 ...
分类：
系统相关 时间：
2019-09-01 12:44:13
阅读次数：
117
