期末的到来，我对软件工程的理解不断加深，现在已经是时候总结了。软件工程作为一个虚无缥缈的词汇却有着无与伦比的实在感，这是因为在刚接触时，我对软件工程的印象刻薄，而现在我不得不敬畏起软件工程的前人以及软件工程的深奥了。 软件工程是实践的工程 但软件工程不是全靠实践的学科，作为一个需要我们深入学习的专业 ...
分类：
其他好文 时间：
2019-06-16 23:19:29
阅读次数：
235
reduce端的join算法： 例子： 商品表数据 product： pidp0001,小米5,1000,2000p0002,锤子T1,1000,3000 订单表数据 order： pid1001,20150710,p0001,21002,20150710,p0002,31002,20150710, ...
分类：
编程语言 时间：
2019-06-15 20:29:33
阅读次数：
124
ReduceTask的运行的整个过程 背下来1、启动线程到mapTask那里去拷贝数据，拉取属于每一个reducetask自己内部的数据2、数据的合并，拉取过来的数据进行合并，合并的过程，有可能在内存当中，有可能在磁盘当中，有可能在内存和磁盘当中，合并的时候同时要进行分组操作3、调用reduce逻辑 ...
分类：
其他好文 时间：
2019-06-15 17:34:44
阅读次数：
91
第2节 mapreduce深入学习：8、手机流量汇总求和 例子：MapReduce综合练习之上网流量统计。 数据格式参见资料夹 需求一：统计求和 统计每个手机号的上行流量总和，下行流量总和，上行总流量之和，下行总流量之和 分析：以手机号码作为key值，上行流量，下行流量，上行总流量，下行总流量四个字 ...
分类：
移动开发 时间：
2019-06-14 23:39:22
阅读次数：
201
第2节 mapreduce深入学习：7、MapReduce的规约过程combiner ...
分类：
其他好文 时间：
2019-06-14 22:20:44
阅读次数：
140
前面的文章我们介绍了，Eureka用于服务的注册于发现，Feign支持服务的调用以及均衡负载，Hystrix处理服务的熔断防止故障扩散，Spring Cloud Config服务集群配置中心，似乎一个微服务框架已经完成了。 我们还是少考虑了一个问题，外部的应用如何来访问内部各种各样的微服务呢？在微服 ...
分类：
编程语言 时间：
2019-06-09 22:24:31
阅读次数：
137
这几天，想复习一下xxe的知识，于是把以前的一个靶场拿过来玩玩，顺便审计一下代码2333，靶场地址：https://github.com/c0ny1/xxe-lab 首先先练习的是php-xxe： 我们抓一下包看一下吧。 看到了我们发送的用户名/密码都是以POST形式发送的。并且很像是xml文档、 ...
分类：
其他好文 时间：
2019-06-07 12:43:32
阅读次数：
378
svn版本 同样先示例server端的代码，基本步骤一样。 1、添加依赖 需要多引入svnkitr包 2、配置文件 和git版本稍有区别，需要显示声明subversion. 3、启动类 启动类没有变化，添加@EnableConfigServer激活对配置中心的支持 4、测试 服务端测试 访问：htt ...
分类：
编程语言 时间：
2019-06-07 00:53:15
阅读次数：
122
Hystrix-dashboard是一款针对Hystrix进行实时监控的工具，通过Hystrix Dashboard我们可以在直观地看到各Hystrix Command的请求响应时间, 请求成功率等数据。但是只使用Hystrix Dashboard的话, 你只能看到单个应用内的服务信息, 这明显不够 ...
分类：
编程语言 时间：
2019-06-07 00:48:50
阅读次数：
97
随着线上项目变的日益庞大，每个项目都散落着各种配置文件，如果采用分布式的开发模式，需要的配置文件随着服务增加而不断增多。某一个基础服务信息变更，都会引起一系列的更新和重启，运维苦不堪言也容易出错。配置中心便是解决此类问题的灵丹妙药。 市面上开源的配置中心有很多，BAT每家都出过，360的QConf、 ...
分类：
编程语言 时间：
2019-06-07 00:33:49
阅读次数：
101
