当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候，你会遇到各种各样术语，比如 transformation，action，RDD 等等。 了解到这些是编写 Spark 代码的基础。 同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了 ...
分类：
Web程序 时间：
2017-08-31 20:24:46
阅读次数：
233
调试资源分配 Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群，为什么但是我的应用一次只有两个 task 在执行”，鉴于 Spark 控制资源使用的参数的数量，这些问题不应该出现。但是在本章中，你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统（YARN、M ...
分类：
Web程序 时间：
2017-08-31 20:19:36
阅读次数：
191
内核的功用主要有进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能这几个方面，本文主要讨论linux进程及作业管理。进程管理：进程，process，运行中程序的一个副本，且存在生命周期；进程分为CPUbound和I/Obound。CPUbound：CPU密集型（类似于高清视频）I/Obound：..
分类：
系统相关 时间：
2017-08-30 19:51:57
阅读次数：
355
To list any process listening to the port 8080: lsof -i:8080To kill any process listening to the port 8080: kill $(lsof -t -i:8080)or more violently: ...
分类：
系统相关 时间：
2017-08-25 01:10:53
阅读次数：
190
在Eclipse的workspace下有个.metadata文件夹，Eclipse出现异常的log文件就在这个目录下。 最近出现了这样的错误： 查看日志文件发现： !ENTRY org.eclipse.core.jobs 4 2 2011-08-03 09:33:32.843 !MESSAGE An ...
分类：
系统相关 时间：
2017-08-23 20:02:13
阅读次数：
210
Oozie协作框架 一：概述 1.大数据协作框架 2.Hadoop的任务调度 3.Oozie的三大功能 Oozie Workflow jobs Oozie Coordinator jobs Oozie Bundle 4.Oozie的架构 控制流节点 起始，分支，并发，汇合，结束 动作节点action ...
分类：
其他好文 时间：
2017-08-23 00:44:50
阅读次数：
440
我们要做定时任务时,有两种办法 一种是: 操作系统的定时,win的定时任务,unix的crontab一种是: 数据库级的定时,她的效率更高, 再有大量的表级操作时,建议用数据库本身的job queue,这样方便,效率高;如果用系统级定时,会增加很多编程工作,成本增加了,还很容易出错,事情越简单出错的 ...
分类：
数据库 时间：
2017-08-13 22:16:01
阅读次数：
233
需要定时器的地方好像还挺多. 之前项目中有用到使用定时器循环订单时间,然后将超时的订单状态更改. springboot的@Scheduled注解能够很快速完成我们需要的定时任务. 其中需要注意的是:fixedRate和fixedDelay这两个参数开始计时的时间不一样.如果需要调用的方法执行时间比较 ...
分类：
编程语言 时间：
2017-08-13 18:37:35
阅读次数：
438
数据模型的要求 1.要直观的模拟真实世界 2.容易被人理解 3.便于计算实现 一、低质量建模 Steve Hoberman的《Data Model Scorecard》一书中详细罗列了低质量建模的十宗罪 1. 没有准确的捕获到需求 这个属于数据建模最大的问题。通常由于需求调研不完备，需求理解不充分， ...
分类：
其他好文 时间：
2017-08-13 15:18:09
阅读次数：
221
As we all know, machine scheduling is a very classical problem in computer science and has been studied for a very long history. Scheduling problems d ...
分类：
系统相关 时间：
2017-08-13 09:58:35
阅读次数：
251
