大数据架构设计原则从功能模块可划分为：数据标准（数据标准字典，数据流程规范）;数据模型（数据主题域，概念模型，主数据体系，模型选择）;数据管理体系(管理规范及流程，质量控制，元数据管理，调度管理，日志监控）从业务需求，主要要求有：灵活性，简易性，安全性，连续性..
分类：
其他好文 时间：
2014-09-29 19:44:51
阅读次数：
403
网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互 联网中搜集网页，采集信息，这些网页信息用于建立索引从而为搜索 引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即 时，因此其性能的优劣直接影响着搜索引擎的效果。网络爬...
分类：
Web程序 时间：
2014-09-29 13:30:00
阅读次数：
281
软考视频第一章讲的就是数据结构，这部分的内容在自考书中学习过，以前也接触过，总之，就是有一种熟悉的感觉。猛然间的看上去好像有很多的数据结构，但是当把它们梳理好总结好以后，你会发现数据结构是如此的整齐。
计算机在解决任何实际问题都离不开数据表示和数据处理，而数据表示和处理核心的问题之一就是数据结构。数据结构就是计算机在组织数据和存储数据的方式。数据结构是计算机底层的知识，足够...
分类：
其他好文 时间：
2014-09-29 12:34:40
阅读次数：
166
开篇介绍大多数情况下我们的 SSIS 包都会配置在 SQL Agent Job 中周期性的按计划执行，比如每天晚上调用 SSIS 包刷新数据，处理 Cube 等。一旦 SSIS 包中出现任何异常，报错，那么配置在 SQL Agent Job 中的通知，邮件提醒就会把这些错误信息发邮件到指定的用户或者...
申明：转载请注明作者（byChenReason）及出处，谢谢。最近在学python，首先就想找个小功能来试着实现以下当作练手，最后决定就以爬取京东商品的缺货记录作为目标。要爬京东数据，当然要从分析京东的商品页面开始。我们先以京东的手机频道为例。不然发现，有个【仅显示有货】按..
分类：
其他好文 时间：
2014-09-29 03:45:47
阅读次数：
225
一.HTML语义化的概念 1、主要的标签，有标题（H1~H6）、列表（li）、强调（strong em）等 2、根据内容的结构化（内容语义化），选择合适的标签（代码语义化）便于开发者阅读，以及在写出更优雅的代码的同时让浏览器的爬虫和机器很好地解析。二 .语义化的必要 1.为了在...
分类：
Web程序 时间：
2014-09-28 22:33:26
阅读次数：
277
一、数据处理的三个阶段：1、人工管理阶段2、文件系统阶段3、数据库系统阶段二、数据库：长期存储在计算机内，可共享。三、数据库管理系统（DBMS）功能：1、数据定义功能(DDL)，如CREATE2、数据存取功能（DML）,增删改操作3、数据库运行管理，是数据库管理系统的核心四、数据库系统>数据库管理系...
分类：
数据库 时间：
2014-09-28 20:36:15
阅读次数：
182
最近碰到一个db2字段数值问题的bug，差了半天，发现原来是dbvisualer的字段显示问题，特此记录此异常。测试过程：1、建表，简单的测试表：CREATETABLEUSR.A_TEST(IDINTEGERNOTNULL,NAMECHARACTER(4)NOTNULL);2、插入数据，插入一个16进制字段：insertintoUSR.A_TEST(id,name)va..
分类：
数据库 时间：
2014-09-28 18:00:35
阅读次数：
240
1、Excel最大功能：数据处理、统计分析。 2、数据有效性验证： ???长数字输入方法，文本前面加英文"‘"(单引号)或使用文本转换。 ???身份证号：数据、数据有效性、文本长度。 ???性别：数据、数据有效性、...
分类：
其他好文 时间：
2014-09-27 20:33:50
阅读次数：
216
1、Excel最大功能：数据处理、统计分析。2、数据有效性验证：长数字输入方法，文本前面加英文"'"(单引号)或使用文本转换。身份证号：数据、数据有效性、文本长度。性别：数据、数据有效性、序列、多数据内容用英文","(逗号)隔开。3、甘特图表（制作工期图）：插入、条形图、二维条形图、堆积图条形图、设...
分类：
其他好文 时间：
2014-09-27 18:59:00
阅读次数：
169
