码迷,mamicode.com
首页 > 其他好文 > 详细

从战略情报分析方法,看网络安全数据分析的挑战与困境

时间:2020-04-06 11:25:12      阅读:138      评论:0      收藏:0      [点我收藏+]

标签:nbsp   用例   部分   自己的   可靠   整理   地理位置   signal   入侵   

1. 科学的定义 

0x1:关于什么是科学的定义的历史发展

要讨论科学的定义,有一个重要的问题就是,科学与伪科学的区别是什么?

从16世纪培根(francis bacon)首次将归纳推理作为一种科学方法后,归纳方法就成为科学的代名词。科学是一种经验主义的研究方法,主要体现为归纳法,对观察到的现象和实验结果进行加工。也就是说,科学是在观察的基础上归纳,通过归纳得出结论,并在新的观察和归纳中调整、修改结论

技术图片

但是要注意的是!伪科学也称自己的结论是通过归纳得出来的,并在新的观察中得到验证。但不同的是,伪科学不会根据新的观察调整结论,而是寻找种种理由证明结论是正确的(即所谓的选择偏差)。或者说,任何新的证据都不能证明其结论是错误的。例如,占星师会说:“彗星扫过北斗,就要有灾难降临”,之后,当人们质疑其预测的准确性时,占星师会说:“世界上一定有某个地方发生了灾难,大灾难没有,小灾难肯定有,现在没有,未来肯定没有”,总之就是永远立于不败之地。

此后,归纳一直是科学研究的不二法则。直到休谟(D.Hume)在18世纪中叶对归纳提出认识论中著名的”休谟问题“,即归纳在逻辑上站不住脚。

休谟吧人类研究的对象分为两类:

  • 思维关系(relations of ideas):主要关于几何学、代数和算术,每个结论都是确定的
  • 现实问题(matters of fact):所有的现实问题的推理都是建立在因果关系之上的,而所有因果关系均来源于经验知识,不可能从推理中产生。经验性结论的前提是未来和过去一样,这个逻辑不一定存在

为什么过去的一定会成为未来的?为什么局部的会成为全部的?”休谟问题“成为困扰哲学界的大难题,直到20世纪波普尔(Karl Raimund Popper)提出证伪推理方法

技术图片

波普尔认为伪科学也声称自己的结论建立在观察和归纳之上,因此归纳不是将科学与伪科学区别开来的本质特征。为了解决经典理论中的这个缺点,他提出了著名的推测和证伪(conjecture and refutation)

一个理论,如果不能以任何可设想到的事实证明其错误,那么这个理论就是非科学的,概括而言,科学理论的基本原则就是其可错误的(falsifiability)、可证伪的(refutability)、可验证的(testability)

波普尔主张,人不需要从尽可能多的事实基础上总结出理论,而是在心里自由地创造出理论,然后收集事实证伪。科学理论都是猜想,没有被证伪的理论就是暂时正确的。

从此之后,演绎和证伪成为自然科学和社会科学研究中的经典方法,也成为科学区别于伪科学的本质特征。

 

2. 情报分析和科学的关系

0x1:情报分析应用科学研究方法面临的挑战

假设和证伪的演绎方法是20世纪社会科学的主导方法,但是这种方法在社会科学中的效果却引起了很大争议。社会科学与自然科学有两个明显区别:

  • 一方面社会科学研究中变量不可控制,因而变量太多,同时还存在很多不可观测的隐变量,甚至共同原因等因素 
  • 另一方面社会科学中人的主观意志没有科学规律可循。例如,有人认为,只要社会科学中的变量,如快乐、痛苦等,不能定量转化为神经细胞活动,那么基于这种不稳定变量的演绎方法就值得怀疑

情报作为一门应用社会科学,当然也必须面对社会科学研究面临的困难和挑战,它集中体现在下面几个矛盾的地方:

  • 情报分析是一种科学方法,但是这种方法针对的研究目标是不适合科学研究的,因为人的自由意志和快乐、痛苦、感激、认同等情感随意性很大、难以定量,或者因为社会现象的变量太多
  • 但另一方面,社会现象也不是毫无规律可循,
    • 一方面,人的行为有个体特征,不受规律控制,常常做出反复无常的举动。自由意志将自然界的因果关系与个人行为的因果关系区分开来。
    • 另一方面,人的自由意志又有诸多相似之处,有不少历史经验可以借鉴。

正如休谟所言:”人是如此相像,无论任何地方、任何时期的人都是这样,就此而言历史没有告诉我们任何新的东西“。可以说,社会科学的特点增加了科学研究的难度和不确定性,但并不能阻止、否定科学研究。

在情报共同体内部,对情报分析的科学性持怀疑态度的人大有人在,特别是军情报分析人员。这些人反感科学、统计和理论,认为情报分析是一门艺术,而不是科学。科学不能预测非理性的、不可预测的人类心理和人类活动。

迄今而至,社会科学主要通过两种办法应对上述挑战。

  • 历史分析法:社会科学变量太多,不能在控制变量的情况下做实验,但是历史就是社会科学各种理论的实验室。尽管历史分析法不能得出自然科学那样精确的理论,却也提供人类取之不尽的启迪,是一切社会科学的基础。尽管人的意志是自由的,但并非无理由的自由,人的意志是受环境影响的。社会科学不能阅读特定人的心理活动,但是重大历史事件总有其发生的社会环境,而这个环境可以通过社会科学认识。总之,社会现象有一定规律可循,人的行为存在因果关系。虽然社会科学不能得到自然科学一样的刚性规律和理论,但可以研究出帮助人们理解、预测社会现象的柔性规律。
  • 同理类比法:人与人的思维是想通的,因而可以理解对方的行为。哈耶克说,这种理解之所以成为可能,是因为我们有着和别人一样的头脑,是因为只有利用我们和他们共享的精神范畴,我们才能重建我们所研究的社会复合体。例如,对于国家领导人而言,主要他思维正常,至少不是明显精神错乱,那么他就不能反复无常地作出决定,至少他要同顾问商量、和议会讨论,基于这些限制,他选择的空间将被压缩地很小,通过认真的情报分析是可以得出结论的。

上述两种方法其本质上还是【归纳推理】与【演绎推理】,和两种方法就像太极阴阳的两面,彼此互相挑战又互相交融。

0x2:情报分析从科学研究方法中的借鉴

科学研究的功能是描述、解释和预测自然和社会现象,情报分析观察、解释和预测一切影响国家安全的国际现象。

情报分析从科学研发方法中大量借鉴了经验,情报分析的主要方法就是归纳推理和演绎推理,在归纳中不断调整结论,在演绎验证汇总否定假设

当一个情报分析员要弄清柏林危机时,他回去研究历史上的危机案例,利用大量历史知识总结规律,这是社会科学研究的共性,即所谓的归纳推理。与此同时,他还需要深入到具体环境中,例如二战后的某个时期,调查当地具体的政治、外交、领导人性格等因素,通过具体环境中的证据来佐证或者推翻此前的推理,即所谓的演绎推理。

 

3. 社会科学理论对情报分析的理论贡献

0x1:理论的定义

情报分析作为一门新兴学科尚未有自己成熟的、相对完整的理论,必须借助社会科学其他学科理论完成自己的使命。那么,社会科学的理论在情报分析中的作用或意义是什么?理论对应用性社会科学的功能是什么?

关于理论的定义,有很多学者给出了各自的定义:

  • 美国社会学家施特劳斯说,理论是一系列相关概念组成的一个模型,可以用来解释和预测现象
  • 密歇根大学教授辛格认为,理论是可重复的、对特定一类事物有强大解释能力的因果关系。

可见,理论是一种可以重复应用的因果关系,也是解释、预测的一种工具

在日常生活中,当我们搬不动一块石头时,我们会找一个杠杠作为工具。在科学研究中,当我们要描述、解释和预测一件复杂的事物时,往往会借助理论来帮助我们进行框架化思考。理论是帮助我们思考的工具,但理论不能代替我们思考,就像杠杆不会自己把石头搬起来一样。

由此可见,理论并不比应用科学高级,理论是应用科学的工具。

美国国务院情报与研究局前局长希尔斯曼认为,情报分析就是解决理论和实际之间的关系。在希尔斯曼看来,理论和实践不是指导和被指导的关系,理论在实践中的作用还需要另外一门学科研究,这门学科就是应用科学

0x2:情报分析中理论的应用前提

无论应用社会科学是仰望、平视还是俯视理论,应用科学研究离不开理论。迄今为止,尽管直觉分析也很重要,但是应用社会科学理论分析情报仍是主流方法。

情报分析是通过观察得出结论,观察到的证据和结论之间必然存在因果关系,这种因果关系实际上就是理论。不同的是,有的人在分析过程中明确意识到在使用理论,有的人没有明确意识到使用了理论。

每个情报分析人员,无论其承认与否,意识到与否,在分析情报之前内心或潜意识里都有一个理论或假设前提。也就是说,任何一个分析者都有一个分析框架,没有这个框架,材料、信息、证据就没有意义,因而无法进行分析。只有在这样一个框架下,分析员才能选择、组织、解读材料。例如:

  • 许多人可能并未真正地系统理解现实主义理论中的权利政治,却知道“落后就要挨打”这个朴素道理。在分析国际冲突时,就会自然而然地关注实力消长,而不是意识形态差异。
  • 在网络安全中也是一样,在分析系统是否处于被入侵状态时,分析师会有一个基本假设:即系统遭到入侵时,系统的行为日志会存在一些违反常规基线的行为日志,从而有意地去寻找一些异常行为日志或者通过一些统计方法来主动寻找一些异常行为点

任何一种理论都是从某一个特定角度看问题,必须有假设前提限制其他变量,因而分析员只有在有意识使用理论的情况下,才能知道这个理论是否使用眼前的现象

举个例子来说,康恩在其《核战争》一书中提出,核战争和长谷战争没有区别,仅是规模更大而已。

这个理论的成功应用需要如下几个假设:

  • 人们能承受核战争打击,并从核打击中恢复
  • 人们可以得到一切想要的信息,知道核打击损害程度的一切数据

假如,我们知道核打击能使90%的人口和财务消亡,但在此情况下,10%的人能够承受这种损害,并重新建设吗?答案是没有人知道!

人类社会的承受能力是有限的,这个限度在哪里,没有人能知道。因此,我们无法确定基本的假设前提,因此就无法基于该理论进行有效的未来预测。

中情局已经非常清楚地意识到潜在假设前提对分析的重要影响,情报分析规则明确要求假设前提“清晰化”。

可以说,理论的假设前提就是理论的弱点所在,因为理论无法回答新变量加入后结果是什么,新加入的变量会打破原有的假设

笔者插入

安全数据分析中也有很多前提假设,这些前提假设往往限制了理论模型在具体场景的应用:

  • .i.i.d.独立同分布假设:很多模型特征之间是独立同分布的(例如朴素贝叶斯),但现实问题场景中往往不是这样的,安全攻防场景中,不同的因素之间是彼此关联依赖、彼此影响的。
  • abnormal outerlier假设:这是一场检测模型中最普遍的假设,它假设统计意义上的离群点,在现实的问题场景中,就代表着异常事件,但现实中这个假设往往很难成立,统计上的异常和现实问题中的异常存在着一个天然的鸿沟。

0x3:理论应用社会科学的三种观点

不论情报分析员对理论的应用是有意识的还是无意识的,情报分析必须依赖理论知识。挪威奥斯陆大学社会学家莫杰斯特在1999年的一份研究报告中提出,20世纪以来应用社会科学对理论的态度有三种学术观点。

  • 演绎推理派
    • 类律(Lawlike or Quasilaws)
    • 理想模型(idealinsing notion)
  • 归纳推理派
    • 建构主义(constructivist notion)

技术图片

1、类律(Lawlike or Quasilaws)

类律观点认为,应用科学中的应用必须因具体环境而调整。因为社会科学与自然科学之间的本质区别,社会科学不能通过实验得出规律,只能根据历史案例来归纳

但波普尔否认具体历史事件与普遍规律之间有因果关系,也就是说社会科学不可能有普遍的规律。社会科学不能得出这样的结论:有某个因,就必定有某个果。例如,

  • 公众对政府的不满一定会引起政府垮台
  • 独裁政府一定会导致社会暴动
  • 降低存款准备金率已经会拉动经济回暖

波普尔认为,社会科学理论只能关注应用到具体背景下的规则。莫顿称此为“中层理论(middle range theory)”,介于抽象的统一性理论和具体的经验描述之间

没有一个决定性的事件或经验能证明一个社会理论是真的或者假的,即使某件事证明一个社会理论是错误的,理论也可以通过微调最初的假设变量加以解释。

例如,某国民众对政府不满,但政府没有垮台,并不能证明这个理论不对,可以找出其他的变量解释,如该国民众的内部矛盾大于他们与政府的矛盾。

社会科学理论不是普遍性规律,而是暂时性的,随着具体事件而不断调整

因此,莫顿认为社会科学理论弱在演绎推理,强在现象解释。即使最简单的经济规律也不是普遍使用的。于是,社会科学理论被称为“类律”,它会根据具体事件进行微调。

2、理想模型(idealinsing notion)

理想模型的观点认为,理想法则只在理想的应用环境中能起到预测作用

马克斯.韦伯和格奥尔格.齐美尔认为,社会科学中的规律是一种“理想法则”,是人类动机的理想化。

相比于“类律”用实证主义的方法试图确定一个法则应用的所有前提条件,理想法则认为确认一个具体环境的所有变量是不可能的,相反,它更关注实证主义之外的另一个方面,即社会中不证自明的公理系统(axiomatic system)。这就是20世纪80年代以后兴起的理性选择理论(rational choice theory)、博弈论(game theory)等,通过数学模型或逻辑模型来理解理性行为,把人的个性因素在社会科学解释中降到最低

在理想模型研究中,研究者自己控制变量的权利很大,这种模式在理论中很有趣,但现实中较难应用。

因此,社会科学理论与自然法则的重大区别是,社会科学理论只能在理想化的逻辑世界中预测,但现实事件极少符合理想化世界

在建立模型时,研究者计算、推理、评估行为者的动机。一旦模型要求的严格限定条件不能满足,模型就会变得极为复杂。这种模型与事实之间的差距比类律中理论与事实之间的差距还要大。

  • 对类律而言,理论应用这不可能确认所有假设变量
  • 对理想模型而言,应用这难以满足限定条件

类律和理想模型本质上都属于前面说的演绎推理的一种具体表现。应用科学对理论的上述两种观点都同意以演绎推理作为基本研究方法,同时也承认社会科学理论与现实之间有差距。

要通过上述两种方法预测,必须对事件有完美的知识,知道模型中涉及的人和事的一切情况。

3、建构主义(constructivist notion)

建构主义认为,科学知识与日常生活知识没有区别,人们观察新事物时,总是用已经知道的知识来解释它

人们利用类比,去理解新的领域,当然在利用类比时人们也修正原有的知识。例如,达尔文把市场选择理论作为类比,形成了自己的“自然选择”理论。

但是,社会科学有一个自然科学不需面对的困扰,即如何理解动机、偏好、价值观。理想模型用严格的条件限定来解决,建构主义则更关注日常知识,认识到这些知识总是有限的,人的理性总是有条件的(即有限理性理论)。社会科学从来没有发现像相对论一样的硬规则

建构主义没有发展出简约的理论,但是反对任何脱离具体情境的理论,在解释方面非常有说服力。建构主义像历史学家一样,建构具体的情景,通过日常生活知识解释当时当地的事情。

建构主义的一个经验就是,具体情境和动机是重要的,没有普遍的理论,每件事都是不同的。典型的例子就是SIDS案例,通过数据统计得到的一般演绎规律,在面对具体案例的时候,并不一定能适用。

诚如我们说的,情报分析的理论土壤是社会科学,所以情报分析也自然继承了社会科学中关于理论应用的观点。

类律和理想法则都承认社会科学理论是可以实证的,只不过不如自然科学中那样确定,因而应用科学可以通过验证假设的方法应用理论。建构主义不承认社会科学理论的实证性,主张分析员通过情景构建来理解具体的社会现象。

0x4:情报分析中的理论应用方法

情报分析来自于社会科学,所以继承了社会科学中的理论应用方法论,同时情报分析又有自己的学科和业务独特性,在具体应用落地时,产生了一些不同的表现形式。

1、情景建构方法 -- 建构主义

情报分析对社会科学理论的建构主义态度可以称之为情境建构方法,指分析员应用日常生活中的知识或社会科学知识,通过人类相同的理性解释过去、现在的社会现象。这是情报分析中长期使用的方法,也是历史研究的主要方法。这在历史学中称为历史诠释学,在解释现在或预测未来的情报分析中我们可以称为情境建构方法。

1949年肯特在论述情报分析方法时说,情报工作人员必须有一种意愿,把自己当作对象国的动员负责人,他能意识到当时的形势,然后看自己会采取什么行动。

1984年陆军战略情报分析培训教材要求,分析员要真正认识敌人,才能像敌人一样思考,认识对手的过程至少有三个层次:

  • 第一,知道敌人的情况(facts)
  • 第二,根据所掌握的情况融合成理解敌人行为的能力(understanding)
  • 第三,像敌人一样思考(think),这样才能预测敌人的行为

认识敌人、构建环境、像敌人一样思考,这是情景构建法的基本步骤。

情景构建法认为,一个社会现象或者决策者所处的社会环境,是由多种因素相互作用而构建成的,特别是一个国家的历史、信仰、文化等因素影响国家的定位、认同、目标,因此情报分析要广泛应用历史学、人类学、文化学等知识

情景构建法特别强调历史在情报分析中的作用,但不是使用历史类比方法,而是通过历史来理解、构建当时的环境。

情景构建法是在批判中情局的经验主义的过程中成长起来的,也一直在补充经验主义的不足。

美国政治学家波兹曼(Adda B. Bozeman)是情景构建法的积极支持者,并将情景构建法推向极端,提出“比较情报(comparative intelligence)分析”。比较情报强调每一个国家的独特性(otherness),重视非物质力量的影响,特别是文化、历史、宗教、价值观等。

波兹曼认为,世界上任何两个人都不一样,任何两个民族都是不同的,这是情报分析的重点。分析员在了解自己的基础上必须了解所要分析的社会。而了解这个社会必须使用多学科方法,如历史学、人文学、语言学等。

比较情报学认识到了每个国家、每件事、每个人的独特性,要求任何研究都必须从认识研究对象的特性出发。

2、经验佐证方法 -- 类律和理想法则

情报分析对社会科学理论的类律和理想法则态度可称之为经验佐证方法,认同演绎逻辑推理的方法,承认社会科学中行为主义的基本功能,也意识到了社会科学与自然科学的重大区别。

情报分析采用“假设-验证-结论”的经验方法,因为社会科学的类律和理想法则特征,情报分析中不能用演绎的方法证实假设,但是可以佐证假设,增加对假设的信心

简要举例来说,分析员拿到一个问题后,先决定如何处理,然后搜索一切相关信息,进行评估、分析和吸收。根据这些信息意义形成初步假设,最后返回来用已经有的事实材料验证这些假设,一些假设被推翻,没有被推翻的就按可能性大小排列。即“收集材料、形成假设、验证假设、得出结果”。

经验佐证法的基本逻辑是:事实是可以观察的、验证的,过去的经验不仅对未来有意义,而且是我们理解现在、预测未来的唯一途径

耶鲁大学历史学教授加迪斯是经验佐证方法的支持者,他说:“任何预测都必须建立在对过去的认识之上,否则你不仅没有思考的基础,甚至连表述的语言都没有。理论提供了一种方法,把过去的模式整合起来,使它们能在当前变得有用,以预测未来。没有理论,一切预测的企图都会沦为随机猜测”。

理论是对历史规律的总结,情报分析离不开理论,但是并不能采用波普尔主张的演绎实证方法,因为情报分析中的结论不可证伪

根据证伪规则,针对一个问题,情报分析员大胆提出各种假设,然后收集各种资料以证明哪些假设是错误的。但是由于情报分析是在非封闭环境下进行的,变量太多,任何一个假设都能被证明是错误的。根据证伪原则,世界上任何一个国际关系理论都可以证明是错误的,没有一种理论能经受住所有国际事件的考验。例如,美伊战争的可能性是80%,这是一个非常普遍的情报结论,但是这个结论却是不能证伪的,因为无论发生与否,结论都是对的。

正因为如此,理论在情报分析中不能当作规律使用,只能当作类律或理想法则,验证方法不能采取经验实证方法,只能采用经验佐证方法

技术图片

三种情报分析方法对理论的应用情况

0x5:情报分析中的理论应用的实际帮助

芝加哥大学教授卡普兰在1957年认为,理论在预测个人或国家具体行为没什么用,但是理论可以预测特定国际体系中的特征或行为模式,在何种条件下这种特征会保持不变,在何种条件下会转变。加州大学伯克利分校教授沃尔兹1979年说,理论解释行为规律,使人能预期到相互作用的因素将产生什么结果。但是,国家和政治家的行为并不是确定的。

国际关系理论都是以预测为目的,但是上述几位著名学者都承认理论不具有预测具体事件的功能。然而,情报分析恰好需要预测具体的人、事、物,那么问题来了,在情景构建法和经验佐证法中,理论分析发挥什么作用呢?

我们本章就来详细讨论这个话题。

1、理论帮助分析员建立假设基础

首先,理论帮助分析员形成假设,分析员根据假设思考、搜集或组织材料。无论是情景构建法还是经验佐证法,都必须从收集材料开始,收集什么样的材料是由假设决定的

例如,中情局观察到埃及总统访问苏联后,分析员要想知道此次访问的意图,就需要先基于国际关系理论建立基本假设起点,

  • 分析员可能会根据现实主义国际关系理论建立假设:“埃及总统访苏的意图是制衡美国”。然后,分析员根据这个假设收集埃及、苏联、美国三方关系的材料,以验证或否定自己的假设。
  • 分析员可能会根据自由主义国际关系理论建立假设:“埃及总统访问是由埃及内政变化引起的”,那么就会收集埃及国内政治形势的材料

在这里可以看到,理论发挥了帮助分析员建立假设的功能。每一种国际关系理论都抓住了世界政治的一个重要方面。

需要明白的是,建立假设是一个复杂过程,分析员并不总是依据理论确定假设,大众意识、直觉也发挥关键作用。即使对国际关系专业人员而言,理论也仅是其建立假设的来源之一。

在建立假设过程中,理论的独特功能是帮助分析员思考超越其直觉范围的假设,国际关系中的结构理论可以指导分析员去思考结构的作用,否则人既看不到也感觉不到结构存在。

理论帮助分析员建立假设,确立了分析的起点或方向,但并不能决定分析过程或结果,分析过程和结果扔是分析员的知识创新。

每一种理论都是现实的简单化或理想化,所以用理论来框定分析工作必然削足适履。

正如科学方法论专家指出的:“我们必须承认一个框架在提供分析的重点或起点方面是重要的,我们必须强烈意识到框架提供的理论视角不能够用来决定我们的研究,而应把它作为提供了一个方向,或促进我们研究分析的创造力源泉”。

笔者思考

对于笔者所在的网络安全数据分析领域来说,通过理论建立基本假设是一项非常重要和普遍的工作,例如文本NLP分析中的.i.i.d.独立同部分假设、高斯3σ异常假设、马尔科夫假设等。在安全领域中,大量的假设基础都是围绕“如何发现违反正常基线的异常行为”这个目标的。发现异常往往是所有工作的起点,通过异常发现从海量的原始日志中过滤出相对少量的目标日志,然后在之后的深度分析与回溯调查中进一步确认当前系统是处于被入侵状态,或者仅仅是一个管理员正常操作

2、理论帮助分析员系统地思考问题

其次,理论可以帮助分析员系统地思考假设,根据假设演绎、佐证假设

例如,分析员在“埃及总统访美的意图是制衡”的假设下,会根据现实主义国际关系理论寻找“一个小国在两个大国间发挥平衡作用会有哪些动作”。根据演绎推理,分析员可能会发现,一般而言,这样的小国会在政治上中立、军事上不结盟等特征。然后分析员收集材料、分析材料之后,查验埃及是否满足了这些条件。但即使埃及完全满足了这些条件,根据经验佐证法原则,也不能证明假设是100%正确的,还必须寻求别的证据进一步佐证这个假设,即寻找证伪证据,如果寻找不到证伪证据,则可以认为该假设为真的可能性较高,但也不是100%。

在这里,理论帮助分析员系统地思考问题,思考假设的前提、假设的演绎和假设的验证

0x6:情报分析中的理论应用的潜在误区

从上一章的讨论中我们知道,理论对情报分析的最大贡献是帮助分析员建立假设和系统思考,情报分析对理论的应用不能越过这个界限。

在应用国际关系研究或情报分析中使用理论,要极力避免以下几种错误倾向。

  • 第一,将理论当做普遍规律
  • 第二,用理论、研发方法取代对研究对象本身的研究
  • 第三,对假设前提和变量控制做的不够

1、潜在误区一,将理论当做普遍规律

在情报分析中应用理论的第一个误区是,将理论当做普遍规律,应用经验实证方法预测未来。

理论的目的就是寻找规律,但这里存在着一个天然的矛盾点,

  • 一方面,社会理论家所要理解的每件事都具有独特性,仅以此种方式发生过一次;
  • 另一方面,不同的事件之间又有相似性,是社会力量(social force)的体现,而社会力量是人类本性的行为体现,在相同或类似的坏境下,他们的体现方式可能是一样的

理论家的职能是找到社会现象中的必然性,情报分析员则要先找到社会现象的偶然性和必然性之间的分界线,然后才能应用理论

因此,一切理论都是假设,而不是逻辑推理中的大前提。例如,“民主国家之间不打仗”是一种理论,如果错误地把它当做大前提推理,就会出现如下的荒唐结论:

  • 大前提:民主国家之间不打仗
  • 小前提:德国、英国都是民主国家
  • 结论:德国和英国之间不会打仗

社会科学理论只能建立模糊的因果关系,无论是类律还是理想法则都是一样的。在应用理论前必须完全了解应用对象的所有情况。

2、潜在误区二,用理论、研发方法取代对研究对象本身的研究

在情报分析中应用理论的第二个误区是,用理论、研究方法取代对研究对象本身的研究。

在理论应用问题上,情景构建法和经验实证法都需要以精确把握具体问题的特征为前提,即对具体问题的”完美知识“。理论是一种研究工具,不能以对工具的研究取代对问题的研究。 

例如,分析员要预测背景生育率下降趋势,首先需要找到生育率下降的原因,可能包括计划生育政策、养老社会化、医疗水平的提高、生活方式的改变等。不管分析员采用定性分析还是定量分析,先得认清这些因素到底是怎么起作用的,相互间的关系如何。

分析研究对象的特征,尽可能多地掌握细节,是任何一种应用分析方法的关键

俄亥俄州立大学副教授霍普夫在谈到国际关系理论的预测功能时说,我们缺乏一种普遍方法来发现特定现象的特征。这个观点切中要害。情报分析的核心就是透视问题,找到问题的根本特征

有一些学者多年来将大量精力投放到具体方法上,不断对算法本身进行改进研究,而忽视了对问题本身的研究,笔者认为这是一种本末倒置的做法。

3、潜在误区三,对假设前提和变量控制做的不够

科学理论在假设前提、控制变量的情况下发展出规则,应用科学在使用理论时必须把那些假设前提、控制变量还原为现实。

以国际关系理论为例,国际关系理论为了能建立理论,都在控制条件和排除变量。国际关系学者知道,如果不控制变量,复杂的变量会推翻他们的理论和预测。在用到实际中时,这些理论表现很差。现实事件总比规律复杂无数倍。 

因此,情报分析对理论的应用是非常谨慎的、有限的。类律和理想法则都要求对具体事件或人有非常完美的了解,才能准确应用理论。但是,现实中根本不存在这种完美的理论,特别是情报分析使用的信息总是不完整的。

 

4. 情报分析程序

情报分析作为一个科学过程有相对固定的程序,虽然不一定每一个分析员、每一份情报分析都经过相同程序,但总体框架是相同的。 

技术图片

情报分析的五个步骤

这一章开始,我们讨论情报分析的具体程序,我们会看到,前面章节所讨论的理论应用的方法与挑战,在具体的分析过程实践中会有具体的体现。

0x1:确定情报需求(intelligence requirement)

与学术研究一样,情报分析的第一步也是确认问题。

在情报分析中,提问题的人可能是决策者,也可能是情报共同体人士,如国家情报官常常提出“国家情报评估”题目。

与学术研究不同,情报分析中确认问题包括两部分,

  • 一方面,确认决策者提出的问题是什么
  • 另一方面,还要把消费者问题转化为情报需求 

消费者或者不了解情报能力,或者出于保密考虑,或者对国外情况不熟悉,往往不能提出正确问题,需要情报分析员与消费者在沟通的基础上解读问题。例如:

  • 告诉我关于某国或某种武器的、我需要知道的一切事情
  • 需求方本意是想要对亚洲某国发起突然战争,但是出于保密需求,会给情报部分发出这样的需求:“调查亚洲的整体军事和经济情况。”,然后在收到报告中从中摘取自己感兴趣的部分

这些情况下,情报分析员就必须继续与消费者沟通,准确了解消费者提出的问题。根据美国陆军战略情报分析手册规定,分析员要填写消费者调查表,并作为文件存档。这个表包括七个问题:

  • 谁是消费者?
  • 对于此分析题目消费者已经知道多少?
  • 什么是消费者不确定的地方(uncertainty)?
  • 消费者需要什么样的信息,这些信息如何降低他的不确定性?
  • 这项收集、分析的最终目的是什么,消费者如何使用它?
  • 消费者希望有多长的历史纵深?
  • 这个报告能管多长时间?

分析员在确认消费者的问题后,需要将消费者提出的问题转换为情报需求,情报需求的专业名词是”调查范围(terms of reference)“。”调查范围“就是一个详细的情报分析计划,包括:

  • 确定研究对象的时间段
  • 确定研究对象的地理范围
  • 确定研究对象的涉及人物
  • 说明需要进行测试的假设
  • 形成一些研究中的定义
  • 简要说明研究方法,包括收集和分析方法
  • 说明数据来源
  • 指出完成日期
  • 指出所需要的合作或支持 

0x2:初步假设

情报需求确定后,问题的性质、范围、时间跨度都明确了,下一步要寻找回答问题的方法。

任何一个问题,都可以从四个方面来观察:

  • 问题的起点,知道哪些
  • 问题的终点,最终要知道哪些
  • 解决方法,从起点到终点的路径
  • 与此问题相关的资源

通过情报需求阶段,分析员通常只知道问题的起点或者终点,不可能同时知道起点和终点,否则情报分析就没有必要了。例如:

  • 埃及总统为什么访问苏联,分析员知道的是结果,需要找到原因
  • 埃及突然调整了国家对外经济和外交策略,这个不寻常的举动,需要分析员确定其战略意图,即预测未来可能的结果 

0x3:收集信息,选择研究方法

初步假设形成后,问题的起点、终点都有了,也就是假设的因果关系出现了。然后,分析员就要找到从因到果的方法,也就是选择研究方法。

1、寻找直接证据

在所有研究方法中,最可靠的研究方法就是寻找直接证据,采用直接证明方法

例如,找到埃及总统与苏共总书记的谈话记录,从记录中发现双方达成的交易,直接证明出访的意图。

但是,由于情报本身所具有的冲突性,直接证据往往是对方的最高机密,获取直接证据的机会可遇不可求。

2、寻找间接证据

在直接证明不可能得到的情况下,只能退而求其次,选择间接证据、间接方法。

例如,观察埃及总统在苏联会见的是军方人士还是工业界人士,埃及总统访问的地点是工业城市还是军事要塞。通过这些证据分析访问重点是强化工业合作还是加强军事联盟。

一般而言,情报分析中直接证据很难收集,多以收集间接证据为主要分析方法。

需要注意的是,证据的收集过程是一个非常重投入的过程,分析员不仅要考虑问题性质、掌握的信息,而且还要考虑时效、成本等因素。美国陆军战略情报部门要求分析员从三个方面考虑证据收集过程:

  • 第一,分析员受到的限制,如时间、手段等
  • 第二,方法的适用性
  • 第三,可供使用的资源 

技术图片

证据的收集过程中,情报分析员要把已经存在的知识、信息收集起来。这并不是说收集所有关于研究对象的信息,而是要求分析员根据分析方法提出问题,寻找能回答问题的知识

会提问题是分析员的一个关键技巧,只有问题提对了,才能找到核心信息。

这个阶段,分析员作为一名专业人士,头脑中的领域知识非常重要,只有自己拥有相当丰富的背景知识,才能知道什么样的信息能发挥关键作用。 

在情报收集阶段,分析员要决定什么时候已经得到足够信息,可以决定停止收集并进入下一步分析阶段。在很多时候,对问题判断起到关键作用的因素只有少数几个,其余的多源信息只是增加了分析员的信息,并没有实质提高分析结果的准确性。 

0x4:分析信息、形成正式假设

信息收集、分类完成后,信息处理阶段结束,进入信息分析阶段,这一阶段的任务是判断信息是否真实、可靠,并形成正式假设。

原始情报的真实性、可靠性包括两部分:

  • 来源的可靠性
  • 内容的可靠性

1、来源的可靠性

以人力情报为例,来源可靠性包括线人的可靠性、能力和接触信息的程度,以及获取途径的可靠性。

一般认为,对线人或代理人的评估应独立于特定的报告,线人的可靠性被认为是一个相对稳定的因素。

除此之外,评估来源可靠性还需要了解情报获取环境,对获取环境的描述也是外国特工报告的组成部分。当线人报告的事件是他直接参与的事情,例如他是一起政变的领导者之一,这样的获取环境是最可靠的,可以直接评估信息内容的真实性。但是,当线人得到的是二手信息时,线人能否真实获取详情就非常关键,在很大程度上决定着来源的可靠性。

2、内容的可靠性 

信息内容的真实性指信息本身是否与事实相符。

技术图片 

信息分析的目标是将真实可靠的信息从无关的、虚假的信息中挑选出来,在这些真实信息基础上形成正式假设

二战后研究珍珠港事件的沃尔斯泰特将原始情报分为”信号(signal)“和”噪音(noise)“。

  • ”信号“是指向特定危险和敌人意图的线索、迹象和证据
  • ”噪音“指不相关的、不连续的信号背景,指向错误方向的信号,或者是干扰指向正确方向的信号

根据沃尔斯泰特的分类,信息分析就是将信号与噪音区分开来。

在情报分析中要特别注意对象国故意发出的”欺骗(deception)“信息,这是情报分析中特有的现象。欺骗是指有意误导事实,以获取竞争优势。欺骗包括三个层次:

  • 简单地掩盖事实真相:是一种被动的欺骗行为
  • 撒谎或散步谎言:上升为主动出击
  • 阴谋:涉及设计谎言的背景,以诱引对方上当

0x5:验证假设,发送情报

正式假设形成后,分析员要应用多源信息验证假设,选择较可靠的假设作为结论。

 

5. 情报分析方法 -- 情报程序中最核心的一个环节

上一个章节中,我们对情报分析程序进行了一个全景式的描述,这一章我们来拉近视角,讨论一下情报分析中最核心的一个环节:情报分析方法。这部分也是理论应用于实践的最密集的地方,也是理论与实践产生矛盾最多的地方。

肯特在1964年的一篇文章中说,国家情报分析中涉及到三种信息:

  • 第一,无可争辩的事实
  • 第二,可以知道但我们还不知道的事实
  • 第三,任何人都不可能知道的事实 

第一种信息是推断后两种信息的基础,后两种信息都有一定的不确定性,包含着预测成分。情报分析的目的是知道后两种信息。

1994年盖茨把情报知识分为两类:

  • 秘密:秘密是间谍可以偷来的,或技术设备可以分辨出的信息,如苏联SS-18导弹的数量
  • 迷:迷是一个抽象难题,没有人能知道确切答案,如叶利钦能否在一年后控制通货膨胀,这个迷谁也偷不到,叶利钦自己也不知道。

总体来说,肯特和盖茨的分类本质都是相同的,他们都认为情报分析中存在着一类”无法被感知的事物“。

情报分析的目标就是寻找隐藏的秘密和解读没有确切答案的”迷“,也就是从已知事实走向未知领域。理解和预测未知领域,既需要预测性情报,也需要解释性情报。 

  • 对于解释而言,就是事情已经发生,需要寻找事件发生的决定性因素。即肯特说的【无可争辩的事实】。
  • 对于预测而言,情形正好相反,最初的条件已知,但它们的影响和结果尚未发生,还有待决定。即肯定说的【可以知道但我们还不知道的事实】。

同一切科学研究一样,情报分析方法有三个关键点:

  • 描述问题
  • 建立假设
  • 验证假设

我们接下来逐一讨论它们,读者朋友需要特别注意的是,这三个环节,充满了理论应用于实践的矛盾与挑战,我们来一起看下情报分析是如何在长期的实践中发展出了一套最佳实践的。

0x1:描述问题,生成描述性情报

任何研究工作都必须从认识研究对象开始,描述就是认识研究对象的过程,是解释和预测情报的基础。

描述通过记录、分析、概述、总结等方法表现事物的本质特征,因此描述的核心是本质特征准确。就像画素描一样,关键线条必须找对,就能体现出基本特征。

一般印象中,描述就是客观记录事实,并不需要理论和方法。实际上,描述首先是一种判断和选择,对任何事物的描述只能从特定角度出发。任何一种描述方式都是片面的、简化的、不可能绝对全面、客观

哈耶克说,人认识的只是一个事物的部分,人根本不可能认识事物的全部。

从这个意义上说,描述从一个特定的角度提供叙述,传达对特定事件、经历或感情的印象。

笔者思考

所有的观点都是片面的,所有的言论都是主观的。不管发表评论的当事者如何知识渊博与保持中立客观,只要他是处在一个特定的环境中,他就一定带着自己环境所对应的印记,他的评论也就有了某种特定的观察视角,这就导致的片面性。这也是为什么说我们每个人都需要建立多维度认知的必要性。正所谓兼听则明,偏听则暗。

1、描述的首要步骤

进一步地说,描述的首要步骤是研究事物的本质特征。一个事物的本质特征不止一个,往往是多方面的,例如:

  • 物理特征:一个书桌的物理特征是静止的平面支撑物
  • 化学特征:一个书桌的化学特征是有机合成物
  • 社会特征:一个书桌的社会特征是学习工具

对于情报分析员而言,在确认”情报需求“时必须弄清消费者需要什么样的事物特征。例如:

  • 国防部可能更关心A国的军事特征
  • 国务院则更关注A国的政治、外交特征

2、描述的第二个步骤

描述的第二个步骤是找到描述事物的方法。

  • 有些因素是可以直接观察的,如A国军队所处的地理位置
  • 有些因素可以观察,但不能直接观察,如A国陆军的人数,分析员没有办法去现场清点
  • 有些因素不能观察,只能通过推理、想象来验证,如A国陆军战斗人员对美国的敌视程度

针对上述三种不同情况,分析员需要找到一种科学方法,可以描述”不能直接观察的因素“和”不能观察的因素“。

在科学研究中,分析有两种解释:

  • 问题分解法(类律思想):一种是把一个复杂整体分成几块,分别研究各个小块以及相互之间的关系
  • 逻辑推理法(理想模型思想):另一种是通过假设的逻辑关系来推理,假设的逻辑关系与事实越接近,分析结果的可信度就越高。同时,用于推理的间接事实越准确,分析结果的可信度就越高

多数情况下,两种方法是交替应用的,应用实践是一门结果导向的学科,在对理论的应用过程中,不存在泾渭分明的学术互斥,各家的理论都会兼收并蓄,最终的目标是取得整体的最优。

1)通过逻辑推理法描述无法直接观察的事物

关于通过逻辑推理描述无法直接观察的事物,费米举了这样一个例子,问题为”芝加哥市有多少家庭?“。

显然这个问题无法直接通过精确的人群统计获得精确结果,但是我们可以通过下述方法来解答该问题:芝加哥市有多少家庭?多少个家庭拥有一架钢琴?一个调音师一年能调多少架钢琴?

回答这个问题需要知悉下述假设逻辑关系:家庭数量与钢琴数量的关系,钢琴数量与调音师人数的关系。

分析员无法直接清点调音师的人数,但是如果知道两个假设逻辑关系和芝加哥市家庭数量这个间接证据,也可以根据逻辑关系推导出答案。

笔者思考

逻辑推理法本质上利用了信息论中的相关性,因为间接事实和真实事实之间存在相关性,同时相关性置信度足够高(即逻辑关系与事实越接近),则我们可以通过仅观察间接事实,来间接地获取背后真实事实的结果

举一个网络安全中的经典例子来说,当我们观察到主机进程中某个进程在单位时间内向某个或某些特定端口,发起了大量的TCP/UDP请求时,我们会认为该进程当前正在发起暴力破解行为。这背后的理论基础就是:进程在单位时间内的网络发包行为是一个间接事实,而这个行为模式和恶意暴力破解进程这个事实之间存在着强相关性,因此我们可以通过逻辑推理法,将发包现象描述为一个恶意进程行为。

2)通过问题分解法描述无法直接观察的事物

在情报分析中,更多的情报问题是一个复杂的”迷“,不可能直接观察,如国际关系中的结构、领导人的心理等。这些因素都在不断起作用,但不可能直接观察,只能分解为多个可观察的小问题,再通过直接观察或逻辑推理回答各个小问题,最后综合各个答案解决大问题。

在分解复杂问题时,需要有一些先验假设和归纳结论作指导,这些假设和结论是学术研究、情报分析中积累起来的宝贵实践财富。这也是我们前面所提到的观点,理论无法直接应用于具体的情报实践,但是可以作为情报分析的假设前提和思考起点。

同逻辑推理一样,应用”应用问题分解法“时,最大的挑战是分解问题的逻辑是否与现实逻辑一致,这是决定方法成功的关键

描述性情报既可以作为一种独立的成品情报发给消费者,也可以作为解释性情报和预测情报的基础,描述情报的结果很多时候是其他两种情报的假设或原因。在实际操作中,描述、解释和预测的界线并不是绝对清晰。解释,预测情报中往往把描述作为基础部分。

0x2:建立假设

预测未来的方法包括:

  • 理论推导
  • 专家判断
  • 趋势延续
  • ...

因为情报分析本身的不确定性而不能采用经验实证方法,所以任何一种预测方法都不能得出情报结论,而只能作为情报假设,等待进一步的佐证。

1、预测性情报中建立建设

预测性情报分析作为科学方法的核心就是建立假设和佐证假设(类律和理想法则的应用),尽管情景构建法也在分析中广泛应用,但迄今而至还没有成为一种独立方法。

在预测性情报分析中,假设用来预测事物的发展方向,是对分析员想象力的考验。分析员想象到的假设有可能被否决,但是分析员没有想象到的假设决不能被证实。例如,苏联解体前,中情局分析员没有人提出过”苏联解体会成为两极对立的结束方式“这样的假设,所以也就不会有情报员去搜集相关的证据,也不会有人对这个假设进行评估。

可见,假设是预测性情报的基础,如果这一步出错或者遗漏,结果必然是错误和遗漏的。

 

2、解释性情报中建立建设

 

解释性情报是在知道结果的情况下分析原因。解释性情报是预测性情报的基础,只有知道一件事的背后推动力,才能预测到它的未来。更重要的是,解释性情报作为一种单独的成品情报,价值亦十分可观。

3、预警情报

预警情报的性质与预测性情报基本相同,但对假设的应用略有不同。预警情报分析的对象比预测性情报窄,主要针对军事行动、恐怖主义活动等可观察对象。

对军事行动的预警是国家安全的重要保证,预警情报的假设采用”最坏情报“分析方法,即假设对方要采取军事活动。

4、描述情报

在描述情报、解释情报、预测情报、预警情报等四种情报类型中,除描述情报外,解释情报、预警情报、预测情报实质上都是寻找因果关系,建立假设和佐证假设是它们共同的分析方法

技术图片

情报分析中的假设和验证

假设(hypothesis)是一个可测试的论断,或者说是一个试探性的陈述,提出不同因素之间的因果关系

在情报分析中,当一个因果关系中的一个变量已经知道,需要寻找另外一个变量时就要建立假设。或者当一个因果关系的结果已经知道,需要找到这种现象背后的原因。

建立假设是一种创造性思维,假设的形成需要分析员的知识储备和灵感,在目前的脑科学的进展下,还没有人知道假设形成的方法和途径。但是,假设形成需要一些必要条件,没有这些条件,不可能形成假设,即这些条件是形成假设的必要条件。

  • 首先,主流思考、国家身份认同是建立假设的基础。在绝大多数问题上,主流意识是正确的
  • 其次,有思想、有见地的假设建立在专业知识之上
  • 第三,灵感是建立假设必不可少的条件

总之,假设是基础知识积累和灵感结合的产物。分析员一旦建立了假设,以叙述变量之间的关系,就是建立了一个因果关系模型

简单地说,模型就是真实世界的抽象或代表,模型可以预测未来和解释过去

0x3:验证(佐证)假设

假设形成后,必须对假设进行逐一验证和佐证,假设才有意义。

例如,情报分析员观察到美国的一个航空母舰战斗群开往海湾,可能会建立这样的假设:美军要进攻伊拉克。但是如果分析员不能进一步验证假设,这个假设就仅仅是一个猜想,对后续的情报分析没有任何意义。

1、列出假设相关的证据和论点

假设形成后,分析员要列出支持和反对假设的所有关键证据和论点。不同的假设要求提出不同的问题。

2、演绎假设

分析员根据自己掌握的理论知识、经验等,进行演绎假设。在演绎之后,才能寻找这些证据是否存在,才能验证假设是否成立。因此,演绎假设是验证或佐证假设的第一步。

技术图片

归纳与演绎的关系

前面讨论过很多次,情报分析主要有两种方法:

  • 情景构建法
  • 演绎佐证法 

这两种方法的区别在演绎假设过程中也同样有应用,也同时伴随着理论与实践的矛盾与冲突。

1)基于情景构建法演绎假设

情景构建法是演绎假设中最常用的方法,其逻辑前提是:每件事都是独一无二的

分析员把每一个现象都当做新现象观察,在观察和分析时不应用任何现存理论,仅仅在一般常识基础上理解研究对象。

情景构建法认为,每个观察对象都是独特的和有它自己的逻辑,试图解释普遍规律的理论不具有任何意义。对于每个现象,分析员都要建立单独情景,这个假设中的情景就是对假设的演绎

例如,假设是”美国将要攻打伊拉克“,分析员需要构建的情景是”2003年美国要攻打伊拉克将会采取哪些行动“。分析员将仔细研究2003年的美国、伊拉克两国的政治、经济、军事等情况,虚拟一个美国进攻伊拉克的环境。分析员将各种条件网络化,形成美国攻打伊拉克的情景,就是对假设的演绎。

在情景构建法中,分析员不是根据特定政治学、军事理论来推断美国的行为,而主要是研究美国、伊拉克的特定具体环境,根据基本常识判断美国需要采取的行动。

情景构建法把每个假设都当做特例研究,在演绎假设时几乎需要收集假设涉及的所有信息。

因此,情景构建法的优点是不受任何先入为主的主观影响,研究每个现象的特征,为每件事建立独特的环境。然而,情景构建法的优点也是其缺点所在,它拒绝使用理论知识,实际上是”背对“人类社会的历史经验。

任何一种现象都有其独特性,但不可否认现象之间有一定的共性

例如,2003年美国攻打伊拉克尽管有自己的特殊性,但是它有所有战争所具有的共性,军事学就是总结战争规律的。同1990年美国第一次攻打伊拉克一样,甚至同第二次世界大战以来的美国对外战争一样,美国在战争前既要在国际上寻找盟国参加,也要在国内寻求民众支持。

这些规律不仅可以帮助分析员有效地演绎出假设所需要的条件,而且还能找到情景逻辑无法找到的条件。有些现象是不可观察的,只能依靠理论推导。

笔者思考

笔者经常看到国内的一些媒体,在说道中美之间军事技术和军事装备的时候,过分的强调美国士兵和军队的一些具体问题,同时强调我方军人的顽强作战的精神,最后得出一种结论,我国在某些方向是超过美国的。笔者认为这就是犯了”情景构建演绎误区“的毛病。

诚然,在具体的战役中,士兵的作战精神、战争的环境、指挥官的具体指挥可能起到了很关键的作用。但是局部不能代表全局,从整理逻辑上,决定一个军队战斗力的因素,更多地还是背后国家的经济和军事财政投入,军事科技的研发与应用情况,这就是逻辑演绎的部分。

我们在看问题时,千万不能陷入具体情境之后不能自拔,而应该多挑出来,从整体全局上关注逻辑部分

2)基于演绎做政法演绎假设

在演绎佐证法中,对假设的演绎主要通过理论推导进行。

例如,理论认为”反腐败能否成功,取决于宪法机制、执行机制、民众意识三个层次“。

如果分析员的假设是”A国目前的反腐败运动不可能取得预期效果“,分析员演绎这个假设时不需要了解关于A国政治、经济和社会的所有情况,而是根据上述理论关注”宪法“、”反腐败执法机构“、”民众意识“三个方面。

可见,理论演绎的优点是简洁、高效、深刻,分析员仅需要关注理论指出的变量,而且变量之间的逻辑关系在理论上也是清楚的。不仅如此,理论演绎还可以找到情景构建法无法找到的变量,这些变量隐藏在现象之下,是背后的、潜在的推动力

当然,理论演绎也是自己的致命伤,理论和现实之间总是有距离的,任何一种理论都是片面的、有条件的,应用到实践中总会有各种各样的误差

在应用科学中,理论不是普遍规律,仅仅是”类律“和”理想规则“,因此理论演绎可能会将分析员引向错误变量。

例如,理论认为”一个拥有足够军事实力的独裁政权不会垮台“,分析员根据理论演绎集中精力关注独裁者对军队的控制,忽略独裁者本人的思想变化。

3)基于历史类比分析演绎假设

情景构建法和理论演绎法都各自存在优缺点,那么我们能否将他们糅合起来,创造出一个取长补短的方法呢?是可以的,这就是历史类比法。

所谓类比,就是把目前的现象与历史现象和其他不同类型现象相比较,把相近现象的变量作为假设的变量

类比的前提是分析两件事情的实质,确认两件事件的实质相似,具有可比性。最常见的类比就是历史类比,分析历史上同类事件的变量,作为当前事件的变量

例如,1990年美国攻打伊拉克时先取得制空权,然后才排出地面部队,分析员会根据类比推断,2003年美国攻打伊拉克时还会先进行空中打击。

类比分析介于情景构建法与演绎佐证法之间,

  • 与情景分析相比,类比分析更有规则性,它有明确的分析框架,即与历史事件对比的框架
  • 与理论演绎相比,类比分析又更侧重具体问题具体分析,它以一个或几个历史事件作为参照,并不是一个普遍规律

类比分析的假设是历史上发生的事件,今天还会照旧发生,历史上有效的措施今天仍有效。

类比分析的缺陷是明显的,正如理论和现实之间有差距一样,历史事件和现实事件也不相同。正如没有两条完全相同的河流一样,没有完全相同的两件事,类比总是有风险的。

3、不同假设演绎方法论的融合

情景构建法、演绎佐证法、类比法,在实际应用中并不是界限分明,

  • 情景分析法并不能完全排除理论与历史经验,只不过对理论的应用是零碎的、不明显的
  • 演绎佐证法和类比法更离不开具体事件分析,只要掌握具体事件的本质,才能确定应用什么样的理论和类比对象

三种方法各有自己的优缺点,没有一种方法能推导出假设的充分条件,它们都是对假设的试探性演绎。

4、证据诊断

对假设的演绎完成后,因果关系中的因变量和自变量都明确了,至少在理论上已经知道满足那些前提条件,就会出现什么结果。下一步分析员需要分析因果关系的自变量是否存在,这个阶段的工作可称为”证据诊断“。

证据诊断指一个证据在多大程度上能决定竞争性假设(competing hypothesis),即确定证据的价值。

在情报分析中,如果一个证据几乎支持所有的假设,就基本没有诊断价值(即信息论中的互信息几乎为零)。实际上,分析员遇到的问题往往是证据太多,总是有许多证据支持一个假设,但是真正有价值的证据却极少。

证据诊断完成后,分析员可以根据诊断结果删除一部分证据和假设,以减轻后续工作的复杂程度。

5、检验建设

经过假设和证据调整阶段后,分析员选出的假设就是正式假设,需要逐个验证。

在学术研究中,验证一个假设的方法分为以下两种:

  • 归纳验证:归纳是”证实“,即所有的证据都支持一个假设
  • 演绎验证:演绎是”证伪“,没有被证伪的假设就是正确的

实际上我们看到,检验假设的方法论和建立和演绎假设的方法论上一致的。

情报分析中的检验假设的方法是独特的,既不能完全依赖”证实“方法,也不能完全依赖”证伪“方法。因为情报分析本身的不确定性,一个情报假设既不可能被完全证实,也不可能被完全证伪

绝大部分假设都有支持证据和反对证据,因而只能采取佐证法。一个假设得到的佐证越多,反正越少,它成立的可能性越大,反之

 

6. 定量分析、数学建模在情报分析中的作用

20世纪50年代后期,国际关系理论中出现所谓理论大辩论,即传统研究方法和行为主义的辩论,60年代,行为主义逐渐在国际关系研究中占据主导地位,国际关系学者转向自然科学和较”硬“的社会科学区寻找方法论指导。定量分析就是行为主义浪潮中的代表方法之一。

定量分析是一种比演绎实证方法更接近于自然科学的方法,对情报分析起到了重要推动作用。

0x1:定量分析方法

定量分析就是用数学模型代表或描述一个实际问题。其结果的可靠性取决于两个因素:

  • 数学分析的(mathematical analysis)的准确程度
  • 数学模型与现实问题的相符程度,即数学模型是否代表了实际问题的本质特征

一个量化分析要取得成功,首先是这个数学模型能真实而准确地代表现实问题的因果关系或逻辑关系,其次,这个数学模型自己的逻辑过程需要是正确的。

1、数学模型对现实问题本质描述力的层级

只有适合量化的现实问题,才能将现实逻辑转化为数学模型,才能使用量化分析。

根据适合量化的程度,现实问题可以分为:

  • 可精确量化的问题:例如物理学和纯粹统计学中,数学定理和公式、动力学模型,就属于这一类问题
  • 适合量化的题目:是现实逻辑与数学模型有一定差距的议题,但经过转换可以将现实逻辑转换为数学模型。例如贫富差距与社会不稳定因素之间的相关性
  • 难以量化的题目:这类题目无法用数字描述。例如古巴对美国的厌恶程度如何影响美国对古巴的厌恶程度。涉及感情、心里、非理性方面的变量很难量化

2、现实问题到数学模型的转换

在情报分析中,大部分情报问题含糊而难以准确量化,用定量分析的优势很少,只有极少部分题目可以精确量化,比较适合用量化分析。另外,还有一小部分问题可以”合理量化“,需要经过一定的抽象转换过程后,才能进行量化。

对于这类问题,必须把实际问题(substantial problem)转化为规范问题(formal problem),然后再将规范问题进一步转化为数学问题。规范问题虽然不是数学表达,但更接近于数学表达。

例如,某国的威胁有多大,这是一个实际问题。转化为规范问题是,某国的实力和进攻意图有多大,数学模型未:威胁 = 实力 * 意图。 

技术图片

量化分析方法示意图

0x2:贝叶斯方法 -- 定量分析在情报分析中的一个具体应用

中情局分析员施伟策和兹洛特尼克分贝与1978年和1972年在不同文章中描述贝叶斯理论在情报分析中的应用。

用最简单的方式表述,贝叶斯理论是一个等式:R = PL

  • R是一个假设的最新概率或可能性
  • P是假设原先的概率,也就是在新事实出现前的概率
  • L是对新事实判断后得到的数字,即这件新事实对假设的支持度

技术图片

使用贝叶斯理论判断概率最大的好处就是分析员可以不断对新出现的事实碎片做出判断,分析新事实是否支持假设,支持力度有多大,然后不断调整概率。 

下面我们来详细讨论贝叶斯方法在中情局中的应用。

1、证据量化

贝叶斯方法的第一步是把新出现的证据量化。在中情局,这个量化是由分析员主观决定的,也即所谓的领域专家经验生成特征工程。

2、综合评估所有证据

按照证据的权重,逐个相乘起来。

0x3:情报部在使用量化分析时的特点

情报部使用例如贝叶斯推断这类方法也不是直接照搬,情报部的主要目的是从证据中提取出更多的信息,鼓励分析员考虑更多假设,应用正式的概率评估程序。

其次,不可量化的因素也同样受到重视。传统统计方法要去分析者放弃具体案例的个性,如某国的文化、领导人的个人和成长史、社会结构等。这在情报部门中是被明确放弃的方法,相反,分析员会更注重主观层面的证据和判断,并结合贝叶斯公式,得出更好的结论。

第三,量化分析主要是为了调动分析员的潜能,而不是用数学逻辑取代分析员的思考。情报量化分析的目的不是用所谓的客观数据取代专家主观智慧,而是用严格的方法来突出和进一步利用专家的洞察力和判断。这种谨慎的态度把定量分析在情报中的应用于社会科学中的定量分析区分开来,情报分析仍把注意力放在问题研究上。

笔者思考

在笔者所在的网络安全领域,经常会有所谓的”规则与算法之争“,搞算法研究的学者会秉持着”数据驱动,量化分析,一切规律皆在数据中“的观点,轻视了安全问题研究与安全规则的实践,而另一方面,从事具体安全攻防问题研究的人,也会秉持了”算法无用论,专家工程把该做的都做完了还需要算法做什么?专家经验驱动的特征工程才是重点“之类的观点。

笔者觉得这个问题其实和情报分析面临的问题是类似的,同时情报分析的思路也同样适用于安全数据分析领域:

  • 第一,网络安全是一个充满变化、非线性、非理性的问题领域,这就意味着几乎不可能找到精确的数学模型来描述这个问题,我们能做的只有对大问题进行分解,针对分解后的小问题,尽力地归纳出类律法则
  • 第二,要特别重视安全专家的领域经验,规则、领域经验特征工程,都是非常值得推崇的方法
  • 第三,安全专家也是普通人,人并不擅长对大于5种以上的因素进行综合性判断,这时候机器学习和数学模型就有用武之地了,机器学习和算法的作用在于通过数据驱动和数据挖掘的方式,更好地发挥出专家主观经验的作用。基于专家经验的特征工程,辅之以合适的机器学习模型,也许才是网络安全数据驱动的最佳实践

0x4:量化分析在情报分析中面临的挑战

情报分析处理的变量是多变量(multivariate statements)、不连续变脸(discrete variables)、非直线关系变量(nonlinear variables)、滞后变量(lagged variables)。而学术研究处理的多是双变量(bivariables statements)、连续量变(continuous variables)、直线关系变量(linear variables)、非滞后变量(nonlagged variables)。

显然,情报分析难度更大,量化分析在情报分析中的应用面临重重挑战。

无论是用什么分析方法,都只是一个工具,就像画家手中的画笔,不能说某一个画笔就能画出好的画,能不能画出好的画,关键在于画家,只不过不同的画家可能会选择不同的笔。

不能说定量分析的结论就客观,定量分析同样要依靠大量的主观判断。

Relevant Link:  

《战略情报分析,方法与实践》

 

从战略情报分析方法,看网络安全数据分析的挑战与困境

标签:nbsp   用例   部分   自己的   可靠   整理   地理位置   signal   入侵   

原文地址:https://www.cnblogs.com/LittleHann/p/12630343.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!