作战实验与探索性评估论证

概述

作战实验手段通常包含了：实兵，虚拟兵力以及纯构造仿真等手段，也就是通常所说的LVC。然而各类型都有各自的优缺点，实兵实验可信度高，数据准确，但代价大，安全性差，不可能对大规模作战问题进行反复的实兵实验。而虚拟仿真实验，正好相反，代价小，安全性高，可控制性强，而模型与数据的有效性是其不足之处。由于问题的高度复杂性，对于复杂体系采用单一的实验模型往往达到较好的实验目标。复杂体系的作战实验活动的开展应以构造仿真实验以主，辅之实兵以及虚拟作战力量实验，采用综合集成的方式完成相应的实验目标。加强仿真实验与实兵实验的对接是有效提高实验效能与效率的重要手段。 expframe

研究内容

实验方案生成及优化

作战实验方案生成及其优化过程，其实质是作战实验的全面设计过程，是作战实验开展的起点和基础，更是有效完成作战实验分析的前提保证。当前体系化作战实验方案的设计面临着作战问题多样，实验要素众多，要素关联性复杂，方案格式化描述困难等特征。作战实验方案生成与优化研究，主要包括以下三部分研究内容。

面向领域的作战实验方案设计与生成。面向领域的作战实验方案设计阶段偏重于对问题域的分解。通过概念描述和分析工具，建立公共描述模型，采用影响图、因果图、UML等概念描述框架，建立对作战方案所涉及的各类相关要素以及相互关系的统一理解，追踪分析，体系设计。主要活动包括作战方案背景多维分析、研究问题及评价准则确立、实验指标体系设计和实验参量空间分解等过程。
面向仿真的作战实验方案设计与生成。面向仿真的作战实验方案设计阶段偏重于实验方案的细化与实现。通过结构化描述，模板构建，基于xml的数据交换等技术支撑，实现作战实验方案数据的快速部署，计划方案的参数化设计，动态实验方案的自主生成。主要活动包括方案实验空间构建、实验方案计划生成、数据分析规划和数据采集计划设计等过程。
作战实验方案优化。作战实验方案优化主要针对作战实验要素多样，关联复杂等问题，应用分枝定界筛选技术，实验优化抽样技术以及基于实验的因子效应分析等方法，优化实验参量空间的设计。主要活动包括实验优化抽样方法选择，实验效应分析，指标筛选优化等过程。

实验指标构建与评估论证方法研究

实验指标是量化的实验评估准则，为了达成实验目标，无论是寻优，寻需，寻规律还是寻异常实验模式，都必须落实到实验指标的评估分析上。复杂系统观核心的理念是：要整体地看待事物，不应用还原论的观点来看待事物，非线性是普遍存在的，简单的线性综合无法反应事物的本质面目。对于作战体系实验问题，实验指标通常也是多元的，基于实验的评估论证，本质上就是基于实验结果的多指标评估论证。而多指标的评估论证中最核心问题就是如何把多个指标集结成一个综合测度，以便于评估选择与优化。

指标集结的方式通常采用“权”的方式，其中线性（拟线性）加权集结是采用的最多的一种。但这是一种多指标还原分解的问题解决方式，不符合复杂系统的非线性与整体性等特征，另外决策的结果在实际问题中往往不能紧密地贴合决策的需求。因此，我们研究了一种基于实验指标向量空间的实验评估论证方法，该方法采用一种基于需求的非线性“权”综合的方式来实现多指标评估论证。

实验控制技术研究

实验的目标可以概括为以下四类：寻优，寻需，寻规律，寻异常。

寻优实验控制技术，通常包括兵力使用与协同的分析与优化，兵力布势的分析与优化，作战指挥体制分析与优化等。通过作战仿真实验，评估分析仿真实验结果，寻找较优的作战方案。在评估的基础上，实验迭代构建实验指标与实验因子的元模型，然后不断调整优化方向，生成可行，有效与稳健的满意的作战方案。
寻需实验控制技术。许多实际作战体系分析问题，需要通过仿真实验的方式，获取一个达到某一目标的需求空间。通常可以把空间分成三类：策略空间，能力空间，环境空间。有时我们要根据作战目标，从策略空间，能力空间与环境空间中探索出符合相应作战目标的有效集。例如，对于一防空体系，我们往往要从策略空间，能力空间与环境空间中找到能够达到作战目标的有效需求区域。如：防空射击有效策略，关键作战能力的有效取值空间等等。目前，对于复杂问题，仿真实验探索是有效获取需求空间的最主要的方法。寻需问题比上一节论述的寻优问题要复杂得多，寻优只是在实验探索空间找一个优化的点，而寻需则是找到满足一定需求条件的点集，其仿真计算量当然要大得多。对于一般性的寻需问题尚无法像优化问题那样有规范的解决方法，目前对于一般性寻需问题只能采用穷举探索的方式来解决。但是对于一些具有特殊性质的探索问题，可以采用相应的优化探索方式来解决，可以极大的提高探索效率，使得一些较为复杂的寻需问题能够被解决。
寻异常实验控制技术。通过大样本仿真实验推演发现复杂体系作战方案的风险及其原因，例如某次空中打击仿真实验相对于平均情况下，损失特别大，或者打击效果特别差。这些异常结果往往由一些小概率事件所导致（如：干扰机进入阵位时出现时空上的偏差，敌关键节点目标打击效果不好等）。然而，概率小并不代表对作战结果的影响小，在历史上，很多决定战争胜负的关键因素都是一些小概率的异常事件，因此，可以通过大样本的仿真实验，发现小概率异常事件及产生的原因。要有效完成寻异常关键在于良好的实验设计以及高效异常数据挖掘手段，这是一项重要的研究内容。
寻规律实验控制技术。通过实验手段，探索剖析复杂体系的运作的根本规律，获取复杂体系制胜机理，辅助指挥决策人员进行决策论证。

实验数据分析方法研究

作战实验的目的是为了评估论证，而在多数情况下，实验输出的数据并不能直接用于评估论证，必须经过数据分折与挖掘，这样才能有效利用实验结果数据达到实验目标。因此仿真结果分析是实验的一个重要步骤。一般来说，作战仿真的输出结果具有随机性，对于这些随机数据，常常通过一个统计量来刻画系统的特性，如用平均值、区间分布等。不同的统计量，都是建立在大量实验数据的基础上获取的。另外，有时还要通过各自的实验随机输出数据来进行比较选择，选取最优系统方案，或者通过输出数据来寻找规律以启发决策，或通过实验数据来回归预测系统的输出等。这些都是实验数据分析的内容。如何在大量的仿真输出数据的基础上完成数据分析是重要研究内容。

（1）作战实验数据的统计分析方法

估算大样本实验结果的平均值

设$X_i$为第$i$次实验的结果，$N$次实验的均值估计量为 $\overline{X}(N) = \frac {\sum_{i=1}^{n} X_i} {N}$ 很显然，只有$N$趋于无穷大时，估计值才能等于真实平均值，这在实际当中不可能做到。根据中心极限定理，当$N$较大时，下式 $\frac{\frac {\sum_{i=1}^{n} X_i}{N}-E}{\sqrt{\sigma^2 / N }}$ 服从期望为$0$，方差为$1$的正态分布。其中，$X_i$为仿真输出随机序列，并假设为其为独立同分布，$E$为理论上的均值，也是要估计的对象，$\sigma$为理论上的方差，$N$为仿真次数。由于实际当中，我们无法精确知道 $\sigma$ 的值，通常也用统计量来代替。如用 $S^2(N) = \frac{\sum_{i=1}^{N}(X_i-\overline{X}[N])^2}{N-1}$ 来代替 $\sigma^2$，这样 $P(-z_{1-\alpha/2} \le \frac{\overline{X}(N)-E}{\sqrt{S^2(N)/N}} \le z_{1-\alpha/2}) \approx 1-\alpha$

其中，$z_{1-\alpha/2}$ 为标准正态分布的分位数。这样就可以按一定置信度要求的区间近似估计理论均值 $E$。同样，也可以根据所要求的置信区间来推算所需要的仿真次数。

为了减少仿真量，常常运用Bootstrap方法来对输出结果的统计量进行区间估计其中心思想为：假设我们希望估计某一分布$f(R)$（仿真输出的分布）的某一统计量$E$，其采取部分抽样计算统计量，然后放回反复抽样计算的方式来累加分析。

基于实验结果数据进行方案统计对比分析
- 两方案比较的”$t$-对”估计方法与Welch区间估计法：假设多样本实验结果序列为正态分布$iid$，且所要比较的随机序列个数相同，且方差相等。这样可以采取类似上述的$t$分布估计方法，来分析两个序列均值“差值”的分布置信区间。当两个序列个数不等，且方差不等时一般采用Welch区间估计方法。
- 从多个实验方案中选择统计最佳的方案：在实际实验当中，经常遇到从多个实验方案中选择一个最佳的问题。每种方案输出结果都是随机的，对于如何以一定的置信度从多个随机序列结果中找到一个最佳的系统方案，我们采用经典的两阶段方法来解决。
实验结果的回归分析

作战实验的回归分析是基于实验输入数据与实验输出的结果数据，来用一个解析的式子拟合仿真输入与输出之间的关系，并代替仿真模型。这就是仿真输出数据的回归分析问题。我们将采用多项式线性回归分析与克立格回归方法。其中，相对普通低阶多项式回归模型，克立格模型适用于处理较大实验空间的数据，更具有全局性意义。

（2）作战实验数据的OLAP与高维可视化分析方法

OLAP分析是指从多维数据模型中使用多维分析方法，对多维数据进行切片、切块、钻取、旋转等分析动作，通过直观的方式从多个角度、多个侧面、多个层次及多种数据综合程度对多维数据进行分析和比较，使用户以更接近自然的方式分析数据，从而了解数据背后的规律。通过OLAP的切片、钻取、旋转等功能可以探索发掘仿真条件与输出结果的影响关系，能够在仿真计算的原始数据上发现更多的规律。

高维数据的可视化分析方法是一种探索性的数据分析方法，我们将采用平行坐标，雷达图等显示工具实现高维数据的可视化显示。另外，深入研究降维分析技术，在不失真或少失真的条件下，把高维数据压缩映射到低维空间上展示，辅助实验人员进行数据分析。

（3）作战实验数据的数据挖掘方法

数据挖掘相对于OLAP分析具有更高自动化。它其能根据一些指定的规则条件从多维数据表格中主动发现一些显著性较强的规则，以辅助决策人员进行实验数据分析。对于复杂实验体系数据挖掘，我们基于不同的实验模式来选择相应的挖掘方法。

寻优型实验。对于此类实验，我们将采用重点采用深度神经网络与回归模型进行数据挖掘，构建元模型。为后续优化迭代奠定基础。
寻需型实验。根据实验数据，运用分类与支撑向量机方法，获取相应的需求集合，完成寻需型实验。
寻规律型实验。综合运用决策树，神经网络，贝叶斯分析等数据挖掘方法，从大样本实验数据中挖掘规则，模式等有用信息。
寻异常型实验。运用正态分布离群点测试，基于邻近离群点测试以及基于密度与聚类手段的异常数据分析方法发现异常结果，然后运用回溯诊断分析方法找到异常的主要原因。