2021年8月26日，兰德公司网站发布报告，题为《evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis》，作者是丹尼尔·伊什、贾里德·埃廷格和克里斯托弗·费里斯。报告要点如下：
研究的问题
（1）人工智能（AI）系统的效能衡量指标与情报分析的有效性有何关联？
（2）在真实系统的开发以及可能尚未开发的假设系统中，如何反映人工智能对情报流程的支持？
（3）研究人员如何为情报流程建模以确定人工智能系统在该流程中对其产生的影响？
（4）哪些指标可以表征人工智能系统的效能？
美国军方和情报界对开发和部署人工智能系统以支持情报分析表现出兴趣，这既是利用新技术的机会，也是解决不断激增的数据过剩的解决方案。然而，在国家安全环境中部署人工智能系统需要能够衡量这些系统在其任务环境中的效能。
为了解决这个问题，作者首先介绍了人工智能系统在支持情报方面可以发挥的几类作用（即自动分析、收集支持、评估支持和信息优先排序），并定性分析了对各类人工智能系统表现产生影响的驱动因素。
然后，作者单独挑出信息优先排序系统，该系统可将情报分析师的注意力引导到有用的信息上，并允许他们忽略对其无用的信息，以进行定量分析。作者开发了一个简单的数学模型来捕捉此类系统的一些错误后果，从而表明其效能不仅取决于系统的属性，还取决于系统的使用方式。通过这个演练，作者展示了人工智能系统的计算影响以及可以预测表征人工智能系统效能的指标，这些指标可以帮助决策者了解人工智能对情报任务的实际价值。
主要发现
（1）使用与实际优先级不匹配的指标会模糊系统表现并阻碍最佳系统的知情选择
• 应在系统构建之前选定测度指标，并以试图估计部署人工智能系统的实际影响为导向。
（2）效能以及衡量它的指标不仅取决于系统属性，还取决于系统的使用方式
• 决策者的一个关键考虑因素，是在用于构建人工智能系统的资源之外专用于支持情报任务的资源量。
建议
• 从建立正确的指标开始。这需要详细了解人工智能系统的使用方式，并选择那些能够成功反映其利用情况的指标。
• 定期重新评估（和重新调整）。由于系统周围的世界在其部署后继续演变，因此必须继续将系统评估作为定期维护的一部分。
• 系统设计人员要有一套完善的指标来衡量人工智能系统的效能，通晓这些指标将有助于在设计新系统或维护现有系统的过程中与专家进行交流。
• 进一步研究评估人工智能系统效能的方法。
