2021年12月9日，defenseone网站发布评论文章，题为“This Air Force Targeting AI Thought It Had a 90% Success Rate. It Was More Like 25%”，作者是技术编辑帕特里克·塔克。文章认为，正确数据太少可能会导致目标算法偏离。但要尝试告诉算法。
如果五角大楼要依靠算法和人工智能（AI），就必须解决“脆弱的人工智能”问题。一位空军高级官员最近说明了还要走多远的路。
负责情报、监视和侦察的助理副参谋长丹尼尔·辛普森少将表示，在最近的一次测试中，当所有条件都完美时，一个实验性的目标识别程序表现良好，但一个微妙的调整使其性能急剧下降。最初，人工智能是从一个传感器输入数据的，该传感器以倾斜的角度寻找一枚地对地导弹。然后，它从另一个传感器输入数据，该传感器以近垂直角度寻找多枚导弹。结果，"真是令人惊讶：算法表现不佳。它实际上只在大约25%的时间内是准确的。"
这是有时被称为人工智能脆弱性的一个例子，根据研究人员和前海军飞行员米西·卡明斯在2020年的一份报告，"当任何算法都无法概括或适应一组范围较窄的假设之外的条件时，就会发生这种情况"。卡明斯说，当用于训练算法的数据由来自独特有利位置的一种类型的图像或传感器数据过多，而来自其它优势、距离或条件的数据不足时，人工智能模型就会变得脆弱。
在无人驾驶汽车实验等情况下，研究人员可以收集更多的数据用于训练。但在军事环境下，这可能非常困难，因为那里可能有大量相同类型的数据——例如头顶卫星或无人机图像，但很少有其它类型的数据，因为它在战场上还没用过。
例如，与为自动驾驶汽车训练对象识别算法的公司相比，军方在尝试训练某些物体识别任务的算法时面临着另一个障碍：从多个角度和多个条件下获取行人和路灯的图片比获取中国或俄罗斯地对空导弹的图片更容易。
越来越多的研究人员开始依赖所谓的"合成训练数据"，在军事瞄准软件的情况下，这些数据将是从真实数据人工生成的图片或视频，以训练算法如何识别真实的东西。
但辛普森表示，算法的低准确率并不是练习中最令人担忧的部分。虽然算法只有25%的时间是正确的，但他说，"由于确信它在90%的时间内是正确的，所以错在了自信。这不是算法的错。这是因为我们向它提供了错误的训练数据。
辛普森说，这样的结果并不意味着空军应该停止追求利用人工智能进行物体和目标探测。但它确实提醒人们，人工智能在数据欺骗形式的对抗行动面前是多么脆弱。它还表明，人工智能和人类一样，可能会遭受过度自信的困扰。
