GOOGLE启动新项目CATS4ML以更好地识别对象

Google发起了面向机器学习的众包不良测试集(CATS4ML)挑战。它要求挑战者使用创新方法在机器学习模型中查找未知未知物的示例。不久，当这项技术变得更加成熟时，Google的对象识别技术将表现得更好。

CATS4ML将能够在对象识别任务中挑战机器学习的能力。测试集包含许多难以使用算法处理的示例。并且这将发现机器学习具有高度的置信度，但是存在分类错误。CATS4ML的目的是为开发人员提供一个数据集，以探索算法的弱点，同时也使研究人员可以更好地创建基准测试数据集，并使这些数据集更加平衡和多样化。

谷歌提到，机器学习模型的有效性取决于算法以及训练和评估数据。尽管研究人员过去在改善算法和训练数据方面做了很多工作，但是用于专门评估模型的数据和挑战并不普遍。现有的评估数据集太简单，并且识别不容易出现差异。当缺少模棱两可的示例时，无法真正测试机器学习模型的有效性，并且该模型可能存在弱点。

所谓的弱点是由于评估数据集缺少此类示例，因此模型难以准确评估示例分类的情况。有两个缺点。它们分为已知未知数和未知未知数。所谓的已知未知数是指模型无法确定分类正确性的示例。例如，不可能确定照片中的物体是否是猫。这些是未知的未知数。该模型可以肯定答案，但这实际上是分类错误的一个示例。