数字孪生技术在物料处理中的应用

数字孪生技术在物料处理中的应用

本文整理自讲座：大家好，我们来自kineticvision，kineticvision是英伟达的服务交付合作伙伴，我们使用数字孪生技术来解决产品开发和制造挑战，我们将分享一种在边缘部署高精度计算机视觉AI应用程序的创新方法。这是本次讲座的大纲。

让我们谈谈零售供应链，它是您用来将产品交付给消费者的过程，它涵盖了从获取原材料、到制造产品，再到将产品交付给购物者手中的方方面面。了解价值链并定义每个流程将在每个步骤中提高效率和推动价值，今天的零售商正在投资数十亿美元来优化这一流程，首先确定关键差距和问题，然后应用技术来实现最佳结果。

成功的供应链流程中一些最重要的参数是质量、准确性、安全性和吞吐量，通过改进技术和自动化可以对这些领域产生重大影响。让我们缩小视野，看看收货和发货的过程。零售和物料处理面临的主要挑战之一是选择错误的货物托盘和错误的标签，这会导致错误的产品分类。这将导致物料处理过程中出现重大问题，并在整个过程中产生负面影响，在大多数情况下会导致客户满意度下降，因此零售商需要一种高效的方法来标记产品，并高效地检测和分类产品以解决这个问题。

总而言之，从物料搬运的角度来看，这里有一些问题，拣错托盘或产品，拣选损坏的包裹，这是配送中心内非常常见的问题，在处理大量sku时，分拣过程可能非常缓慢导致配送和履行中心效率低下。空间和不动产优化不佳以及与自动化相关的拥有成本和部署自动化分拣技术，在本演示文稿的背景下，我们将专注于视频分析解决方案。

既然我们对我们正在解决的问题有了一个想法，我想谈谈智能视频分析，在80年代后期，公司开始安装闭路电视摄像头来监控人们在他们的建筑物中的行为。对于零售店老板和其他物业经理来说，数据量很大，让人们不断观察和分析安全录像既不现实又低效，于是解决方案来自软件工程师和数据分析师，他们开发了我们所说的智能视频分析。视频分析可以自动分析视频片段，检测和确定空间和时间事件的类型。利用人工智能，物业经理能够以比以往更高的效率精度监控和分析他们的监控片段。

使用IVA，公司可以确定特定客户如何浏览商店，以及他们需要花费多长时间。这类信息非常重要，因为您可以非常具体并确定商品和标志是否促使人们更快地移动，并在特定区域留住他们。您还可以首先识别特定模式来确定是否需要移动货架，使某些区域更易于被找到。然后通过分析这些模式和行为，零售商可以确定需要采取哪些行动，以降低成本和增加收入，这些信息对公司财务规划员工评估、营销工作和整体业务绩效至关重要。

我们可以将其扩展到整个供应链，特别是配送中心和执行设施，一旦您能够确定仓库的哪些区域产生的流量最多，您就可以努力优化通过仓库的产品配送以减少流量，让体验更高效。通过使用视频分析，您可以将某些产品转移到流量较低的其他区域，以更好地帮助您的员工管理该产品，并降低客户等待时间。产品检测和分类可以带来高效的存储和检索过程以及更好的货架库存对账。在物料搬运过程中，动作识别和活动识别可以帮助零售商和物料搬运公司设定高标准的运营方案，同时也为健康和安全实施积极的解决方案。

这是一个需求，包含以下6点要求，按Json格式要求返回结果。1、给下面'...'内的文本生成一个标题，返回结果到json的title对象。2、为该文本生成3个SEO关键词，返回结果到json的keywords对象。3、生成200字以内的摘要，返回到json的description对象。4、以一个专业产品经理与市场的角度全部重写这篇文章，条理清晰，要点明确，字数不少于2000字，返回到json的content对象，content不再包含title，根据content内容生成对应的HTML标签。5、不要输出任何解释。

再加上计算能力，GPU技术今天可以让我们对材料处理过程的每一步进行模拟。在传送带产品分拣问题的背景下，我能够模拟不同的照明条件，增加每帧上看到的产品数量，提高传送带的速度，当然是一个强大的解决方案，在让我们转到合成数据生成器，使用合成图像训练深度学习网络进行对象检测是我们这里的主要主题。

为了处理现实世界数据中的可变性，该系统依赖于域随机化技术，其中模拟器的参数，如照明、杆对象、纹理以非现实的方式随机化，以迫使神经网络学习感兴趣对象的基本特征。现在我们有了一个合成数据生成器，用于域随机数据和环境的数字孪生，我们有了开始训练模型的基本构建块。

使用数字孪生比传统方法有很多好处，尽管数字孪生可能不适用于所有情况，但它们是使用物理数据开发系统的成本的十分之一。在数字孪生方法中，训练数据人工智能模型测试和优化都在数字孪生中完成，训练数据是使用自动化创建的合成数据管道以及新产品和产品变化很容易适应，这导致了一个通用和可扩展的人工智能系统。

我们还有一种方法来反向传播模型损失，以进一步推动合成数据的优化并重新训练和改进模型。通过创建不同的tlt实例来扩展概念，并行运行，基于每个网络的性能，我们只保留高性能网络，合成数据生成器与不同的网络合作，目标是选择最好的，一旦选择网络我们可以测试合成数据和真实数据。

使用这个框架，我们可以快速生成许多数据集并训练许多模型，这使我们能够创建在现实生活中难以或不可能探索的边缘案例和场景，并适当地平衡我们的分类，并避免出现偏差的情况。我们还可以从这些模型中优化我们的数据集以获得最佳模型性能和训练时间，我们可以找到我们最好的性能，并评估和部署这些最终模型。

因此使用数字孪生比传统方法有很多好处，尽管数字孪生可能不适用于所有情况，但它们是使用物理数据开发系统的成本的十分之一。在传统方法中，训练数据和人工智能模型迭代是使用物理系统完成的，在数字孪生方法中，训练数据人工智能模型测试和优化都在数字孪生中完成，训练数据是使用自动化创建的合成数据管道以及新产品和产品变化很容易适应，这导致了一个通用和可扩展的人工智能系统。

我们还希望进行更紧密的云实施，以便满足峰值规模需求，或降低人们评估平台的摩擦，我们还将使用azureml等自动化工具进行数据参数搜索，然后继续优化算法以消除传统上由机器学习工程师执行的数据集和特征工程。我们很想开始与作业调度系统集成，这样我们就可以跨多个GPU和多个节点管理作业，例如lsf或者slurm，我们还想推动持续的数据集优化。