ABB是位居全球500强之列的电力和自动化技术领域的领导企业。我们致力于帮助电力、公共事业和工业客户提高业绩，同时降低对环境的影响。

       炎炎夏日眼看就要来了，还有什么比小龙虾更适合夏天的美食吗？话说回来，你有没有想过，有一天，也许机器人能帮你……剥虾？这不是在做美梦，ABB机器人真的能抓虾！不瞎抓，也不抓瞎！绕晕了没？哈哈，快和小编一起来看看！

机器人抓虾？

到底有多难？

       在食品加工领域，机器人对食品的抓取、拣选是实现自动化中的一个常见问题，需要实时、**的图像识别技术，但食品通常形状不规则、特征多变，导致快速、稳定的视觉分析与定位较为困难。

       以食物中常见的虾为例——目前在工厂的自动剥虾生产线上，有一个关键环节未能实现自动化——对于虾身的抓取与**放置，目前仍然完全由人工操作，极大地限制了生产线的速度、精度、稳定性与生产效率，而且工作本身枯燥无味，浪费人力与时间。

       在自动化方案中，核心是视觉系统与机器人的配合动作。视觉系统单元对流水线上移动的虾身进行实时拍摄，同时内置算法识别出目标点位置，并引导机器人进行抓取与放置，从而替代人工操作，实现整条生产线的全自动化。



▲自动化拣选方案示意图

       而在实际应用中，由于虾的形态各异，对人来说十分简单的识别任务，对于传统的图像特征提取算法就变得非常困难。面对形态各异、尺寸不一，纹理颜色等特征也不同的虾，单一的图像处理方法只能准确识别部分样本的关节点，很难达到工业应用的高精度要求，而一个好的解决方案不仅要能满足工业应用的精度要求，还需要将识别失败样本的误差控制在稳定范围内，便于工厂的后续处理。



▲待识别的目标关节点

       人工智能及图像处理领域的科研发展，例如用于图像识别的深度学习算法，为解决这一问题提供了新的思路。但是，深度学习算法在较复杂的图像数据、精度要求较高的识别任务上往往性能不够高，如果直接使用，很难同时满足工业上的实时性要求与通常超过95%的精度要求。



视觉定位难题怎么破？

       ABB的研究人员提出结合深度学习与生物特征识别的目标点定位方法，并在实际数据上进行了模型训练与性能验证。首先将虾的图像进行预处理后输入深度学习模型得到粗定位点，之后对虾的位姿进行归一化并提取轮廓线，基于对搜索域内的轮廓拟合与特征点检测以**定位目标点。


▲基于深度学习与生物特征的目标点识别方法

       通过在虾的实测数据上进行建模与测试，发现深度学习模型较难直接给出**的目标点位置，但可以提供与目标点较接近的粗定位点，从而得到能涵盖目标点的搜索域。之后利用生物特征识别，基于轮廓线提取与拟合，可以在此搜索域内精准地定位目标点。

       实验结果证明了该方法的有效性：在包含1000张实测样本的测试集上，整体方案的识别率达到97.2%，可初步满足实际工业应用的要求。

       深度学习是一种可以自动学习到不同尺度的数据特征的方法。这些特征可以用于模式识别或数据分类等任务。譬如下图，显示了来自深度学习网络各层的特征样例——随着网络深度的增加，各层的特征图呈现了越来越高尺度的图像特征。较深的网络层可以学习到人眼可识别的特征，如一张脸。为了提取到合适的数据特征，深度网络可能需要含有数十个甚至上百个隐含层。


       出现的图像越来越有意义——所示只是深度网络所提取的一小部分特征图，它们展示了如何通过深度学习收集有意义的视觉信息。

       深度学习的本质是深层的人工神经网络（一种机器学习算法）。传统上，由于神经网络算法的缺点、训练数据不足或缺乏计算能力，神经网络只有浅层学习能力。但*近这种情况实现了完全逆转，使更多层网络的训练变得可行。连续的隐含层越多，网络便越深入。因此，称之为“深度学习”。

       在大多数传统的机器学习方法中，原始数据不会被自动处理。通常，其处理过程需要基于大量的行业知识来手动设计某些特征提取方法。

       相反地，深度学习将原始数据作为输入，并自动查找进行模式识别或分类所需的特征。这种自动学习特征的能力使深度学习方法在各种普遍情况下非常有用。
 
       找到适当的神经网络结构和识别决定网络训练性能的参数仍然是一个挑战。此外，理解深度学习模型学习了哪些特征并不容易。另外，与所有机器学习模型一样，深度学习模型也容易受到精心设计的输入的影响，它们可能导致模型产生错误推论。这些主题是当前深度学习研究工作的重点。

       *近，深度学习在执行图像和语音识别等任务方面已取得巨大成功。深度学习的潜在影响不可低估，因为它将影响许多行业，并将为整个社会带来显著变化。



       深度学习增强了图像识别功能，使工业机器人（如图中所示的ABB YuMi）能够执行更复杂的任务。

---