这个机器人能像 BB8 一样跟着你到处跑,有TensorFlow一份功劳


PingWest昨天玩我想分享

它不仅可以平衡汽车,还可以像《星球大战》BB8一样自动跟随“主”。 “Lomix”是一种非典型的消费者机器人产品。

(《星球大战》中的BB8)

陆梦的形状是平衡车和机器人的“大脑”。当大多数消费级机器人只能在室内充当故事机时,陆萌已经可以在户外跑步并自动跟随用户。

这款机器人来自Segway机器人,这是由Segway-Nanbo Group于2015年创立的机器人业务。通过将平衡车,计算机视觉技术和机器人相结合,Segway创造了一种“替代”消费者机器人产品。

自主跟进是这种“替代”机器人最具吸引力的特征。 Lu Meng机器人基于多个摄像头,计算机视觉和英特尔的RealSense模块,可以快速识别用户功能,姿势和地理位置,跟踪用户前进,并在后续过程中自动避开障碍物。

在自主实现此功能的过程中,Segway Robotics Group依靠流行的深度学习开源框架TensorFlow。

“跟我来”本质上是一个视频目标检测和跟踪问题。传统的方法是基于相关滤波。“赛格威机器人高级算法工程师薛舟对PingWest说。瑞士联邦理工学院(洛桑)毕业的薛舟,于2018年4月加入赛格威,主要负责用于相机相关算法,例如路上的视觉传感器(鱼眼摄像机,RGB摄像机和深度摄像机)。

(陆梦的视觉传感器)

相关滤波器跟踪算法的实现路径是建立相关滤波器以最大化与目标的相关响应。 “我们将选择要跟踪的图像块,并在一系列操作(如特征提取,变换和相关滤波器乘法)后输出最大响应。响应的最大位置是该帧中跟踪目标的位置。“薛周解释道。

这种方法的优点是速度快,但很容易受到环境和目标变化的影响。 “光线变化更明显,目标再次被遮挡,背景和跟踪前景有更多类似的地方等,这将导致此方法失败。”

为了提高目标跟踪的稳定性和鲁棒性,薛舟的Segway视觉组思想是一种深度学习方法。

通常,大多数团队开始引入深度学习方法,借用深度学习框架来降低开发成本并专注于业务问题,而无需过多关注底层技术。

在几个现有的深度学习框架中,Segway Vision Group选择了TensorFlow。薛舟说:“一般来说,TensorFlow最适合我们的需求。例如,当你在早期阶段进行原型设计时,效率会高于其他框架。而且,TensorFlow有一个Lite版本,这在部署“。

基于TensorFlow深度学习框架,Segway Vision Group使用“Detect to Track”方法来补偿缺乏相关性过滤。

“我们首先进行目标(人体)检测,然后进行目标跟踪,并运行多个线程,每隔几帧就会进行目标检测和特征提取。采用新方法后,陆萌可以在第一次检索跟踪目标在转身的情况下,时间和背景的光照,遮挡和混乱都有很大的变化。薛舟告诉PingWest玩。

在深度学习的实现路径中,有几个关键点,如目标检测和特征提取,需要深度学习才能实现。 “TensorFlow在这些方面帮助很大,”薛说。

在使用TensorFlow培训深入学习模型后,Segway Robot Vision Group仍然需要解决部署问题。陆萌作为一个移动机器人,将面临许多不确定因素,如缺乏网络和电力不足。

“我们的许多应用场景都在移动端,TensorFlow Lite非常符合我们的需求。”薛解释道。 TensorFlow Lite是Google于2017年11月针对移动终端和物联网推出的轻量级深度学习框架。移动终端具有轻量化,低延迟,低功耗,支持硬件加速等优点,已被许多团队应用于移动终端部署。

像BB8一样,充满未来感的陆萌并不是实验室中的高成本原型,而是消费者可以买到的产品。 2018年9月,陆萌以9988元的价格在北京东部销售。

陆萌在大规模生产和销售方面的成功不仅是对市场消费机器人的探索,也是机器学习商业化的有益尝试。机器学习一直不仅仅是象牙塔纸。借助TensorFlow等开源工具,开发人员和团队在业务中采用机器学习的门槛大大降低。

在实际业务应用中,机器学习如何帮助公司发展是当前人工智能行业最重要的话题之一。

2019年世界人工智能会议TensorFlow“智能,无限”主题论坛将于2019年8月30日在上海世博中心举行。将邀请以下重量级演讲者参加论坛,讨论产品级别的机器学习。突破,商业领域的应用,文化和艺术的创新。他们如何看待备用设备,他们对机器学习未来的期望和前景如何?快来见面!

TensorFlow产品团队豪华阵容:

Kemal EI Moujahid TensorFlow全球产品总监 Nicole Pang TensorFlow产品经理

重量级圆桌论坛嘉宾:

胡吉利安徽医科大学医学与信息工程学院计算机基础教研室主任

以上客人将于8月30日与您见面!扫描二维码或点击此处立即注册!

收集报告投诉

它不仅可以平衡汽车,还可以像《星球大战》BB8一样自动跟随“主”。 “Lomix”是一种非典型的消费者机器人产品。

(《星球大战》中的BB8)

陆梦的形状是平衡车和机器人的“大脑”。当大多数消费级机器人只能在室内充当故事机时,陆萌已经可以在户外跑步并自动跟随用户。

这款机器人来自Segway机器人,这是由Segway-Nanbo Group于2015年创立的机器人业务。通过将平衡车,计算机视觉技术和机器人相结合,Segway创造了一种“替代”消费者机器人产品。

自主跟进是这种“替代”机器人最具吸引力的特征。 Lu Meng机器人基于多个摄像头,计算机视觉和英特尔的RealSense模块,可以快速识别用户功能,姿势和地理位置,跟踪用户前进,并在后续过程中自动避开障碍物。

在自主实现此功能的过程中,Segway Robotics Group依靠流行的深度学习开源框架TensorFlow。

“跟我来”本质上是一个视频目标检测和跟踪问题。传统的方法是基于相关滤波。“赛格威机器人高级算法工程师薛舟对PingWest说。瑞士联邦理工学院(洛桑)毕业的薛舟,于2018年4月加入赛格威,主要负责用于相机相关算法,例如路上的视觉传感器(鱼眼摄像机,RGB摄像机和深度摄像机)。

(陆梦的视觉传感器)

相关滤波器跟踪算法的实现路径是建立相关滤波器以最大化与目标的相关响应。 “我们将选择要跟踪的图像块,并在一系列操作(如特征提取,变换和相关滤波器乘法)后输出最大响应。响应的最大位置是该帧中跟踪目标的位置。“薛周解释道。

这种方法的优点是速度快,但很容易受到环境和目标变化的影响。 “光线变化更明显,目标再次被遮挡,背景和跟踪前景有更多类似的地方等,这将导致此方法失败。”

为了提高目标跟踪的稳定性和鲁棒性,薛舟的Segway视觉组思想是一种深度学习方法。

通常,大多数团队开始引入深度学习方法,借用深度学习框架来降低开发成本并专注于业务问题,而无需过多关注底层技术。

在几个现有的深度学习框架中,Segway Vision Group选择了TensorFlow。薛舟说:“一般来说,TensorFlow最适合我们的需求。例如,当你在早期阶段进行原型设计时,效率会高于其他框架。而且,TensorFlow有一个Lite版本,这在部署“。

基于TensorFlow深度学习框架,Segway Vision Group使用“Detect to Track”方法来补偿缺乏相关性过滤。

“我们首先检测目标(人体),然后进行目标跟踪,然后运行多个线程,每隔几帧就会再次进行目标检测和特征提取。采用新方法后,目标转向在行走过程中,当光照变化很大,发生遮挡,前景背景混乱时,陆萌可以在第一时间找回被追踪的目标。“薛周告诉PingWest玩。

在基于深度学习的实现路径中,有几个关键点,如检测目标和提取目标特征,所有这些都需要深度学习才能实现。薛舟说:“TensorFlow在这些链接中提供了很多帮助。”

在使用TensorFlow培训深度学习模型后,Segway Robotics Group还需要解决部署问题。作为一个移动机器人,陆萌面临着许多不确定因素,如网络不足和电力不足。

“我们的许多应用场景都在移动端,TensorFlow Lite可以很好地满足我们的需求。”薛舟解释道。 TensorFlow Lite是一个轻量级的深度学习框架,Google于2017年11月发布,专门针对移动和物联网。它被许多团队用于移动部署,具有重量轻,低延迟,低功耗和支持移动硬件加速的优点。

Lu Meng和BB8一样,在实验室里不是一个昂贵的原型,而是消费者可以购买的产品。 2018年9月,陆萌在京东被售,售价9,988元。

陆梦的成功批量生产和销售,不仅是对市场消费机器人的探索,也是将机器学习商业化的有益尝试。机器学习一直不仅仅是象牙塔中的论文。使用TensorFlow等开源工具,开发人员和团队在业务中采用机器学习的门槛已大大降低。

在实际业务应用中,机器学习如何帮助公司发展是当前人工智能行业最重要的话题之一。

2019年世界人工智能会议TensorFlow“智能,无限”主题论坛将于2019年8月30日在上海世博中心举行。将邀请以下重量级演讲者参加论坛,讨论产品级别的机器学习。突破,商业领域的应用,文化和艺术的创新。他们如何看待备用设备,他们对机器学习未来的期望和前景如何?快来见面!

TensorFlow产品团队豪华阵容:

Kemal EI Moujahid TensorFlow全球产品总监 Nicole Pang TensorFlow产品经理

重量级圆桌论坛嘉宾:

胡吉利安徽医科大学医学与信息工程学院计算机基础教研室主任

以上客人将于8月30日与您见面!扫描二维码或点击此处立即注册!