
名称:视觉人形机器人
可实现实验项目:
(1)手机遥控:TonyPi Pro Kit人形机器人支持APP遥控,不仅可以实现机体遥控,还可以看到机器人的第一视觉画面。除此之外,我们还可以通过APP,来快速切换到其他智能玩法模式,如自动踢球、视觉识别、颜色追踪、人脸识别等。
(2)自主踢球:TonyPi Pro Kit可以通过OpenCV进行图像处理,获得小球位置,然后通过PID算法对小球进行实时跟踪。它可以根据小球距离、位置的不同,进行步态的自主切换,完成自动踢球。
(3)颜色识别:TonyPi Pro Kit利用OpenCV将图像转换成LAB颜色空间,然后进行腐蚀、膨胀、二值化等操作,获得所识别的颜色,TonyPi Pro Kit识别到红色会点头,识别到绿色和蓝色则会摇头。
(4)视觉巡线:TonyPi Pro Kit可以通过OpenCV识别黑、白、红三种线条的颜色,然后计算出颜色的位置,根据位置的不同来调整行走姿态,实现智能巡线。
(5)颜色识别:TonyPi Pro Kit通过OpenCV进行图像处理,获得红、绿、蓝三种颜色的位置,然后通过PID算法对目标颜色进行实时跟踪。
(6)人脸识别:TonyPi Pro Kit使用OpenCV来加载训练好的人脸检测模型,当识别到人脸时,TonyPi Pro Kit会做出打招呼等动作。
(7)标签识别:TonyPi Pro Kit可以对AprilTag标签进行识别,根据不同标签做出不同动作。套件中提供了标签卡片,你也可以通过程序自己设置标签及动作。
(8)语音交互:TonyPi Pro Kit结合语音识别模块和语音合成模块,可实现语音控制、语音播报等智能语音交互功能。你可以使用语音控制,让TonyPi Pro Kit搬运指 定颜色的物品。通过我们提供的例程,你也可以自己设计更多语音玩法。
(9)自主搬运:在智能搬运玩法下,TonyPi Pro Kit可以通过视觉识别,判定物品的距离,根据不同距离,进行步态的自主切换,最终将目标物品搬运至指定标签处。它既支持指定颜色搬运,也支持全程自主搬运。
(10)物品追踪:TonyPi Pro Kit可以通过OpenCV进行图像处理,并获取到物品的所在位置,根据获取到的位置信息,对移动的物品进行实时追踪。
(11)手柄控制:通过PS2手柄控制机器人行走、跳舞等动作
(12)物品抓取:通过视觉识别物品,机器人手部自动抓取物品
(13)物品分拣:通过摄像头识别不同物品,完成自主抓取分类的功能
(14)口罩识别:通过摄像头模块识别口罩,完成口罩识别的功能
(15)群体跳舞:多台机器人机体舞蹈。