Previous Next

深度學習與機器人的結合應用

本文在討論改進機器人的全地形適應能力,並利用 FPGA 加速的 BNN 深度學習模型增加探測機器人的自主智慧,以適應未知環境中自主探測任務的需求。文中著重於深度學習與機器人的結合應用,設計在複雜環境下智慧探測、識別的自主探測機器人,利用 PYNQ 實現 BNN 二值神經網路,將物體識別深度模型移植到嵌入式終端應用,並設計了輪腿式複合運動方式,以提高探測機器人的運動能力。

採用地面輪腿式移動形式,高效的輪式運動和靈活的腿式運動相結合,具有較高的地面適應力和越障能力; 利用 PYNQ FPGA 加速的 BNN 二值神經網路模型,實現機器學習物體識別模型,增加未知環境探測器的智慧程度,更可自行進行數據訓練,達到特殊場合的應用,讓探測器更加智慧化。

本設計由以下幾個系統組成:底盤底層控制系統、遠程監控系統、機器學習物體識別系統,各系統相互整合在整個機器人系統中,系統硬體系統中應用了 PYNQ與電腦,搭配攝影鏡頭頭、電機驅動板等零件,實現完整的機器人系統功能。

複雜環境下的複合運動方式設計完成後,利用 3D 列印設計輪腿式結構,底盤的運動方案採用的是 Ackerman 轉向結構,由前後貫通橋提供四驅動力,利用前橋轉向舵進行轉向控制。 自主智慧識別部分使用 FINN 框架,利用 FPGA 實現 BNN 物體識別模型,能夠識別普通物體,還可以自行訓練網路。 目前系統已完成基本功能,還在繼續優化設計中。
(本文為 2017 DDC 中國區選拔賽參賽作品)


基于BNN深度学习的复杂环境探测机器人
http://www.digilent.com.cn/project/details/164.html