一、minitaur 簡介

這是來自賓夕法尼亞大學(xué)的一款機器人，叫 Minitaur，看圖你就明白了。

四足機器人的運動控制通常需要大量的專業(yè)知識，以及突如其來的靈感（調(diào)參）。在之前的文章中，我們就用了很大的一個篇幅來講控制信號的生成以及調(diào)節(jié)（詳情請參考開頭給出的兩篇文章），然而這只是產(chǎn)生四足機器人能夠完成周期性運動的控制信號而已，還有轉(zhuǎn)向控制，各種信號反饋調(diào)節(jié)，例如各種環(huán)境的適應(yīng)性調(diào)節(jié)，或者是最基本的機體的平衡調(diào)節(jié)，等等……所以想要靠傳統(tǒng)的數(shù)學(xué)建模的方法來設(shè)計一個完整的足式機器人運動控制系統(tǒng)是一個非常龐大的工程。

ps：當(dāng)然不排除會有非常簡潔的數(shù)學(xué)模型，畢竟小編也只接觸過幾個方案，也沒有進行過橫向?qū)Ρ?#xff08;因為懶）。

Anyway，我們接下來要用強化學(xué)習(xí)來實現(xiàn)四足機器人的基本運動（僅僅只是開始）。利用簡單的獎勵信號讓機器人從零開始學(xué)習(xí)四足動物的運動，這是一件多么美妙的事情。

這個系列的內(nèi)容基本上會根據(jù)這篇 - 論文 - 來展開敘述，有英文基礎(chǔ)的可以去看一下原文，我的文章會在原理的基礎(chǔ)上加上pybullet仿真的實戰(zhàn)代碼，大家也可以自己裝一下嘗試一下。

二、論文概要

1、摘要

在論文中，研究人員提出了一個利用深度強化學(xué)習(xí)技術(shù)來自動化建立一個機器人控制策略。利用簡單的獎勵信號讓仿真環(huán)境中的minitaur學(xué)習(xí)如何行走以及保持行走過程中的平衡。

論文當(dāng)中還提到，當(dāng)用戶需要對步態(tài)進行更多的控制時，可以提供一個額外的開環(huán)控制信號來指導(dǎo)學(xué)習(xí)過程。控制策略在仿真環(huán)境（bullet）中學(xué)習(xí)，然后部署到真實的機器人上。然而在機器人技術(shù)中，經(jīng)過模擬訓(xùn)練的策略通常不能直接轉(zhuǎn)移到現(xiàn)實世界中執(zhí)行。研究人員通過改進物理模擬器和學(xué)習(xí)魯棒策略來縮小這一現(xiàn)實差距。利用系統(tǒng)辨識技術(shù)，建立了精確的執(zhí)行器模型，設(shè)定仿真的時延。隨機化物理環(huán)境、添加擾動和設(shè)計一個緊湊的觀測空間來學(xué)習(xí)魯棒控制器。最后研究人員用數(shù)據(jù)評估該模型在兩個敏捷運動步態(tài)（小跑和疾馳）的表型。通過仿真學(xué)習(xí)，四足機器人可以在真實世界中成功地完成這兩種步態(tài)。

總結(jié)：

• 一個可以直接從仿真環(huán)境移植到現(xiàn)實中的策略模型
• 策略模型能夠接受用戶提供的控制信號
• 該策略模型通過在特定的仿真模型訓(xùn)練可以實現(xiàn)

pybullet給出的案例效果：

2、硬件結(jié)構(gòu)

機器人平臺是來自Ghost Robotics的Minitaur，這是一個四足機器人，帶有八個直接驅(qū)動執(zhí)行器。每條腿由兩個執(zhí)行器控制，使其在矢狀面上移動。電動機可以通過位置控制或脈沖寬度來驅(qū)動

Minitaur裝備有測量電機角度的電機編碼器和測量基座方向和角速度的IMU。STM32 ARM微控制器向執(zhí)行器發(fā)送命令，接收傳感器讀數(shù)，并可以執(zhí)行簡單的計算。然而，該微控制器不足以執(zhí)行從深度RL中學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)策略。因此，我們安裝了Nvidia Jetson TX2來執(zhí)行神經(jīng)網(wǎng)絡(luò)推斷。TX2通過UART通信與單片機接口。在每一個控制步驟中，傳感器的測量數(shù)據(jù)被收集到微控制器中，并被發(fā)送回TX2，在那里它們被輸入到一個神經(jīng)網(wǎng)絡(luò)策略中，以決定要采取的行動。這些動作隨后被傳輸?shù)轿⒖刂破鞑⒂蓤?zhí)行器執(zhí)行。由于TX2不運行實時操作系統(tǒng)，因此控制回路以大約150-200Hz的可變控制頻率運行。

總結(jié)

以上是生活随笔為你收集整理的【四足机器人】强化学习实现minitaur运动控制（介绍篇）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。