為滿足工廠自動(dòng)化計(jì)算機(jī)視覺應(yīng)用的發(fā)展需求，意法半導(dǎo)體（ST）憑借其深厚的技術(shù)積累和敏銳的市場(chǎng)洞察力，開發(fā)了一套基于STM32N6和STM32MP257的手勢(shì)識(shí)別與控制系統(tǒng)。該系統(tǒng)由三大部分構(gòu)成：手勢(shì)識(shí)別與數(shù)據(jù)采集的感知部分、數(shù)據(jù)轉(zhuǎn)換與處理任務(wù)的PLC部分以及實(shí)現(xiàn)運(yùn)動(dòng)控制與手勢(shì)跟隨的靈巧手部分。

感知部分：手勢(shì)識(shí)別與數(shù)據(jù)采集

感知部分的核心是攝像頭，它像一個(gè)不知疲倦的觀察者，實(shí)時(shí)捕捉手部視頻。而負(fù)責(zé)處理這些視頻的是STM32N6微控制器，它集成了意法半導(dǎo)體強(qiáng)大的Neural-ART加速器神經(jīng)處理單元（NPU），在視覺數(shù)據(jù)處理方面表現(xiàn)出色，確保手勢(shì)識(shí)別的高效與精準(zhǔn)。

手勢(shì)識(shí)別技術(shù)采用了Google提供的MediaPipe Hand Landmarker技術(shù)。這一技術(shù)依賴于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）訓(xùn)練出的兩個(gè)模型：掌部檢測(cè)模型和手部關(guān)鍵點(diǎn)檢測(cè)模型。掌部檢測(cè)模型首先在圖像中準(zhǔn)確定位手部區(qū)域，并裁剪出手掌圖像；隨后，手部關(guān)鍵點(diǎn)檢測(cè)模型在裁剪后的圖像上提取出21個(gè)關(guān)鍵點(diǎn)的xyz坐標(biāo)（z軸代表相對(duì)深度信息）。STM32N6憑借出色的計(jì)算能力，能夠?qū)崿F(xiàn)每秒超過30幀的高識(shí)別速率，真正實(shí)現(xiàn)實(shí)時(shí)處理。通過ST的X-CUBE-AI軟件擴(kuò)展包及完整的AI生態(tài)系統(tǒng)，該模型可以輕松部署到STM32N6平臺(tái)，無需復(fù)雜優(yōu)化即可高效運(yùn)行。最終，STM32N6通過485總線將21個(gè)關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)發(fā)送給PLC，為后續(xù)控制提供精確輸入。

數(shù)據(jù)轉(zhuǎn)換與處理：關(guān)節(jié)角度計(jì)算與控制

數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)由基于STM32MP257的PLC承擔(dān)。STM32MP257是一款專為工業(yè)自動(dòng)化設(shè)計(jì)的高性能工業(yè)級(jí)MPU，采用雙核Cortex-A35處理器和單核Cortex-M33組成的異構(gòu)架構(gòu)，具備強(qiáng)大的計(jì)算和實(shí)時(shí)處理能力。豐富的通信接口、圖形加速、AI加速以及多種安全功能，使其在工業(yè)自動(dòng)化、機(jī)器人控制和智能邊緣計(jì)算等領(lǐng)域大顯身手。

這款PLC的一大亮點(diǎn)是集成了CODESYS軟件平臺(tái)，開發(fā)者可以通過它輕松創(chuàng)建、調(diào)試和部署控制程序，極大縮短開發(fā)周期。在本系統(tǒng)中，PLC借助CODESYS平臺(tái)完成多項(xiàng)關(guān)鍵任務(wù)：

關(guān)節(jié)角度計(jì)算：根據(jù)視覺系統(tǒng)傳來的21個(gè)關(guān)鍵點(diǎn)坐標(biāo)，精確計(jì)算每個(gè)手指三個(gè)關(guān)節(jié)的角度數(shù)據(jù)，并將其轉(zhuǎn)化為機(jī)械手電機(jī)目標(biāo)位置的映射關(guān)系；

數(shù)據(jù)處理與轉(zhuǎn)換：對(duì)關(guān)節(jié)角度數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換、目標(biāo)位置設(shè)定等處理，生成最終的控制幀；

實(shí)時(shí)通信與控制：通過標(biāo)準(zhǔn)CAN協(xié)議，將計(jì)算出的目標(biāo)位置實(shí)時(shí)發(fā)送給機(jī)械手電機(jī)驅(qū)動(dòng)系統(tǒng)，確保運(yùn)動(dòng)精確執(zhí)行。

此外，STM32MP257支持EtherCAT、Modbus TCP/RTU、Ethernet等常用通信協(xié)議和邏輯控制功能，能靈活適應(yīng)不同工業(yè)環(huán)境，連接和控制各種設(shè)備，保障系統(tǒng)在多樣化場(chǎng)景中穩(wěn)定運(yùn)行。其異構(gòu)架構(gòu)也為用戶提供了更多升級(jí)空間。

意法半導(dǎo)體還提供了基于STM32MP135的PLC方案，雖然主頻和網(wǎng)口數(shù)量稍遜一籌，但性價(jià)比較高，適合預(yù)算有限的應(yīng)用場(chǎng)景。

靈巧手部分：運(yùn)動(dòng)控制與手勢(shì)跟隨

本系統(tǒng)選用睿研RY-H1靈巧手進(jìn)行演示，這款機(jī)械手就像一位訓(xùn)練有素的“模仿大師”。它擁有15個(gè)自由度和20個(gè)運(yùn)動(dòng)關(guān)節(jié)，內(nèi)置15個(gè)高速精密空心杯電機(jī)，創(chuàng)新的直線驅(qū)動(dòng)設(shè)計(jì)讓它高度仿生，動(dòng)作協(xié)調(diào)自然，擬人度極高。RY-H1機(jī)械手搭載獨(dú)家專利的力位混合智能控制算法，由STM32G431 MCU實(shí)現(xiàn)高精度、高速控制，能模擬人手完成猜拳、握筆、握雞蛋、摘草莓、遞名片等復(fù)雜動(dòng)作。

RY-H1機(jī)械手通過接收PLC傳來的目標(biāo)位置數(shù)據(jù)進(jìn)行插補(bǔ)控制，與手勢(shì)識(shí)別系統(tǒng)完美協(xié)同，精準(zhǔn)跟隨手勢(shì)運(yùn)動(dòng)。無需觸覺傳感器就能自適應(yīng)各種物體形態(tài)，抓取精準(zhǔn)度令人贊嘆。

應(yīng)用前景廣泛

這套基于STM32N6和STM32MP257的手勢(shì)識(shí)別與控制系統(tǒng)不僅提升了機(jī)器人的視覺能力和工作效率，還推動(dòng)了自動(dòng)化技術(shù)的進(jìn)步。無論是在工業(yè)制造、物流配送還是醫(yī)療護(hù)理領(lǐng)域，這些先進(jìn)的傳感器都能幫助機(jī)器人更好地完成任務(wù)。例如，在工業(yè)環(huán)境中，該系統(tǒng)可以用于自動(dòng)引導(dǎo)車（AGV）的導(dǎo)航系統(tǒng)，提高生產(chǎn)效率；在醫(yī)療領(lǐng)域，它可以用于手術(shù)輔助機(jī)器人，提供高精度的視覺支持。

注：中芯巨能代理銷售意法半導(dǎo)體旗下全系列IC電子元器件，如需STM32N6和STM32MP257產(chǎn)品規(guī)格書、樣片測(cè)試、采購、BOM配單等需求，請(qǐng)加客服微信：13310830171。