Pagkilala sa Paggalaw ng Kamay: 5 Mga Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:11

Pangkalahatang-ideya

Sa proyektong ito, gagawa kami ng isang guwantes na maaaring makilala ang ilang pangunahing mga paggalaw ng kamay, gamit ang isang MicroBit, at ilang mga sensor. Gagamitin namin ang mga kakayahan ng Bluetooth sa MicroBit, kasabay ng isang Android App at isang Web Server upang sanayin ang isang modelo ng pag-aaral ng makina upang makilala ang mga paggalaw ng kamay.

Nagsisimula

Ang karamihan ng pagsisikap na kasangkot sa proyektong ito ay nasa panig ng software, at ang lahat ng kinakailangang code upang patakbuhin ang proyektong ito ay magagamit sa GitHub. Ang code base ay nagsasangkot ng 3 mga bahagi, ang code upang makabuo ng isang HEX file para sa MicroBit, ang Android App codebase na batay sa MicroBit Blue app ng MicroBit Foundation, na may mga pagbabago na ginawa para sa partikular na kaso ng paggamit na ito, at isang web server na may code para sa pagsasanay sa isang modelo na batay sa Tensorflow upang makilala ang mga paggalaw ng kamay.

Makikita natin kung paano bumuo ng guwantes at isabit ito sa susunod na App at Web Server.

Mga gamit

• 1 BBC Microbit
• 1 May-hawak ng Baterya na may 2 AAA na baterya
• 1 Guwantes
• Isang hanay ng mga wire ng jumper, mga clip ng buaya
• Isang flex sensor
• Isang sensor ng puwersa
• Velcro
• Electrical Tape
• Isang Android Telepono
• Isang PC / Laptop

Hakbang 1: Hakbang 1: Pag-set up ng MicroBit at Baterya

• Magsimula sa pamamagitan ng paglakip ng may hawak ng baterya sa isang piraso ng velcro tulad ng ipinakita sa unang imahe. Gumamit ng electrical tape upang mahigpit na ikabit ang may hawak ng baterya sa velcro strap.
• Susunod na gumawa ng isang loop na may electrical tape tulad na ito ay malagkit sa magkabilang panig, at idikit ito sa tuktok ng pack ng baterya.
• Idikit ang MicroBit sa loop ng tape upang mahigpit na ikabit ang MicroBit sa Holder ng Baterya tulad ng ipinakita sa pangalawang imahe.

Hakbang 2: Mga Hook Up Sensor

• Sundin ang diagram ng circuit na ipinakita sa imahe upang ikonekta ang iyong flex sensor sa Pin 1 ng MicroBit, at pilitin ang sensor sa Pin 0 ng MicroBit.
• I-secure ang mga sensor sa Glove gamit ang electrical tape tulad ng ipinakita sa mga imahe.

Hakbang 3: Pagtatapos ng Hardware

• Gamitin ang mga dulo ng mga strap ng velcro upang makabuo ng isang loop at i-slide ang loop sa mga daliri ng guwantes, tulad ng ipinakita sa imahe.
• Maaari mong gamitin ang mga kurbatang kurbata upang ma-secure ang mga wire sa guwantes upang maiwasan ang paglipat ng labis sa kanila.

Sa susunod na seksyon titingnan namin kung paano i-setup ang software.

Hakbang 4: Pag-setup ng Software

Ang pagpapares ng iyong telepono sa iyong MicroBit

1. Upang ipares ang iyong telepono, siguraduhin muna na ang bluetooth ay nasa iyong telepono.
2. Palakasin ang iyong MicroBit, at pindutin nang matagal ang parehong mga pindutan ng A at B. Sa parehong oras pindutin at bitawan ang pindutan ng pag-reset habang hawak pa rin ang mga A at B na pindutan. Dapat pumasok na ngayon ang microbit sa mode ng pagpapares.
3. Sa iyong telepono, hanapin ang iyong MicroBit sa ilalim ng listahan ng mga aparatong bluetooth kung saan karaniwang nagdaragdag ka ng isang bagong aparatong Bluetooth, at magsimulang magpares. Sa iyong MicroBit makikita mo ang isang arrow na tumuturo sa isang pindutan. Kapag pinindot mo ito, magpapakita ang MicroBit ng isang serye ng mga numero na kung saan ay ang Pairing Code na dapat mong ipasok sa iyong telepono. Kapag naipasok mo na ang code sa iyong telepono at pumili ng pares, dapat ipakita ang isang marka ng tseke sa MicroBit.
4. Pindutin ang pindutan ng pag-reset sa iyong MicroBit.

Pagse-set up ng software

Sundin ang mga gabay sa ReadMe sa bawat sub folder sa GitHub Repository upang mai-set up ang proyekto ng Android App sa Android Studio, upang mabuo at mai-flash ang HEX file sa iyong MicroBit, at patakbuhin ang web server para sa pagpapatakbo ng Mga Modelong Pag-aaral ng Machine.

Hakbang 5: Paggamit

Web Server

Magbukas ng isang terminal sa direktoryo ng proyekto ng Web Server at patakbuhin ang `python server.py` upang simulan ang server pagkatapos sundin ang mga tagubilin sa ReadMe upang mai-install ang mga dependency

Android App

1. Bumuo at gumawa ng isang APK para sa Android App mula sa Android Studio. Patakbuhin ang app pagkatapos ipares ang iyong telepono sa MicroBit (tingnan ang nakaraang hakbang).
2. Sa pahina ng accelerometer, maaari mong itakda ang url ng web server gamit ang menu ng mga setting sa kanang sulok sa itaas. Tiyaking binago mo ito sa IP ng iyong Web Server.
3. Maghintay hanggang sa ang mga pagbabasa ng accelerometer ay magsimulang magkaroon ng populasyon mula sa MicroBit. Makikita mo ang pagbabago ng mga pagbasa na may iba't ibang dalas. Upang baguhin ang dalas pindutin ang B sa MicroBit. Mainam na maaari mong gamitin ang isang halaga ng dalas ng 10 (kung aling mga sample na pagbasa bawat 10ms)
4. Kapag naipuno na ang mga pagbasa, pangalanan ang iyong kilos gamit ang Text Box na may label na 'Gesture:', at pindutin ang record button. Kaagad na pinindot mo ang pindutan ng rekord, gawin ang iyong paggalaw ng kamay, paulit-ulit hanggang sa muling paganahin ang pindutan.
5. Ulitin ang hakbang 3 para sa pagrekord ng maraming kilos.
6. Pindutin ang pindutan ng tren upang simulan ang pagsasanay sa modelo sa server. Kapag tapos na ang pagsasanay (mga 15 segundo), maaari kang magpatuloy upang makagawa ng mga hula.
7. Pindutin ang pindutan ng hulaan at gawin ang iyong paggalaw / kilos. Susubukan ng app na itugma ito sa isa sa mga sanay na paggalaw hangga't maaari.