IoT: Kontrolin ang mga HoloLens Gamit ang Iyong Kilay (EMG): 5 Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:12

Ang proyektong ito ay bahagi ng proyekto ng NASA SUITS ng University of Colorado Boulder na ipinakita at nasubukan sa NASA JSC noong Abril 2019. Para sa proyekto sa taong iyon, ako ang nanguna sa proyekto sa pag-unlad ng hardware at ito ang isa sa aking mga naiambag. Magbasa nang higit pa tungkol sa hamon ng NASA SUITS dito.

Sa proyektong ito, nais kong payagan ang sinuman (sa kasong ito EVA Astronauts) na makipag-ugnay sa isang Heads-Up-Display (HUD) na ipinakalat sa Microsoft HoloLens nang hindi ginagamit ang built-in na kilos ng kamay o mga pag-input ng boses. Natugunan ko ang layuning ito mula sa isang pananaw sa kakayahang mai-access, nais kong bumuo ng isang paligid / naisusuot na magpapahintulot sa mga astronaut ng EVA na makipag-ugnay sa kanilang display nang hindi sinasakop ang mga komunikasyon na may kontrol sa lupa, at dahil sa kanilang mataas na presyur na guwantes na paggalaw ay hindi makatuwiran. Habang ito ay isang domain na medyo hindi ako pamilyar, nakikita ko rin ang peripheral na ito na kapaki-pakinabang para sa mga may kapansanan, na pinapayagan silang gamitin ang HoloLens o iba pang mga AR / VR device at talikuran ang mga input ng interfacing na hindi kasama o nakakatakot.

Habang ang listahan ng item para sa proyektong ito ay hindi kasama ang sarili (ang HoloLens ay napakamahal!), Ang peripheral ay maaaring magamit sa ibang AR / VR Devices.

Kung mayroon kang anumang mga katanungan, nais na panatilihin ang aking trabaho, o magtapon lamang ng mga ideya, mangyaring gawin ito sa aking Twitter: @ 4Eyes6Sense.

Mga gamit

Microsoft HoloLens (o ibang AR / VR device)

Particle Photon

MyoWare Muscle Sensor - Ang sensor ng MyoWare ay maaaring mapalitan ng iba pang mga board ng breakout ng EMG. Kung hindi ka sigurado na whar EMG ay, iminumungkahi kong basahin mo ang higit pa tungkol dito

Mga Biomedical Sensor Pad

Pagkakaisa (Libre)

Ilang Karanasan sa Paglikha ng Mga Proyekto sa Pagkakaisa

Kawad

Hakbang 1: Pagkonekta sa MyoWare Sa Particle Photon

Ang pagkonekta ng Particle Photon sa board ng MyoWare ay medyo prangka. Para sa hakbang na ito, kakailanganin mong maghinang ng mga koneksyon sa pagitan ng Particle Photon at ng board ng MyoWare. Tiyaking mayroon kang mga malalakas na koneksyon tulad na ang mga cable ay hindi masira habang suot ang aparato. Upang maiwasan ang mga break, inirerekumenda kong itrintas ang mga kable bago ito ihihinang sa Photon.

- Maghinang ng isang kawad sa "+" port ng MyoWare board, pagkatapos ay maghinang sa kabilang dulo ng cable sa pin na "3v3" ng Photon.

- Maghinang ng isang kawad sa "-" port ng board ng MyoWare, pagkatapos ay maghinang sa kabilang dulo ng cable sa pin na "GND" ng Photon.

- Maghinang ng isang kawad sa "SIG" port ng MyoWare board, pagkatapos ay maghinang sa kabilang dulo ng cable sa pin na "A0" ng Photon.

Hakbang 2: Pag-upload ng Code sa Particle Photon

Gamit ang IDE ng Particle Photon, I-upload ang.ino file. Ilagay ang MyoWare board sa isang pangkat ng kalamnan at suriin ang mga halaga upang matiyak na gumagana ang iyong aparato. Kapag tinitingnan ang code ay mapapansin mo na mayroong isang "threshold" na variable na naitakda, ang variable na ito ay ang minimum na halagang binabasa ng MyoWare mula sa aking kalamnan nang buong taasan ko ang aking kilay. Itinakda ko rin ang variable sa "600" sapagkat pinapayagan akong magkaroon ng normal na pag-uusap habang suot ang MyoWare nang hindi lumilikha ng anumang maling positibo (hindi sinasadyang pag-trigger), baka gusto mong maglaro kasama ang mga halaga hanggang sa makita mo ang nais na threshold para sa iyong mga paggamit.

Hakbang 3: Pagkalagay ng MyoWare

Para sa aming proyekto ng NASA SUITS, pinili kong ilagay ang MyoWare Board sa itaas ng kilay. May inspirasyon akong ilagay doon ang MyoWare matapos kong tingnan ang proyektong "'Sup Brows" na ginawa ng Adafruit. Matapos ang ilang pagsubok, naging malinaw na ang eyebrows ay isang mahusay na lokasyon para sa tukoy na proyekto. Napakagandang lokasyon dahil ang mga sensor ay hindi maaapektuhan ng patuloy na paggalaw ng kalamnan sa pamamagitan ng mga braso, binti, at katawan ng tao na ginagawa ng mga astronaut ng EVA sa mga spacewalk.

Hakbang 4: Pagkonekta sa MyoWare Sa Pagkakaisa

Ngayon na para sa pangwakas na hakbang, ikonekta natin ang MyoWare sa Unity! Kasama sa Instructable na ito ay ang script na kakailanganin mong isama sa iyong proyekto sa Unity. Ngunit una, kakailanganin mong baguhin ang ilang mga bagay sa code. Una, kakailanganin mong idagdag ang plugin ng JSON Object Unity sa iyong proyekto. Susunod, kakailanganin mong idagdag ang iyong sariling aparato id at i-access ang token sa linya 19: particleURI = "https://api.particle.io/v1/devices/[Ilagay ang iyong aparato id] / Susunod? Access_token = [Ipasok ang iyong token sa pag-access] ". Maaari mong makuha ang iyong aparato id mula sa Particle IDE, kasunod sa figure 2, mag-click sa iyong tab na mga aparato (pulang kahon) at tumingin sa ilalim ng pangalan ng iyong aparato upang mahanap ang iyong id (asul na kahon). Susunod, upang mahanap ang iyong pag-click sa token sa pag-access sa tab na mga setting sa IDE.

Hakbang 5: Tapos Na

Matapos matapos ang iyong proyekto sa Unity, magkakaroon ka ng isang EMG na kinokontrol na HoloLens!

Kung mayroon kang anumang mga malalim na katanungan, nais na malaman ang tungkol sa pagpapalaki ng tao, nais na makasabay sa aking gawain, o magtapon lamang ng mga ideya, mangyaring gawin ito sa aking Twitter:

@ 4Eyes6Sense

Kung interesado kang makipagtulungan sa aming koponan para sa hamon sa NASA SUITS ng 2019 - 2020, mangyaring mag-email sa akin sa:

Espesyal na salamat sa modelo sa unang larawan, si Darren, na sumubok din ng disenyo sa NASA. Isa pang salamat sa aking kasosyo sa programa para sa proyekto na AJ, na ginawang posible ito.