Kilos sa pagsasalita / Teknolohiya na Nagko-convert ng Guwantes: 5 Mga Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:11

Ang ideya / tulak sa likod ng pagpapatupad ng proyektong ito ay upang matulungan ang mga tao na nahihirapang makipag-usap gamit ang pagsasalita at makipag-usap gamit ang mga kilos ng kamay o mas kilalang American sign language (ASL). Ang proyektong ito ay maaaring maging isang hakbang patungo sa pagbibigay ng mga taong ito ng isang pagkakataon na makipagtulungan sa ibang mga tao, na hindi maunawaan ang sign language, sa isang nakikipagtulungan na kapaligiran. Gayundin, ang proyektong ito ay magbibigay-daan sa kanila upang magbigay ng mga pampublikong talumpati nang hindi ginagamit ang isang tunay na tagasalin ng tao. Bilang isang pagsisimula, sinusubukan ko lamang makita ang ilan sa mga mas madaling kilos tulad ng mga alpabeto A, B, I, atbp at nagtalaga din ng ilang mga galaw sa mga karaniwang salita / pagbati tulad ng 'Hello', 'Good Morning', atbp.

Hakbang 1: Circuit Assembly

Hakbang 2: Mga Detalye ng Proyekto

Kasama sa Proyekto na ito ang isang naisusuot na guwantes na may 4 na mga sensor ng flex na naipit / naka-embed sa guwantes - bawat isa para sa kaunti, gitna, mga hintuturo, at hinlalaki. Ang Flex sensor ay hindi ginamit para sa ring Finger dahil sa mga limitasyon sa pagkakaroon ng Analog Input Pins sa Arduino Uno R3 at sa pangkalahatan dahil sa kakulangan ng independiyenteng kilusan na ipinakita ng daliri sa mga sign language. Ginagamit din ang isang MMA8452Q accelerometer na na-stuck sa likuran ng palad upang masukat ang oryentasyon ng kamay. Ang pag-input mula sa mga sensor na ito ay sinusuri at ginamit upang maunawaan ang kilos. Kapag ang kilos ay nadama, ang kaukulang karakter / mensahe ay nai-save sa isang variable. Ang mga character at mensahe na ito ay patuloy na nag-iisa hanggang sa isang tiyak na kilos na paunang nagagawa na nagsasaad ng pagkumpleto ng pangungusap. Kapag nakita ang espesyal na kilos na iyon, ang nai-save na string ng pangungusap ay ipinadala sa Raspberry Pi sa pamamagitan ng USB cable ni Arduino. Pagkatapos ay ipinapadala ng Raspberry Pi ang natanggap na string sa Amazon Cloud Service na pinangalanang Polly upang i-convert ang pangungusap na natanggap sa format ng teksto sa format ng pagsasalita at pagkatapos ay i-stream ang natanggap na pagsasalita sa Speaker na konektado sa Raspberry Pi sa pamamagitan ng AUX cable.

Ang proyektong ito ay isang Katibayan lamang ng konsepto at may mas mahusay na mga piraso ng kagamitan at pagpaplano at mas mahusay na naka-calibrate upang makita ang maraming iba pang mga kilos at paggalaw ng kamay. Sa kasalukuyan, limitadong pag-andar lamang ang na-program sa proyektong ito tulad ng para sa pangunahing pagtuklas ng kilos at output ng teksto sa pagsasalita.

Hakbang 3: Code

Hakbang 4: Mga Hakbang

1. Ikonekta ang mga flex sensor at accelerometer MMA8452Q sa Arduino ayon sa ibinigay na circuit diagram.

2. Itapon ang program na Final_Project.ino (matatagpuan sa Arduino_code.zip file) sa Arduino.

3. Ikonekta ang Arduino sa Raspberry Pi vis isang USB cable. (Cable type A / B).

4. Palakasin ang Raspberry Pi, kopyahin ang Raspberry_pi_code.zip file sa Raspberry Pi, at i-extract ito. Ikonekta ang nagsasalita sa Raspberry Pi.

5. Kopyahin ka ng mga kredensyal ng AWS account ie aws_access_key_id, aws_secret_access_key at aws_session_token sa ~ /.aws / mga kredensyal na file. Kinakailangan ang hakbang na ito upang makipag-usap sa cloud ng AWS at upang magamit ang mga serbisyo ng AWS.

6. Patakbuhin ang seria_test.py program na matatagpuan sa loob ng nakuha na folder sa hakbang 4.

7. Ngayon gawin ang mga kilos upang bumuo ng isang pangungusap at pagkatapos ay gawin ang mga espesyal na kilos (Panatilihing tuwid ang iyong mga daliri at palad at sa isang linya na nakaharap ang palad mula sa iyo, at pagkatapos ay paikutin ang pulso na binibigyan ito ng isang pababang pagliko na ngayon ang iyong palad nakaharap sa iyo at ang dulo ng iyong mga daliri ay nakaturo pababa patungo sa iyong mga paa.) upang senyasan ang pagkumpleto ng pangungusap.

8. Patuloy na suriin ang terminal para sa kapaki-pakinabang na impormasyon.

9. At pakinggan ang napalitang pagsasalita na na-stream sa nagsasalita.

Hakbang 5: Mga Sanggunian

1.

2.

3.

4.