PiTextReader - isang Madaling Gumamit ng Dokumento para sa May Kapansanan na Pangitain: 8 Hakbang (na may Mga Larawan)

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:13

Pangkalahatang-ideya

Update: Maikling demo ng video:

Pinapayagan ng PiTextReader ang isang taong may kapansanan sa paningin na "basahin" ang teksto mula sa mga sobre, titik at iba pang mga item. Nag-snapshot ito ng isang imahe ng item, nagko-convert sa simpleng teksto gamit ang OCR (Optical Character Recognition) at pagkatapos ay nagsasalita ng teksto gamit ang text-to-speech.

Ang Reader ay idinisenyo upang maging ganap na simple upang magamit hangga't maaari. Walang kailangan sa Internet, walang interface ng grapiko, isang pindutan lamang. Ilagay lamang ang item upang mabasa sa stand at pindutin ang isang pindutan. Pagkatapos ng ilang sandali, babasahin muli ang teksto sa kanila.

Dinisenyo ko ito para sa isang nakatatandang magulang na may mga isyu sa paningin sa mata tulad ng macular pagkabulok, ngunit maaaring magamit nang mas malawak para sa sinumang nais na naka-print na teksto na isinalin sa audio speech.

Maraming magagamit na mga mambabasa, karamihan, nagkakahalaga ng libu-libong dolyar o para sa isang tao na matalino sa tech na nangangailangan ng pagkakakonekta sa Internet at paggamit ng isang smart phone. Ang mambabasa na ito ay idinisenyo upang ganap na mag-isa na walang internet at walang interface maliban sa isang malaking pindutan ng push.

Mga kalamangan

• Isang pindutan upang makontrol
• Walang kinakailangang koneksyon sa Internet
• Walang graphic na interface ng gumagamit upang mag-navigate
• Kabuuang gastos na mas mababa sa $ 100
• Palaging handa na upang pumunta

Kahinaan

• Maaaring limitahan ang OCR dahil sa mga font, kulay, laki ng teksto, atbp.
• Ang pagsasalita ay parang Stephen Hawking
• Pinakamahusay na gumagana para sa maliliit na seksyon ng itim na teksto sa puting papel.

Hakbang 1: Hardware

• Raspberry Pi 3 (kailangan ng horsepower!)
• 8GB + micro SD card
• 5v 2A DC power supply para sa Raspberry
• Raspberry Pi Camera (Regular o NoIR)
• 24 "Raspberry Pi Camera cablehttps://www.adafruit.com/product/1731
• Pag-mount ng camera o casehttps://www.adafruit.com/product/3253 orhttps://www.adafruit.com/product/1434
• Tool sa pag-aayos ng lente (upang ituon ang camera)
• Pinapagana ng USB ang mono speaker (maliit na maliit na sukat na ginustong!)
• Malaking pindutan ng Push - Sandali na may LEDhttps://www.adafruit.com/product/1440
• 330 ohm risistor para sa itaas na button na LED
• Kahoy na kahon na 8 "x8" x2 "mula sa Michaels o iba pang malalaking tindahan ng supply ng Art.
• Scrap kahoy para sa pagbuo ng camera stand:
• 8 "Lx1" Wx1 / 2 "T flat strip
• 5 "Lx1" Wx1 / 4 "T flat strip
• 6 "Lx1 / 2" x1 / 2 "square dowel para sa isang gabay sa pagkakalagay
• Mga tornilyo, pandikit, kawad, panghinang atbp.

Hakbang 2: Konstruksiyon ng Hardware

Gamit ang kahon na 8 "x8":

1. Mag-drill hole sa likod para sa power cord.

2. Mag-drill hole sa harap sa kanang sulok para sa panandaliang pindutan3. (Mga) butas ng drill para sa nagsasalita. (tingnan ang audio step 12 sa ibaba)

4. Gumamit ako ng isang piraso ng 2 "x1 / 4" x13 "aluminyo strip para sa pag-mount ng camera, ngunit gumagana rin ang mga piraso ng kahoy.

a. I-mount ang 8 flat wood strip sa likuran ng kahon na LID. (tiyaking nakakabit ito sa LID at hindi sa ilalim ng kahon, kung hindi hindi mo ito mabubuksan!)

b. I-mount ang 5 "flat wood strip sa tuktok ng 8" na patayong may mga turnilyo at pandikit. TANDAAN na ang taas ng camera ay tumutukoy sa laki ng dokumento at sa pokus na kinakailangan. Maaaring gusto mong pumunta sa mas mataas para sa mas malaking mga dokumento sa lugar.

5. Gupitin ang isang 1 "x1 / 16" na hiwa sa tuktok ng kahon malapit sa 8 "patayo para sa camera cable na dumaan sa pamamagitan.

TANDAAN: Para sa electronics, iminumungkahi kong HINDI na permanenteng i-mount ang mga bahagi, upang madali kang makagawa ng mga pagsasaayos.

6. Ikonekta ang camera na 24 camera sa camera. HUWAG KANG kumonekta sa RASPBERRY.

Hakbang 3: Hardware Cont…

7. I-mount ang camera na nakaharap pababa mula sa dulo ng 5 strip ng kahoy. Iminumungkahi kong maghintay bago ilagay ang camera sa case nito upang mas madali mong maitutok ang lens sa sandaling tumakbo!

Para sa paunang pagtuon, gamitin ang tool sa Pagsasaayos at i-on ang lens sa pakaliwa 1/4! lumiko.

8. Patakbuhin ang camera cable pababa sa pamamagitan ng puwang at pagkatapos ay ilakip ito sa Pi. (Siguraduhing NAKA-OFF si Pi!)

9. I-install ang panandaliang pindutan at ikonekta ang mga wire sa pagitan nito at Pi GPIO pin 24 at GND. At ikonekta ang LED button ng sa pamamagitan ng resistor na 220 ohm sa Pi GPIO pin 18 at GND.

10. Patakbuhin ang suplay ng kuryente sa kahon at isaksak sa Pi. Kailangan mong gumamit ng kaluwagan sa pilay tulad ng mainit na natunaw na pandikit o katulad ng isaksak ang butas sa kahon upang hindi makuha ang kable.

Hakbang 4: Pag-install ng Audio Hardware…

11. Para sa audio, gumamit ako ng isang mono speaker na gumamit ng USB power at mini jack audio. Inalis ko ang electronics at speaker mula sa orihinal na plastic case, at isinaksak ang audio plug sa Pi audio jack at USB cable sa Pi USB. Pinalitan ko rin ang orihinal na maliit na nagsasalita ng isang mas malaking 3 isa para sa mas mahusay na kalidad ng tunog.

Dahil na-mount ko ang speaker sa ilalim ng takip ng kahon, nag-drill ako ng maraming maliliit na butas sa hugis ng isang speaker grill.

12. Panghuli, suriin ang mga koneksyon, partikular ang mga camera cable at GPIO na koneksyon.

HUWAG GUMAGAWA NG PI PA. Magpatuloy muna sa pag-setup ng software…

Walang On / Off switch, dahil ipinapalagay na ang Pi ay dapat na tumatakbo sa lahat ng oras kaya handa na itong basahin agad ang isang bagay. Gumagamit lamang ito ng ilang watts at maaaring magpatakbo ng 24/7 nang walang mga isyu.

Posibleng masira ang SD card kung hindi naka-plug o nabigo sa kuryente, ngunit bihira ito. Hindi pa ako nakakaranas ng isang hindi ma-e-boot na SD card. Ngunit huwag mag-plug sa isang power strip na regular na naka-patay / naka-on.

Hakbang 5: Pag-setup at Pag-configure ng System ng Operating

Mag-format ng isang 8GB o mas malaking microSD card na may Raspbian Jessie (o Stretch) Lite (walang GUI para sa proyektong ito).

www.raspberrypi.org/downloads/raspbian/

Kakailanganin mong i-access ang Raspberry nang malayuan sa pamamagitan ng SSH. Sa Windows, maaari mong gamitin ang PUTTY SSH terminal program. Sa Mac, ilabas lamang ang isang window ng command terminal. Bilang kahalili, maaari mong pansamantalang mai-plug ang isang keyboard at monitor ng HDMI upang maitayo lamang ito, ngunit ginagawang mas madali ng SSH na magtrabaho sa paglaon.

Alam mo ba? Kung na-install mo ang Raspbian Jessie sa isang SD card gamit ang isang Windows PC, maaari kang lumikha ng dalawang mga file sa card upang mai-configure ang access sa WiFi at SSH bago mo ito boot sa isang Raspberry?

Para sa mga ito, ipalagay na ang iyong SD card ay kasalukuyang naka-mount bilang K: sa iyong PC:

1) I-install ang pinakabagong imahe ng Raspbian Jessie sa SD. Para sa proyektong ito, dapat na gumana si Jessie Lite.

2) Gamit ang notepad, lumikha ng isang file na tinatawag lamang na "ssh" at gamitin ang I-save Bilang "Lahat ng mga file" sa K: / ssh Ang file ay maaaring maglaman ng anuman. Ito ang filename na mahalaga. Dapat HINDI maging "ssh.txt" !!!

3) Sa notepad, lumikha ng isang file na tinatawag na "wpa_supplicant.conf" na may sumusunod:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

network = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Gamitin ang I-save Bilang "Lahat ng mga file" sa K: / wpa_supplicant.confAgain, huwag hayaan ang Notepad na baguhin ito sa "wpa_supplicant.conf.txt" !!

Kapag na-boot mo ang Raspberry sa unang pagkakataon, hahanapin ni Jessie ang mga ito at kumonekta sa iyong Wifi. Kakailanganin mong tingnan ang iyong Router para sa IP address, bagaman, mula nang awtomatiko nitong naitalaga gamit ang DHCP.

Handa na ngayong i-install sa iyong Pi:

1. Ipasok ang microSD card sa Pi at isaksak ang kuryente ngayon.

2. Upang malayuan mag-log in sa iyong Raspberry Pi, kakailanganin mong hanapin ang IP address nito. Maaari mong subukan:

$ ssh [email protected]

O mula kay Putty, ipasok ang hostname: [email protected]

Kung hindi man, kakailanganin mong makita kung ipapakita ng iyong Router ang mga IP address ng iyong mga lokal na aparato.

Sa sandaling naka-log in bilang pi gumagamit:

3. I-update ang iyong Raspbian OS:

$ sudo apt update

$ sudo apt upgrade

4. I-configure ang Raspberry at paganahin ang camera:

$ sudo raspi-config

a. Palitan ang Password ng Gumagamit

b. Mga Pagpipilian sa Interfacing -> Camera -> Paganahin

c. Tapos na

d. I-reboot

Hakbang 6: Pag-install ng Application Software

Ngayon mag-log back sa iyong Pi at handa ka nang i-install ang application ng PiTextReader.

1. Mag-install ng paunang kinakailangang software: $ sudo apt install git –y

2. I-download ang software:

$ cd / home / pi

$ git clone

$ cd PiTextReader

$ sh install.sh

Maaari mong ligtas na muling pag-install ang install.sh maraming beses, kung kinakailangan.

3. Maglagay ng isang simpleng dokumento upang mabasa at patakbuhin ang programa ng pagsubok na nagtatakda ng lakas ng tunog, nagpe-play ng ilang audio-to-speech audio at kumukuha ng larawan.

$ sh test.sh

Kung nakakuha ka ng anumang mga mensahe ng error, suriin ang Pag-troubleshoot sa ibaba. I-edit ang test.sh program upang ayusin ang dami kung kinakailangan.

4. Ang programa ng pagsubok ay nakakatipid ng larawan sa "test.jpg". Kakailanganin mong kopyahin ang imaheng ito sa isang PC upang makita mo ang pokus at ang larangan ng pagtingin. Ang isang mabilis at maruming paraan upang gawin ito ay upang magsimula ng isang maliit na web server sa iyong Pi at gumamit ng isang browser:

$ python -m SimpleHTTPServer 8080 &

Pagkatapos mag-browse sa https:// {IPaddress}: 8080 /

Mag-click sa test.jpg

Gamitin ang tool sa pag-aayos ng Lens upang ituon ang camera.

Patakbuhin muli ang programa ng test.sh nang madalas hangga't kinakailangan.

TANDAAN: kung kailangan mong ayusin ang mga setting ng raspistill camera, kakailanganin mong i-edit din ang program na pitextreader.py gamit ang mga bagong setting.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo reboot

Ang Pi ay dapat na lumapit at awtomatikong tumakbo, handa na para sa operasyon.

Hakbang 7: Pagpapatakbo

Kapag na-boot mo ang Pi, maririnig mo ang isang "OK Ready" pati na rin makita ang pindutan ng LED light up.

Anumang oras ang LED ay naiilawan, ang yunit ay handa nang umalis.

Maglagay ng ilang naka-print na teksto sa ilalim ng camera, mas mabuti na ilang mga linya lamang ng itim na teksto sa puting papel.

Tandaan na ang camera ay hindi nangangailangan ng maraming ilaw, partikular ang NoIR. Ang ilaw sa paligid ng silid ay mabuti para sa minahan. Ang sobrang ilaw ay nagsasanhi ng hindi pantay na pag-iilaw at binago ang OCR.

Pindutin ang pindutan.

Dapat ilaw ang LED at tunog ng pag-click ng camera pati na rin ang pagsasalita na "OK working" dapat tunog.

Pagkatapos ng ilang segundo, dapat basahin ang teksto. Kung ang teksto ay napangit, font masyadong madilim o masyadong magaan, patagilid o baligtad, kung gayon ang resulta ay magiging gobbly-gook na pagsasalita!

Maaari itong tumagal sa pagitan ng 5-30 segundo upang mai-convert at magsimulang magbasa, kaya maging matiyaga. Ang mas maraming teksto, mas tumatagal.

Kung kailangan mong ihinto ang pagbabasa, maaari mong pindutin ang pindutan habang nagpapatugtog pa rin ang audio (naka-off ang LED.)

Kapag nakumpleto ang pagsasalita, pagkatapos ng ilang segundo, babalik ang LED at maririnig mong muli ang "OK Handa". Handa na itong kumuha ng isa pang pag-scan.

Tandaan na ang distansya ng camera ay nakatakda para sa Raspi camera at para lamang sa isang bahagi ng isang 8x10 na dokumento. Nalaman kong pinakamahusay na basahin ang mga bahagi ng isang dokumento nang sabay-sabay dahil ang mga buong pahina ay maaaring mahirap pakinggan. Marami sa mga bagay na kailangang basahin ay mas maliit na teksto, kaya kung ang camera ay masyadong malayo, hindi ito malulutas.

Upang mag-troubleshoot, suriin sa ibaba, partikular ang seksyon ng SCANNING AND OCR

Kung ang lahat ay maayos, permanenteng i-mount ang lahat ng mga bahagi upang makumpleto ang konstruksyon.

Hakbang 8: Pag-troubleshoot

1. CAMERA

I-verify na ang camera ay pinagana sa pamamagitan ng

$ sudo raspi-config

Mga Pagpipilian sa Interfacing -> Camera

Basahing muli ang ribbon cable dahil ito ay maselan at dapat na eksaktong nakahanay. Kung kinakailangan, i-google ang "pag-troubleshoot ng raspberry pi camera" upang maghanap para sa mga katulad na isyu. I-google din ang mensahe ng error na nakukuha mo kapag nagpapatakbo ng programa ng test.sh.

2. AUDIO

Mayroon ba kayong volume up?

$ sudo amixer -q sset PCM, 0 100%

Patakbuhin ang pagsubok sa audio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Wala pa bang audio? Pilitin ang audio palabasin ang jack:

$ sudo raspi-config Mga Advanced na Pagpipilian -> Audio -> Pilitin ang headphone jack

3. TALAKI

Kung maganda ang tunog ng audio sa itaas, pagkatapos ay subukan:

$ flite -t TEST

Mga mensahe ng error sa Google, kung mayroon man.

Patakbuhin muli ang pag-install.sh

Oo, ang pagsasalita ay parang katulad ni Stephen Hawking.

4. SCANNING AT OCR

Ito ang pinakamalaking lugar ng pag-tune na kinakailangan. Upang gumana nang maayos ang OCR, ang imahe ng camera ay dapat na mahusay na kalidad; ang dokumento ay dapat na maayos na naiilawan, hindi kinakailangan na maliwanag kahit na.

Ang teksto ay dapat na flat at malinaw. Hindi lahat ng mga font ay nababasa.

Upang mapatunayan ang kalidad, suriin ang dalawang mga file:

/tmp/text.txt at /tmp/image.jpg

Maaari mong simulan ang maliit na web server at gumamit ng isang browser:

$ cd / tmp $ python -m SimpleHTTPServer 8080 &

Ang teksto sa imahe ay dapat na payak at nababasa. Ang imahe ay dapat na kanang bahagi, mahusay na kaibahan, sa pagtuon. Maaaring kailanganin mong i-flip ang dokumento sa paligid kung ito ay baligtad. (paalalahanan ang gumagamit na kung makarinig sila ng gobbly-gook, pagkatapos ay subukang i-flip ang dokumento sa paligid.) Kung ang imahe ay may mahinang kaibahan, kakailanganin mong pagbutihin ang pag-iilaw, masyadong marami o masyadong kaunti ay maaaring maging sanhi ng mga problema. Ang hindi pantay na ilaw ay magdudulot din sa pagkabigo ng mga bahagi ng teksto. Maaari kang makahanap ng higit pang tulong sa pamamagitan ng pag-google ng “tesseract-ocr help”

5. HDMI MONITOR / KEYBOARD

Oo, maaari kang mag-plug ng isang keyboard at subaybayan sa Pi, esp. kung hindi mo mahanap ang IP address o hindi ma-access sa pamamagitan ng SSH. Walang interface ng GUI at maaari nitong i-off ang tunog maliban kung ang iyong monitor ay may speaker.

6. INTERNET / WIFI

Kung hindi gumagana ang WIFI, maaari mo lamang pansamantalang kumonekta sa isang Ethernet cable at gamitin iyon.

Hindi kailangan ng proyektong ito ang Internet o WiFi sa sandaling nakumpleto mo ang pag-install at pag-setup.