Autonomous Drone With Infrared Camera upang matulungan ang Mga Unang Tumugon: 7 Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:12

Ayon sa ulat ng World Health Organization, taun-taon ang mga natural na sakuna ay pumatay ng halos 90, 000 katao at nakakaapekto sa halos 160 milyong katao sa buong mundo. Kasama sa mga natural na sakuna ang mga lindol, tsunami, pagsabog ng bulkan, pagguho ng lupa, bagyo, pagbaha, wildfires, heat waves at pagkauhaw. Ang oras ay may kakanyahan habang ang pagkakataon na mabuhay ay nagsisimulang bumaba sa bawat minutong lumipas. Ang mga unang tagatugon ay maaaring magkaroon ng problema sa paghahanap ng mga nakaligtas sa mga bahay na nasira at ilagay sa peligro ang kanilang buhay habang hinahanap sila. Ang pagkakaroon ng isang sistema na maaaring matagpuan nang malayuan ang mga tao ay lubos na madaragdagan ang bilis kung saan ang unang mga tagatugon ay maaaring lumikas sa kanila mula sa mga gusali. Matapos magsaliksik ng iba pang mga system, nalaman ko na ang ilang mga kumpanya ay lumikha ng mga robot na nakabatay sa lupa o lumikha ng mga drone na maaaring subaybayan ang mga tao ngunit gumagana lamang sa labas ng mga gusali. Ang kumbinasyon ng mga malalim na kamera kasama ang isang espesyal na infrared camera ay maaaring payagan para sa tumpak na pagsubaybay sa panloob na lugar at pagtuklas ng mga pagbabago sa temperatura na kumakatawan sa sunog, mga tao, at mga hayop. Sa pamamagitan ng pagpapatupad ng mga sensor na may isang pasadyang algorithm sa isang unmanned aerial sasakyan (UAV), posible na magsagawa ng sariling pagsisiyasat sa mga bahay at kilalanin ang lokasyon ng mga tao at hayop upang iligtas sila sa lalong madaling panahon.

Mangyaring iboto ako sa paligsahan sa Optics!

Hakbang 1: Mga Kinakailangan sa Disenyo

Matapos masaliksik ang mga magagamit na teknolohiya, tinalakay ko ang mga posibleng solusyon sa mga eksperto sa paningin sa makina at isang unang tagatugon upang makahanap ng pinakamahusay na pamamaraan upang makita ang mga nakaligtas sa mga mapanganib na lugar. Ang impormasyon sa ibaba ay naglilista ng pinakamahalagang mga kinakailangang tampok at mga elemento ng disenyo para sa system.

• Pagpoproseso ng Paningin - Kailangang magbigay ang system ng isang mabilis na bilis ng pagproseso para sa ipinagpalit na impormasyon sa pagitan ng mga sensor at tugon ng Artipisyal na Intelihente (AI). Halimbawa, kailangang makita ng system ang mga pader at hadlang upang maiwasan ang mga ito habang naghahanap din ng mga taong nasa panganib.
• Awtonomiko - Kailangang gumana ang system nang walang pag-input mula sa isang gumagamit o isang operator. Ang tauhang may minimum na karanasan sa teknolohiya ng UAV ay dapat na makapindot ng isa o ilang mga pindutan upang simulan ng pag-scan ng system nang mag-isa.
• Saklaw - Ang saklaw ay ang distansya sa pagitan ng system at lahat ng iba pang mga bagay sa kalapitan. Dapat makita ng system ang mga pasilyo at pasukan mula sa hindi bababa sa 5 metro ang layo. Ang perpektong minimum na saklaw ay 0.25 m upang ang mga malalapit na bagay ay maaaring napansin. Ang mas malaki ang saklaw ng pagtuklas, mas maikli ang oras ng pagtuklas para sa mga nakaligtas.
• Katumpakan ng Pag-navigate at Pagtuklas - Ang sistema ay dapat na tumpak na makahanap ng lahat ng mga pasukan at hindi pindutin ang anumang mga bagay habang nakikita rin ang biglaang hitsura ng mga bagay. Kailangang mahanap ng system ang pagkakaiba sa pagitan ng mga tao at mga hindi nabubuhay na bagay sa pamamagitan ng iba't ibang mga sensor.
• Tagal ng Pagpapatakbo - Ang sistema ay dapat na tumagal ng 10 minuto o mas mahaba depende sa kung gaano karaming mga silid ang kailangan nito upang i-scan.
• Bilis - Dapat ay ma-scan ang buong gusali nang mas mababa sa 10 minuto.

Hakbang 2: Pagpili ng Kagamitan: Paraan ng Pagkilos

Ang quadcopter ay napili sa isang remote control car dahil bagaman ang quadcopter ay marupok, mas madaling makontrol at baguhin ang taas upang maiwasan ang mga hadlang. Maaaring hawakan ng quadcopter ang lahat ng mga sensor at patatagin ang mga ito upang mas tumpak ang mga ito habang gumagalaw sa iba't ibang mga silid. Ang mga propeller ay gawa sa carbon fiber na kung saan ay lumalaban sa init. Ang mga sensor ay dumidirekta palayo sa mga pader upang maiwasan ang mga aksidente.

• Remote Control Land Vehicle

  • Mga kalamangan - Maaaring kumilos nang mabilis nang hindi bumabagsak at hindi apektado ng temperatura
  • Kahinaan - Ilalagay ng sasakyan ang mga sensor nang mababa sa lupa na sumasakop sa mas kaunting lugar sa bawat oras at maaaring ma-block ng mga hadlang

• Quadcopter

  • Mga kalamangan - Binubuhat ang mga sensor sa hangin upang makakuha ng isang 360 view ng paligid
  • Kahinaan - Kung tumatakbo ito sa isang pader, maaari itong mahulog at hindi makabawi

Hakbang 3: Pagpili ng Kagamitan: Microcontrollers

Ang pangunahing dalawang mga kinakailangan para sa mga microcontroller ay maliit na sukat upang mabawasan ang kargamento sa quadcopter at bilis upang maproseso ang input ng impormasyon nang mabilis. Ang kombinasyon ng Rock64 at DJI Naza ay ang perpektong kumbinasyon ng mga microcontroller dahil ang Rock64 ay may sapat na kapangyarihan sa pagpoproseso upang mabilis na makita ang mga tao at panatilihin ang quadcopter mula sa pagtakbo sa mga pader at hadlang. Maayos itong pinupuri ng DJI Naza sa pamamagitan ng paggawa ng lahat ng pagpapapanatag at kontrol sa motor na hindi magawa ng Rock64. Ang mga microcontrollers ay nakikipag-usap sa pamamagitan ng isang serial port at pinapayagan ang kontrol ng gumagamit kung kinakailangan. Ang Raspberry Pi ay magiging isang mahusay na kahalili ngunit dahil ang Rock64 ay may isang mas mahusay na processor at mas mahusay na pagkakakonekta sa mga sensor na nakalista sa susunod na talahanayan, ang Pi ay hindi napili. Ang Intel Edison at Pixhawk ay hindi napili dahil sa kakulangan ng suporta at pagkakakonekta.

• Raspberry Pi

  • Mga kalamangan - Maaaring makakita ng mga pader at nakapirming mga bagay
  • Kahinaan - Pakikibaka upang makasabay sa data mula sa lahat ng mga sensor upang hindi makita ang mga pasukan nang mabilis. Hindi ma-output ang mga signal ng motor at walang anumang nagpapatatag na mga sensor para sa quadcopter

• Rock64

  • Mga kalamangan - Nagawang makakita ng mga pader at pasukan na may kaunting latency.
  • Kahinaan - Nagagawa ring gabayan ang system sa buong bahay nang hindi tumatakbo sa anumang gamit ang lahat ng mga sensor. Hindi maipadala nang mabilis ang mga signal upang makontrol ang bilis ng motor at walang anumang mga nagpapatatag na sensor para sa quadcopter

• Intel Edison

  • Mga kalamangan - Nagawang makita ang mga pader at pasukan na may ilang pagkahuli
  • Kahinaan - Mas matandang teknolohiya, marami sa mga sensor ang mangangailangan ng mga bagong silid-aklatan na kung saan ay napaka-oras upang lumikha
• DJI Naza
  • Mga kalamangan - May pinagsamang gyroscope, accelerometer, at magnetometer, upang payagan ang quadcopter na maging matatag sa hangin na may mga pagsasaayos ng micro sa bilis ng motor
  • Kahinaan - Hindi magawa ang anumang uri ng pagproseso ng paningin

• Pixhawk

  • Mga kalamangan - Compact at katugma sa mga sensor na ginamit sa proyekto sa pamamagitan ng paggamit ng Pangkalahatang Layunin Input Output (GPIO)
  • Kahinaan - Hindi magawa ang anumang uri ng pagproseso ng paningin

Hakbang 4: Pagpili ng Kagamitan: Mga Sensor

Ang isang kumbinasyon ng maraming mga sensor ay ginagamit upang makuha ang lahat ng impormasyong kinakailangan upang makahanap ng mga tao sa mga mapanganib na lugar. Ang dalawang napiling pangunahing sensor ay kasama ang stereo infrared camera sa tabi ng SOund Navigation And Ranging (SONAR). Pagkatapos ng ilang pagsubok, napagpasyahan kong gamitin ang Realsense D435 camera dahil maliit ito at tumpak na masusubaybayan ang distansya hanggang sa 20 metro ang layo. Tumatakbo ito sa 90 mga frame bawat segundo na nagbibigay-daan sa maraming mga pagsukat na gawin bago gumawa ng desisyon tungkol sa kung saan ang mga bagay at kung aling direksyon ang ituturo sa quadcopter. Ang mga sensor ng Sonar ay inilalagay sa tuktok at ilalim ng system upang payagan ang quadcopter na malaman kung gaano kataas o mababa ang pinapayagan na pumunta bago makipag-ugnay sa isang ibabaw. Mayroon ding isang nakalagay na nakaharap sa harap upang payagan ang system na makita ang mga bagay tulad ng baso na hindi makita ng stereo infrared camera sensor. Ang mga tao at hayop ay napansin gamit ang mga algorithm ng pagkilos at pagkilala ng bagay. Ipapatupad ang FLIR Camera upang matulungan ang stereo infrared camera na subaybayan kung ano ang nabubuhay at kung ano ang hindi upang madagdagan ang kahusayan ng pag-scan sa mga masamang kondisyon.

• Kinect V1

  • Mga kalamangan - Maaaring subaybayan ang mga 3D na bagay nang madali hanggang sa 6 na metro ang layo
  • Kahinaan - Mayroon lamang 1 infrared sensor at masyadong mabigat para sa quadcopter

• Realsense D435

  • Mga kalamangan - Mayroong 2 infrared camera at isang Red, Green, Blue, Lalim (RGB-D) camera para sa mataas na katumpakan na pagtuklas ng 3D object hanggang sa 25 metro ang layo. Ito ay 6 cm ang lapad na nagbibigay-daan para sa madaling magkasya sa quadcopter
  • Kahinaan - Maaaring magpainit at maaaring mangailangan ng isang fan ng paglamig

• LIDAR

  • Mga kalamangan - Beam na maaaring subaybayan ang mga lokasyon hanggang sa 40 metro ang layo sa linya ng paningin nito
  • Kahinaan - Ang init sa kapaligiran ay maaaring makaapekto sa katumpakan ng pagsukat

• Sonar

  • Mga kalamangan - Beam na maaaring subaybayan ang 15 m ang layo ngunit nakakakita ng mga transparent na bagay tulad ng baso at acrylic
  • Kahinaan - Mga puntos lamang sa isang linya ng paningin ngunit maaaring ilipat ng quadcopter upang i-scan ang lugar

• Ultrasonic

  • Mga kalamangan - Mayroong isang saklaw ng hanggang sa 3 m at napaka-mura
  • Kahinaan - Mga puntos lamang sa isang linya ng paningin at maaaring maging wala sa saklaw ng distansya ng pandama nang napakadali
• FLIR Camera
  • Mga kalamangan - Nagawang kumuha ng malalim na mga larawan sa pamamagitan ng usok nang walang pagkagambala at maaaring makita ang mga nabubuhay na tao sa pamamagitan ng mga lagda ng init
  • Kahinaan - Kung may anumang nakakagambala sa mga sensor, ang mga kalkulasyon sa distansya ay maaaring maling kalkulahin

• Sensor ng PIR

  • Mga kalamangan - Nakakita ng pagbabago sa temperatura
  • Kahinaan - Hindi matukoy kung saan ang pagkakaiba ng temperatura

Hakbang 5: Pagpili ng Kagamitan: Software

Ginamit ko ang Realsense SDK sa tabi ng Robot Operating System (ROS) upang lumikha ng isang seamless na pagsasama sa pagitan ng lahat ng mga sensor sa microcontroller. Nagbigay ang SDK ng isang matatag na stream ng point cloud data na perpekto para sa pagsubaybay sa lahat ng mga bagay at mga hangganan ng quadcopter. Tinulungan ako ng ROS na ipadala ang lahat ng data ng sensor sa program na nilikha ko na nagpapatupad ng Artipisyal na Katalinuhan. Ang AI ay binubuo ng mga algorithm ng pagtuklas ng object at mga algorithm ng pagtuklas ng paggalaw na nagpapahintulot sa quadcopter na makahanap ng paggalaw sa kapaligiran nito. Gumagamit ang controller ng Pulse Width Modulation (PWM) upang makontrol ang posisyon ng quadcopter.

• Freenect

  • Mga kalamangan - Mayroong isang mas mababang antas ng pag-access para sa pagkontrol sa lahat
  • Kahinaan - Sinusuportahan lamang ang Kinect V1

• Realsense SDK

  • Mga kalamangan - Madaling makakalikha ng point data ng ulap mula sa stream ng impormasyon mula sa Realsense Camera
  • Kahinaan - Sinusuportahan lamang ang Realsense D435 camera

• FLIR Linux Driver

  • Mga kalamangan - Maaaring makuha ang data stream mula sa FLIR camera
  • Kahinaan - Ang dokumentasyon ay napaka-limitado

• Robot Operating System (ROS)

  • Mga kalamangan - Perpekto ang operating system para sa pag-program ng mga pagpapaandar ng camera
  • Kahinaan - Kailangang mai-install sa isang mabilis na SD card para sa mahusay na koleksyon ng data

Hakbang 6: Pag-unlad ng System

Ang "mga mata" ng aparato ay ang Realsense D435 stereo infrared sensor na isang off-the-shelf sensor na pangunahing ginagamit para sa mga robotic application tulad ng 3D mapping (Larawan 1). Kapag na-install ang sensor na ito sa quadcopter, maaaring gabayan ng infrared camera at payagan ang quadcopter na gumalaw nang autonomiya. Ang data na nabuo ng camera ay tinatawag na isang point cloud na binubuo ng isang serye ng mga puntos sa isang puwang na may impormasyon tungkol sa posisyon ng isang tiyak na bagay sa paningin ng camera. Ang ulap ng puntong ito ay maaaring mai-convert sa isang malalim na mapa na nagpapakita ng mga kulay bilang iba't ibang mga kailaliman (Larawan 2). Ang pula ay mas malayo, habang ang asul ay mas malapit sa metro.

Upang matiyak na ang sistemang ito ay walang tahi, isang operating-open operating system na tinatawag na ROS, na karaniwang ginagamit sa mga robot, ang ginamit. Pinapayagan itong magsagawa ng mababang antas ng kontrol sa aparato, at i-access ang lahat ng mga sensor at mag-ipon ng data na gagamitin ng iba pang mga programa. Makikipag-usap ang ROS sa Realsense SDK na nagbibigay-daan upang i-on at i-off ang iba't ibang mga camera upang subaybayan kung gaano kalayo ang mga bagay mula sa system. Ang link sa pagitan ng pareho ay nagbibigay-daan sa akin upang ma-access ang data stream mula sa camera na lumilikha ng isang point cloud. Matutukoy ng impormasyon ng ulap na punto kung saan ang mga hangganan at bagay ay nasa loob ng 30 metro at isang kawastuhan ng 2cm. Ang iba pang mga sensor tulad ng mga sensor ng SONAR at ang mga naka-embed na sensor sa DJI Naza controller ay nagbibigay-daan para sa isang mas tumpak na pagpoposisyon ng quadcopter. Gumagamit ang aking software ng mga algorithm ng AI upang ma-access ang point cloud at sa pamamagitan ng localization, lumikha ng isang mapa ng buong puwang na pumapalibot sa aparato. Sa sandaling mailunsad ang system at magsimulang mag-scan, maglalakbay ito sa mga pasilyo at makahanap ng mga pasukan sa iba pang mga silid kung saan maaari itong magwalis ng silid na partikular na naghahanap ng mga tao. Inuulit ng system ang prosesong ito hanggang sa ma-scan ang lahat ng mga silid. Sa kasalukuyan, ang quadcopter ay maaaring lumipad ng halos 10 minuto na sapat upang gawin ang isang buong pagwawalis ngunit maaaring mapabuti sa iba't ibang mga kaayusan ng baterya. Makakatanggap ang mga unang tagatugon ng mga notification kapag nakita ang mga tao upang maitutok nila ang kanilang pagsisikap sa mga piling gusali.

Hakbang 7: Pagtalakay at Konklusyon

Matapos ang maraming mga pagsubok, lumikha ako ng isang gumaganang prototype na natupad ang mga kinakailangan na nakalista sa Talahanayan 1. Sa pamamagitan ng paggamit ng Realsense D435 stereo infrared camera na may Realsense SDK, isang malikhaing mapa ng malalim na resolusyon sa harap ng quadcopter ay nilikha. Sa una ay nagkaroon ako ng ilang mga isyu sa infrared camera na hindi nakakakita ng ilang mga bagay tulad ng baso. Sa pamamagitan ng pagdaragdag ng isang sensor ng SONAR, nagapi ko ang problemang ito. Ang kombinasyon ng Rock64 at DJI Naza ay matagumpay dahil ang sistema ay nakapagpatatag ng quadcopter habang nakakakita ng mga bagay at pader sa pamamagitan ng pasadyang nilikha na mga algorithm sa paningin ng computer gamit ang OpenCV. Bagaman ang kasalukuyang sistema ay gumagana at natutupad ang mga kinakailangan, maaari itong makinabang mula sa ilang mga prototype sa hinaharap.

Ang sistemang ito ay maaaring mapabuti sa pamamagitan ng paggamit ng mas mataas na kalidad na mga kamera upang mas tumpak na makita ang mga tao. Ang ilan sa mga mas mahal na FLIR camera ay may kakayahang makita ang mga lagda ng init na maaaring payagan para sa mas tumpak na pagtuklas. Ang sistema ay maaari ding gumana sa iba't ibang mga kapaligiran tulad ng mga silid na maalikabok at puno ng usok. Gamit ang bagong teknolohiya, at fireproofing, ang sistemang ito ay maaaring maipadala sa mga bahay na nasusunog at mabilis na makita kung nasaan ang mga tao upang ang mga unang tumugon ay makuha ang mga nakaligtas mula sa panganib.

Salamat sa pagbabasa! Huwag kalimutan na iboto ako sa patimpalak ng Optics!