Speaker-Aware Camara System (SPACS): 8 Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:13

Mag-isip ng isang tawag sa kumperensya kung saan maraming speaker ang pumapalibot sa isang camera. Madalas kaming nakakasalubong kung saan ang limitadong anggulo ng view ng isang camera ay madalas na nabibigo na tumingin sa taong nagsasalita. Ang limitasyon sa hardware na ito ay makabuluhang nagpapasama sa karanasan ng gumagamit. Kung ang camera ay maaaring tumingin sa mga aktibong nagsasalita, ang malayuang madla ay mas nakikibahagi sa isang pag-uusap sa panahon ng tawag. Sa proyektong ito, iminumungkahi namin ang isang (prototype) na sistema ng camera na nakakakita at sumusunod sa aktibong nagsasalita sa pamamagitan ng pag-on ng camera patungo sa nagsasalita. Gumagamit ang system ng parehong visual- at audio-based na diskarte. Kapag napansin ang mga mukha mula sa camera, tinutukoy nito ang taong nagsasalita at kinakalkula ang anggulo upang paikutin. Kapag ang mga mukha ay hindi napansin sa kasalukuyang anggulo, hinahanap ng system ang nagsasalita batay sa direksyon ng mga signal ng pagdating ng audio.

Hakbang 1: Mga Kagamitan

Adafruit Feather nRF52840 Express X 1

www.adafruit.com/product/4062

Electret Microphone Amplifier - MAX4466 X 2

www.adafruit.com/product/1063

Micro Servo Motor X 1

www.adafruit.com/product/169

Android smartphone X 1

Hakbang 2: Hardware - Pag-print sa 3D

Para sa mabilis na pagpapatupad, nagpasya kaming 3D-print ang mga enclosure na kailangan namin. Mayroong dalawang pangunahing mga bahagi para sa mga enclosure; isang paikutan at isang stand ng smartphone. Ginamit namin ang paikutan mula sa link na ito (https://www.thingiverse.com/thing:141287), kung saan nagbibigay ito ng kaso ng Arduino sa ibaba at isang umiikot na talahanayan na maaaring konektado sa isang motor na servo. Gumamit kami ng isang stand ng smartphone mula sa link na ito (https://www.thingiverse.com/thing:2673050), na kung saan ay natitiklop at naaayos na anggulo na pinapayagan kaming i-calibrate ang anggulo nang madali. Ipinapakita ng figure sa ibaba ang mga naka-print na bahagi ng 3D na pinagsama-sama.

Hakbang 3: Hardware - Mga Elektronikong Bahagi

Mayroong apat na mga wired na bahagi; Adafruit Feather, dalawang mikropono, at isang motor. Para sa compact na pakete, nag-solder kami (mga kulay-abo na bilog) ang mga wire nang hindi gumagamit ng isang pisara. Inilalarawan sa ibaba ang circuit diagram at ang aktwal na artifact.

Hakbang 4: Software

Pangunahing ginagamit ng aming system ang visual na impormasyon mula sa pagkilala sa mukha upang sundin ang nagsasalita dahil ito ay mas tumpak. Upang makakuha ang Feather ng visual na impormasyon mula sa Android app, ginagamit namin ang Bluetooth Low Energy bilang pangunahing paraan ng komunikasyon.

Kapag nakita ang anumang mukha, kinakalkula ng app ang anggulo na kailangang paikutin ng motor upang maituon ang speaker sa gitna ng frame. Nabulok namin ang mga posibleng sitwasyon at pinangasiwaan tulad ng sumusunod:

1. Kung ang (mga) mukha ay napansin at nagsasalita, kinakalkula nito ang midpoint ng mga nagsasalita at ibinabalik ang kamag-anak na anggulo sa Feather.
2. Kung ang (mga) mukha ay napansin at ngunit wala sa kanila ang nagsasalita, kinakalkula din nito ang midpoint ng mga mukha at ibabalik ang anggulo nang naaayon.
3. Kung ang anumang mukha ay hindi napansin, binabago ng system ang lohika na sumusubaybay sa speaker mula sa visual patungo sa audio.

Ang software ng SPACS ay matatagpuan sa

Hakbang 5: Software - Tunog

Tunog (YH)

Upang hanapin ang mapagkukunan ng papasok na tunog, sinubukan muna naming gamitin ang pagkakaiba ng oras sa pagitan ng dalawang mikropono. Ngunit hindi ito tumpak tulad ng inaasahan namin mula noong sampling rate (~ 900Hz) ng Arduino Leopard, kung saan sinubukan namin ang mga signal ng tunog, ay mabagal na hindi nito makukuha ang pagkakaiba sa oras sa pagitan ng 10cm-apart microphones.

Binago namin ang plano na gamitin ang pagkakaiba ng intensity sa pagitan ng dalawang input signal ng tunog. Bilang isang resulta, ang balahibo ay tumatagal ng dalawang mga signal ng tunog at iproseso ang mga ito upang makita kung saan nagmula ang tunog. Ang pagproseso ay maaaring mailarawan sa pamamagitan ng mga sumusunod na hakbang:

1. Kunin ang mga input mula sa dalawang mikropono at ibawas ang offset upang makuha ang mga amplitude ng mga signal.
2. Iipon ang ganap na mga halaga ng mga amplitude bawat MIC para sa 500 na pickup.
3. I-save ang pagkakaiba ng naipon na mga halaga sa pila na mayroong 5 mga puwang.
4. Ibalik ang kabuuan ng mga pila bilang huling halaga ng pagkakaiba.
5. Ihambing ang pangwakas na halaga sa mga threshold upang magpasya kung saan nagmula ang tunog.

Natagpuan namin ang threshold sa pamamagitan ng paglalagay ng huling halaga sa iba't ibang mga pangyayari kabilang ang tunog na nagmumula sa kaliwa at kanan. Sa tuktok ng mga threshold para sa pangwakas na halaga, nagtakda din kami ng isa pang threshold para sa ibig sabihin ng naipon na mga amplitude sa hakbang 2 upang ma-filter ang mga ingay.

Hakbang 6: Software - Detalye ng Mukha at Pagsasalita

Para sa pagkilala sa mukha, ginamit namin ang ML Kit para sa Firebase na inilabas ng Google (https://firebase.google.com/docs/ml-kit). Nagbibigay ang ML Kit ng API sa pagtuklas ng mukha na nagbabalik sa nagbubuklod na kahon ng bawat mukha at mga landmark nito, kabilang ang mga mata, isang ilong, tainga, pisngi, at iba't ibang mga punto sa isang bibig. Kapag nakita ang mga mukha, sinusubaybayan ng app ang paggalaw ng bibig upang matukoy kung nagsasalita ang tao. Gumagamit kami ng isang simpleng diskarte na batay sa threshold na magbubunga ng maaasahang pagganap. Pinakinabangan namin ang katotohanang ang paggalaw ng bibig ay lumalaki sa parehong pahalang at patayo kapag ang isang tao ay nagsasalita. Kinakalkula namin ang patayo at pahalang na distansya ng bibig at kinukuwenta ang karaniwang paglihis para sa bawat distansya. Ang distansya ay na-normalize sa laki ng mukha. Ang mas malaking pamantayang paglihis ay nagpapahiwatig ng pagsasalita. Ang pamamaraang ito ay may limitasyon na ang bawat aktibidad ay nagsasangkot ng paggalaw ng bibig, kasama na ang pagkain, pag-inom, o paghikab, ay makikilala bilang pagsasalita. Ngunit, mayroon itong mababang maling maling rate.

Hakbang 7: Software - Rotating Motor

Ang pag-ikot ng motor ay hindi prangka tulad ng inaasahan namin dahil sa kontrol ng bilis ng pag-ikot. Upang makontrol ang bilis, idineklara namin ang isang pandaigdigang variable ng counter tulad na nagpapahintulot sa motor na lumiko lamang kapag naabot ng variable ang isang tiyak na halaga. Nagdeklara din kami ng isa pang variable ng mundo na nagpapahiwatig kung ang motor ay gumagalaw upang ipaalam sa mga mikropono upang maiwasan nito ang tunog na nagmumula sa pag-ikot ng motor.

Hakbang 8: Mga Pagpapabuti sa Hinaharap

Ang isa sa mga limitasyon ay ang motor na nagiging wobble sa ilang mga anggulo. Tila ang motor ay hindi sapat na malakas upang mapagtagumpayan ang metalikang kuwintas na nabuo sa pamamagitan ng pag-ikot ng smartphone. Maaari itong malutas sa pamamagitan ng paggamit ng isang mas malakas na motor o pag-aayos ng posisyon ng smartphone patungo sa gitna ng pag-ikot upang mabawasan ang metalikang kuwintas.

Ang Audio na nakabatay sa pagtuklas ng direksyon ng tunog ay maaaring mapabuti sa isang mas sopistikadong pamamaraan. Nais naming subukan ang isang acoustic beamforming na diskarte upang matukoy ang direksyon ng papasok na tunog. Sinubukan namin sa oras ng pagdating ng mga audio signal. Ngunit, ang rate ng sampling ng Feather ay limitado upang makita ang pagkakaiba ng oras kapag ang mga mikropono ay nasa 10cm lamang ang layo.

Ang huling nawawalang piraso ng prototype na ito ay ang pagsusuri sa kakayahang magamit. Isang promising paraan upang suriin ang pagsasama ng system sa mayroon nang platform ng video call at pagmasdan ang mga tugon ng mga gumagamit. Ang mga tugon na iyon ay makakatulong upang mapabuti ang system at gawin ang susunod na pag-ulit ng prototype na ito.