Spika-Inajua Mfumo wa Camara (SPACS): Hatua 8

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:52

Fikiria simu ya mkutano ambapo spika nyingi huzunguka kamera moja. Mara nyingi tunakutana na kona ndogo ya maoni ya kamera mara nyingi inashindwa kumtazama mtu anayezungumza. Upungufu huu wa vifaa unapunguza sana uzoefu wa mtumiaji. Ikiwa kamera inaweza kutazama spika zinazofanya kazi, hadhira ya mbali itahusika zaidi kwenye mazungumzo wakati wa simu. Katika mradi huu, tunapendekeza mfumo (wa mfano) wa kamera ambao hugundua na kufuata spika inayotumika kwa kugeuza kamera kuelekea spika. Mfumo hutumia njia ya kuona na sauti. Wakati nyuso zinagunduliwa kutoka kwa kamera, huamua mtu anayezungumza na kuhesabu pembe ili kuzunguka. Wakati nyuso hazigunduliki kwa pembe ya sasa, mfumo hutafuta spika kulingana na mwelekeo wa ishara za sauti za kuwasili.

Hatua ya 1: Vifaa

Manyoya ya Adafruit nRF52840 Express X 1

www.adafruit.com/product/4062

Amplifier ya kipaza sauti ya Electret - MAX4466 X 2

www.adafruit.com/product/1063

Micro Servo Motor X 1

www.adafruit.com/product/169

Android smartphone X 1

Hatua ya 2: Vifaa - Uchapishaji wa 3D

Kwa utekelezaji wa haraka, tuliamua kuchapisha 3D viambatanisho tunavyohitaji. Kuna sehemu kuu mbili za vifungo; stuntable na msimamo wa smartphone. Tulitumia turntable kutoka kwa kiunga hiki (https://www.thingiverse.com/thing:141287), ambapo hutoa kesi ya Arduino chini na meza inayozunguka ambayo inaweza kushikamana na servo motor. Tulitumia stendi ya simu mahiri kutoka kwa kiunga hiki (https://www.thingiverse.com/thing 2673050), ambayo inaweza kukunjwa na kurekebishwa kwa pembe ambayo inatuwezesha kurekebisha pembe kwa urahisi. Takwimu hapa chini inaonyesha sehemu zilizochapishwa za 3D zilizokusanyika pamoja.

Hatua ya 3: Vifaa - Vifaa vya Elektroniki

Kuna vifaa vinne vya waya; Manyoya ya Adafruit, maikrofoni mbili, na motor. Kwa ufungaji wa kompakt, tuliuza waya (duru za kijivu) waya bila kutumia ubao wa mkate. Hapa chini inaelezea mchoro wa mzunguko na mabaki halisi.

Hatua ya 4: Programu

Mfumo wetu kimsingi hutumia habari ya kuona kutoka kwa utambuzi wa uso kufuata spika kwani ni sahihi zaidi. Ili Manyoya apate habari ya kuona kutoka kwa programu ya Android, tunatumia Nishati ya chini ya Bluetooth kama njia kuu ya mawasiliano.

Wakati uso wowote unapogunduliwa, programu huhesabu pembe ambayo motor inahitaji kuzunguka ili kulenga spika katikati ya fremu. Tuliamua hali zinazowezekana na tukashughulikia kama yafuatayo:

1. Ikiwa uso umegunduliwa na unazungumza, huhesabu katikati ya spika na kurudisha pembe ya jamaa kwa Manyoya.
2. Ikiwa uso umegunduliwa lakini hakuna hata mmoja anayezungumza, pia huhesabu katikati ya nyuso na kurudisha pembe kulingana.
3. Ikiwa uso wowote haujagunduliwa, mfumo hubadilisha mantiki ya ufuatiliaji wa spika kutoka kwa kuona hadi sauti.

Programu ya SPACS iko kwenye

Hatua ya 5: Programu - Sauti

Sauti (YH)

Ili kupata chanzo cha sauti inayoingia, kwanza tulijaribu kutumia tofauti ya wakati kati ya maikrofoni mbili. Lakini haikuwa sahihi kama vile tulivyotarajia tangu kiwango cha sampuli (~ 900Hz) cha Arduino Chui, ambapo tulijaribu ishara za sauti, zilikuwa polepole kiasi kwamba haiwezi kuchukua tofauti ya wakati kati ya maikrofoni tofauti ya 10cm.

Tulibadilisha mpango wa kutumia tofauti ya nguvu kati ya ishara mbili za sauti. Kama matokeo, manyoya huchukua ishara mbili za sauti na kuzichakata kugundua sauti ilitokea wapi. Usindikaji unaweza kuelezewa na hatua zifuatazo:

1. Chukua pembejeo kutoka kwa maikrofoni mbili na uondoe offset kupata amplitudes ya ishara.
2. Kukusanya maadili kamili ya amplitudes kwa MIC kwa picha 500.
3. Hifadhi tofauti ya maadili yaliyokusanywa kwenye foleni iliyo na nafasi 5.
4. Rudisha jumla ya foleni kama thamani ya mwisho ya tofauti.
5. Linganisha thamani ya mwisho na vizingiti ili kuamua wapi sauti ilitoka.

Tulipata kizingiti kwa kupanga thamani ya mwisho katika hali anuwai ikiwa ni pamoja na sauti inayotoka kushoto na kulia. Juu ya vizingiti vya thamani ya mwisho, pia tunaweka kizingiti kingine kwa maana ya amplitudes iliyokusanywa katika hatua ya 2 kuchuja kelele.

Hatua ya 6: Programu - Kugundua uso na kuzungumza

Kwa utambuzi wa uso, tuliajiri ML Kit ya Firebase iliyotolewa na Google (https://firebase.google.com/docs/ml-kit). ML Kit hutoa API ya kugundua uso ambayo inarudisha kisanduku kinachofungwa cha kila uso na alama zake, pamoja na macho, pua, masikio, mashavu, na vidokezo tofauti kwenye kinywa. Mara nyuso zinapogunduliwa, programu hufuatilia harakati za mdomo ili kubaini ikiwa mtu anaongea. Tunatumia njia rahisi inayotegemea kizingiti ambayo hutoa utendaji wa kuaminika. Tuligundua ukweli kwamba harakati ya mdomo inakuwa kubwa kwa usawa na wima wakati mtu anazungumza. Tunahesabu umbali wa wima na usawa wa kinywa na kuhesabu kupotoka kwa kiwango kwa kila umbali. Umbali umewekwa sawa na saizi ya uso. Kupotoka kwa kiwango kikubwa kunaonyesha kuzungumza. Njia hii ina kikomo kwamba kila shughuli inajumuisha harakati ya mdomo, pamoja na kula, kunywa, au kupiga miayo, inaweza kutambuliwa kama kuzungumza. Lakini, ina kiwango cha chini hasi cha uwongo.

Hatua ya 7: Programu - Mzunguko wa Magari

Mzunguko wa gari haukuwa sawa kama tulivyotarajia kwa sababu ya udhibiti wa kasi ya kuzunguka. Kudhibiti kasi, tunatangaza kutofautisha kwa kaunta kama hiyo ambayo inaruhusu motor kugeuka tu wakati anuwai inafikia thamani fulani. Tulitangaza pia ubadilishaji mwingine wa ulimwengu unaoonyesha ikiwa motor inahamia kuruhusu maikrofoni kujua ili iweze kuzuia sauti inayotokana na mzunguko wa motor.

Hatua ya 8: Maboresho ya Baadaye

Moja ya mapungufu ni kwamba motor inashtuka kwa pembe fulani. Inaonekana kwamba motor haina nguvu ya kutosha kushinda torque inayotokana na kuzungusha smartphone. Inaweza kutatuliwa kwa kutumia motor yenye nguvu zaidi au kurekebisha msimamo wa smartphone kuelekea katikati ya mzunguko ili kupunguza torque.

Ugunduzi wa mwelekeo wa sauti unaotegemea sauti unaweza kuboreshwa na njia ya kisasa zaidi. Tungependa kujaribu njia ya sauti ya sauti ili kujua mwelekeo wa sauti inayoingia. Tumejaribu na wakati wa kuwasili kwa ishara za sauti. Lakini, kiwango cha sampuli ya Manyoya ni mdogo kugundua utofauti wa wakati wakati maikrofoni ziko karibu 10cm tu.

Sehemu ya mwisho ya kukosa mfano huu ni tathmini ya utumiaji. Njia moja ya kuahidi ya kutathmini ni kuunganisha mfumo na jukwaa la simu ya video iliyopo na angalia majibu ya watumiaji. Majibu hayo yatasaidia kuboresha mfumo na kufanya upitishaji unaofuata wa mfano huu.