Kutumia Sonar, Lidar, na Maono ya Kompyuta juu ya Watawala Mdogo kusaidia Walemavu wa Kuona: Hatua 16

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:52

Ninataka kuunda 'miwa' yenye akili ambayo inaweza kusaidia watu walio na shida ya kuona zaidi kuliko suluhisho zilizopo. Miwa itaweza kumjulisha mtumiaji wa vitu mbele au pembeni kwa kupiga kelele kwa vichwa vya sauti vya sauti ya mazingira. Miwa hiyo pia itakuwa na kamera ndogo na LIDAR (Kugundua Mwanga na Kuweka Rangi) ili iweze kutambua vitu na watu ndani ya chumba na kumjulisha mtumiaji kwa kutumia vichwa vya sauti. Kwa sababu za usalama, vifaa vya sauti havitazuia kelele zote kwani kutakuwa na kipaza sauti ambayo inaweza kuchuja sauti zote zisizohitajika na kuweka pembe za gari na watu wakiongea. Mwishowe mfumo utakuwa na GPS ili iweze kutoa mwelekeo na kuonyesha mtumiaji mahali pa kwenda.

Tafadhali nipigie kura katika mashindano ya Microcontroller na Fitness ya nje!

Hatua ya 1: Muhtasari wa Mradi

Kulingana na Upataji wa Ulimwenguni kwa Wasioona, harakati za mwili ni moja wapo ya changamoto kubwa kwa watu wasioona. Kusafiri au kutembea tu kwenye barabara iliyojaa kunaweza kuwa ngumu sana. Kijadi suluhisho pekee lilikuwa kutumia "miwa nyeupe" inayojulikana ambayo hutumika sana kuchanganua mazingira kwa kupiga vizuizi karibu na mtumiaji. Suluhisho bora lingekuwa kifaa kinachoweza kuchukua nafasi ya msaidizi anayeona kwa kutoa habari juu ya eneo la vizuizi ili kipofu aweze kwenda katika mazingira yasiyojulikana na kujisikia salama. Wakati wa mradi huu, kifaa kidogo kinachotumiwa na betri ambacho kinakidhi vigezo hivi kilitengenezwa. Kifaa kinaweza kugundua ukubwa na eneo la kitu kwa kutumia sensorer ambazo hupima nafasi ya vitu kuhusiana na mtumiaji, kupeleka habari hiyo kwa mdhibiti mdogo, na kisha kuibadilisha kuwa sauti ili kutoa habari kwa mtumiaji. Kifaa hicho kilijengwa kwa kutumia LIDAR ya kibiashara inayopatikana (Kugundua Mwanga na Kuweka Rangi), SONAR (Sauti ya Urambazaji na Kuweka Rangi), na teknolojia za maono ya kompyuta zilizounganishwa na wadhibiti-ndogo na zimepangwa kutoa habari inayotakiwa ya habari inayosikika kwa kutumia vipuli au vipokea sauti. Teknolojia ya kugundua iliingizwa ndani ya "miwa nyeupe" kuonyesha wengine hali ya mtumiaji na kutoa usalama zaidi.

Hatua ya 2: Utafiti wa Asili

Mnamo mwaka wa 2017, Shirika la Afya Ulimwenguni liliripoti kwamba kulikuwa na watu milioni 285 wenye ulemavu wa kuona ulimwenguni kote ambao milioni 39 ni vipofu kabisa. Watu wengi hawafikirii juu ya maswala ambayo watu wasio na uwezo wa kuona wanakabiliwa nayo kila siku. Kulingana na Upataji wa Ulimwenguni kwa Wasioona, harakati za mwili ni moja wapo ya changamoto kubwa kwa watu wasioona. Kusafiri au kutembea tu kwenye barabara iliyojaa kunaweza kuwa ngumu sana. Kwa sababu ya hii, watu wengi ambao ni walemavu wa kuona wanapendelea kuleta rafiki au mtu wa familia kusaidia kuona mazingira mapya. Kijadi suluhisho pekee lilikuwa kutumia "miwa nyeupe" inayojulikana ambayo hutumika sana kuchanganua mazingira kwa kupiga vizuizi karibu na mtumiaji. Suluhisho bora lingekuwa kifaa kinachoweza kuchukua nafasi ya msaidizi aliyeona kwa kutoa habari juu ya eneo la vizuizi ili yule kipofu aweze kwenda katika mazingira yasiyojulikana na kujisikia salama. NavCog, ushirikiano kati ya IBM na Chuo Kikuu cha Carnegie Mellon, wamejaribu kutatua shida hiyo kwa kuunda mfumo unaotumia beacons za Bluetooth na simu mahiri kusaidia kuongoza. Walakini, suluhisho lilikuwa nzito na lilionekana kuwa la gharama kubwa kwa utekelezaji mkubwa. Suluhisho langu linashughulikia hili kwa kuondoa hitaji lolote la vifaa vya nje na kwa kutumia sauti kuongoza mtumiaji siku nzima (Kielelezo 3). Faida ya kuingizwa kwa teknolojia ndani ya "miwa nyeupe" ni kwamba inaashiria ulimwengu wote wa hali ya mtumiaji ambayo husababisha mabadiliko katika tabia ya watu wanaozunguka.

Hatua ya 3: Mahitaji ya Kubuni

Baada ya kutafiti teknolojia zilizopo, nilijadili suluhisho linalowezekana na wataalamu wa maono juu ya njia bora ya kusaidia wasioona kuabiri mazingira yao. Jedwali hapa chini linaorodhesha sifa muhimu zaidi zinazohitajika kwa mtu kubadilisha kwa kifaa changu.

Makala - Maelezo:

• Hesabu - Mfumo unahitaji kutoa usindikaji wa haraka wa habari iliyobadilishwa kati ya mtumiaji na sensorer. Kwa mfano, mfumo unahitaji kuwa na uwezo wa kumjulisha mtumiaji vizuizi mbele ambavyo viko angalau 2m mbali.
• Kufunika - Mfumo unahitaji kutoa huduma zake ndani na nje ili kuboresha ubora wa maisha ya watu wasioona.
• Wakati - Mfumo unapaswa kufanya vizuri wakati wa mchana kama wakati wa usiku.
• Masafa - Masafa ni umbali kati ya mtumiaji na kitu cha kugunduliwa na mfumo. Kiwango cha chini bora ni 0.5 m, wakati upeo wa juu unapaswa kuwa zaidi ya 5 m. Umbali zaidi utakuwa bora zaidi lakini ni ngumu zaidi kuhesabu.
• Aina ya Kitu - Mfumo unapaswa kugundua kuonekana kwa ghafla kwa vitu. Mfumo unapaswa kujua tofauti kati ya vitu vinavyohamia na vitu vya tuli.

Hatua ya 4: Uundaji wa Uhandisi na Uteuzi wa Vifaa

Baada ya kuangalia vitu vingi tofauti, niliamua juu ya sehemu zilizochaguliwa kutoka kwa kategoria tofauti hapa chini.

Bei ya sehemu zilizochaguliwa:

• Zher Panther: $ 149.99
• LiDAR Lite V3: $ 149.99
• LV-MaxSonar-EZ1: $ 29.95
• Sensorer ya Ultrasonic - HC-SR04: $ 3.95
• Raspberry Pi 3: $ 39.95
• Arduino: $ 24.95
• Kinect: $ 32.44
• Floureon 11.1v 3s 1500mAh: $ 19.99
• LM2596HV: $ 9.64

Hatua ya 5: Uteuzi wa Vifaa: Njia ya Mwingiliano

Niliamua kutumia udhibiti wa sauti kama njia ya kuingiliana na kifaa kwa sababu kuwa na vifungo vingi kwenye fimbo inaweza kuwa changamoto kwa mtu asiye na uwezo wa kuona, haswa ikiwa kazi zingine zinahitaji mchanganyiko wa vifungo. Kwa kudhibiti sauti, mtumiaji anaweza kutumia amri zilizowekwa mapema kuwasiliana na miwa ambayo hupunguza makosa yanayowezekana.

Kifaa: Faida --- Cons:

• Vifungo: Hakuna hitilafu ya amri wakati kifungo cha kulia kimeshinikizwa --- Inaweza kuwa changamoto kuhakikisha vifungo sahihi vinabanwa
• Udhibiti wa sauti: Rahisi kwa sababu mtumiaji anaweza kutumia amri zilizowekwa mapema --- Matamshi yasiyo sahihi yanaweza kusababisha makosa

Hatua ya 6: Uteuzi wa Vifaa: Microcontroller

Kifaa kilitumia Raspberry Pi kwa sababu ya gharama yake ya chini na nguvu ya kutosha ya usindikaji kuhesabu ramani ya kina. Intel Joule ingekuwa chaguo linalopendelewa lakini bei yake ingeongeza maradufu gharama ya mfumo ambao haungefaa kifaa hiki ambacho kimetengenezwa kutoa chaguo la gharama ya chini kwa watumiaji. Arduino ilitumika katika mfumo kwa sababu inaweza kupata habari kutoka kwa sensorer. BeagleBone na Intel Edison hazikutumika kwa sababu ya bei ya chini kwa uwiano wa utendaji ambayo ni mbaya kwa mfumo huu wa gharama nafuu.

Mdhibiti Mdogo: Faida --- Cons:

• Raspberry Pi: Ina nguvu ya kutosha ya usindikaji wa kupata vizuizi na imejumuisha WiFi / Bluetooth --- Sio chaguzi nyingi za kupokea data kutoka kwa sensorer
• Arduino: Pokea kwa urahisi data kutoka kwa sensorer ndogo. yaani. LIDAR, Ultrasonic, SONAR, nk --- Uwezo wa kutosha wa usindikaji wa kupata vizuizi
• Intel Edison: Inaweza kusindika vizuizi haraka na processor haraka - Inahitaji vipande vya msanidi programu vya ziada kufanya kazi kwa mfumo
• Intel Joule: Inayo kasi ya usindikaji maradufu ya yoyote kati ya wadhibiti wadogo kwenye soko la watumiaji hadi leo - Gharama kubwa sana kwa mfumo huu na ni ngumu kushirikiana na GPIO kwa mwingiliano wa sensa
• BeagleBone Nyeusi: Inaendana na inaambatana na sensorer zinazotumiwa katika mradi kwa kutumia Pato la Kuingiza Jumla ya Kusudi (GPIO) --- Nguvu ya kutosha ya usindikaji kupata vitu vizuri

Hatua ya 7: Uteuzi wa Vifaa: Sensorer

Mchanganyiko wa sensorer kadhaa hutumiwa ili kupata usahihi wa eneo la juu. Kinect ni sensorer kuu kwa sababu ya eneo ambalo linaweza kutafutia vikwazo wakati mmoja. LIDAR ambayo inasimama kwa kugundua na upimaji wa LIght, ni njia ya kuhisi kijijini ambayo hutumia mwangaza kwa njia ya laser iliyosokotwa kupima umbali kutoka mahali sensa inapoelekea vitu haraka; sensa hiyo hutumiwa kwa sababu inaweza kufuatilia eneo hadi mita 40 mbali na kwa kuwa inaweza kuchanganua kwa pembe anuwai, inaweza kugundua ikiwa hatua yoyote inakwenda juu au chini. Sensorer Navigation na Ranging (SONAR) na sensorer za Ultrasonic hutumiwa kama ufuatiliaji wa nakala rudufu ikiwa Kinect atakosa pole au mapema ardhini ambayo inaweza kusababisha hatari kwa mtumiaji. Digrii 9 za Sensorer ya Uhuru hutumika kwa kufuata mwelekeo gani mtumiaji anakabiliwa ili kifaa kiweze kuhifadhi habari kwa usahihi wa juu inayoelekeza wakati mwingine mtu atakapotembea mahali pamoja.

Sensorer: Faida - Faida:

• Kinect V1: Inaweza kufuatilia vitu vya 3D na --- Kamera moja tu kugundua mazingira
• Kinect V2: Ina kamera tatu za infrared na kamera Nyekundu, Kijani, Bluu, Kina (RGB-D) kwa utambuzi wa hali ya juu wa 3D - Inaweza kuwaka na inaweza kuhitaji shabiki wa kupoza, na ni kubwa kuliko sensorer zingine.
• LIDAR: Boriti ambayo inaweza kufuatilia maeneo hadi 40 m mbali --- Inahitaji kuwekwa kwa kitu na inaweza tu kuangalia upande huo
• SONAR: Boriti inayoweza kufuatilia umbali wa mita 5 lakini kwa masafa mbali - Vitu vidogo kama manyoya vinaweza kuchochea sensorer
• Ultrasonic: Ina anuwai ya hadi m 3 na ni ya bei rahisi sana --- Umbali wakati mwingine unaweza kuwa sio sahihi
• Digrii 9 za Sensorer ya Uhuru: Nzuri kwa kuhisi mwelekeo na kasi ya mtumiaji - Ikiwa chochote kinaingilia sensorer, hesabu za umbali zinaweza kuhesabiwa vibaya

Hatua ya 8: Uteuzi wa Vifaa: Programu

Programu iliyochaguliwa ya prototypes chache za kwanza zilizojengwa na sensa ya Kinect V1 ilikuwa Freenect lakini haikuwa sahihi sana. Wakati wa kubadili Kinect V2 na Freenect2, matokeo ya ufuatiliaji yaliboreshwa sana kwa sababu ya ufuatiliaji ulioboreshwa kwani V2 ina kamera ya HD na kamera 3 za infrared tofauti na kamera moja kwenye Kinect V1. Wakati nilikuwa nikitumia OpenNi2 na Kinect V1, kazi zilikuwa ndogo na sikuweza kudhibiti kazi zingine za kifaa.

Programu: Faida --- Cons:

• Freenect: Ina kiwango cha chini cha udhibiti wa kudhibiti kila kitu --- Inasaidia tu Kinect V1
• OpenNi2: Inaweza kuunda kwa urahisi data ya wingu la uhakika kutoka kwa mkondo wa habari kutoka Kinect --- Inasaidia tu Kinect V1 na haina msaada wa udhibiti wa kiwango cha chini.
• Freenect2: Ina kiwango cha chini cha udhibiti wa bar ya sensorer - Inafanya kazi tu kwa Kinect V2
• ROS: Mfumo wa uendeshaji bora kwa programu za kazi za kamera --- Inahitaji kusanikishwa kwenye kadi ya SD haraka ili programu ifanye kazi

Hatua ya 9: Uteuzi wa Vifaa: Sehemu zingine

Betri za Lithiamu Ion zilichaguliwa kwa sababu ya kuwa nyepesi, kuwa na uwezo mkubwa wa nguvu, na kuchajiwa tena. Tofauti ya 18650 ya betri ya lithiamu ya ion ina sura ya silinda na inafaa kabisa katika mfano wa miwa. Mfano wa 1 miwa imetengenezwa na bomba la PVC kwa sababu ni mashimo na hupunguza uzito wa miwa.

Hatua ya 10: Ukuzaji wa Mfumo: Kuunda Sehemu ya vifaa 1

Kwanza tunapaswa kutenganisha Kinect ili kuifanya iwe nyepesi na ili iweze kutoshea ndani ya miwa. Nilianza kwa kuondoa casing zote za nje kutoka kwa Kinect kwani plastiki iliyotumiwa ina uzito wa LOT. Kisha ilibidi nikate kebo ili msingi uweze kuondolewa. Nilichukua waya kutoka kwa kiunganishi kilichoonyeshwa kwenye picha na kuziuzia kwa kebo ya usb na waya za ishara na viunganisho vingine viwili vilikuwa vya nguvu ya kuingiza 12V. Kwa kuwa nilitaka shabiki aliye ndani ya miwa aendeshe kwa nguvu zote kupoza vifaa vingine vyote, nilikata kiunganishi kutoka kwa shabiki kutoka Kinect na waya 5V kutoka kwa Raspberry Pi. Pia nilitengeneza adapta ndogo kwa waya wa LiDAR ili iweze kuungana moja kwa moja kwenye Raspberry Pi bila mifumo mingine yoyote kati.

Kwa bahati mbaya niliuza waya mweupe kwa ile nyeusi ili usitazame picha za michoro ya wiring

Hatua ya 11: Ukuzaji wa Mfumo: Kuunda Sehemu ya Vifaa 2

Niliunda kipande cha mdhibiti ili kutoa nguvu kwa vifaa vyote vinavyohitaji 5V kama Raspberry Pi. Niliweka mdhibiti kwa kuweka mita kwenye pato na kurekebisha kipinga ili mdhibiti atoe 5.05V. Niliiweka juu kidogo kuliko 5V kwa sababu baada ya muda, voltage ya betri huenda chini na kuathiri kidogo voltage ya pato. Pia nilitengeneza adapta ambayo inaniruhusu kuwezesha vifaa hadi 5 ambavyo vinahitaji 12V kutoka kwa betri.

Hatua ya 12: Maendeleo ya Mfumo: Kupanga Sehemu ya Mfumo 1

Moja ya sehemu zenye changamoto kubwa katika mfumo huu ni programu. Wakati nilikuwa nimepata Kinect kwanza kucheza nayo, niliweka programu inayoitwa RTAB Ramani ambayo inachukua mkondo wa data kutoka kwa Kinect na kuibadilisha kuwa wingu la uhakika. Pamoja na wingu la uhakika, iliunda picha ya 3D ambayo inaweza kuzungushwa kwa hivyo angalia kina cha vitu vyote viko. Baada ya kucheza nayo kwa muda na kurekebisha mipangilio yote, niliamua kusanikisha programu kwenye Raspberry Pi ili kuniruhusu kuona mkondo wa data kutoka kwa Kinect. Picha mbili za mwisho hapo juu zinaonyesha kile Raspberry Pi inaweza kutoa kwa karibu muafaka 15-20 kwa sekunde.