Drone ya Kujitegemea na Kamera ya Infrared Kusaidia Wajibu Wa Kwanza: Hatua 7

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:51

Kulingana na ripoti ya Shirika la Afya Ulimwenguni, kila mwaka majanga ya asili huua karibu watu 90,000 na huathiri karibu watu milioni 160 ulimwenguni. Majanga ya asili ni pamoja na matetemeko ya ardhi, tsunami, milipuko ya volkano, maporomoko ya ardhi, vimbunga, mafuriko, moto wa mwituni, mawimbi ya joto na ukame. Wakati ni wa maana wakati nafasi ya kuishi inaanza kwenda chini na kila dakika inayopita. Wajibuji wa kwanza wanaweza kuwa na shida kuwapata waathirika katika nyumba ambazo zimeharibiwa na kuweka maisha yao hatarini wakati wa kuwatafuta. Kuwa na mfumo ambao unaweza kupata watu kwa mbali kungeongeza sana kasi ambayo wajibuji wa kwanza wataweza kuwaondoa kwenye majengo. Baada ya kutafiti mifumo mingine, niligundua kuwa kampuni zingine zimetengeneza roboti ambazo ni msingi wa ardhi au wameunda drones ambazo zinaweza kufuatilia watu lakini zinafanya kazi nje ya majengo. Mchanganyiko wa kamera za kina pamoja na kamera maalum za infrared zinaweza kuruhusu ufuatiliaji sahihi wa eneo la ndani na kugundua mabadiliko ya joto yanayowakilisha moto, watu, na wanyama. Kwa kutekeleza sensorer na algorithm ya kawaida kwenye gari la angani lisilopangwa (UAV), itawezekana kukagua nyumba kwa uhuru na kutambua eneo la watu na wanyama kuwaokoa haraka iwezekanavyo.

Tafadhali nipigie kura katika mashindano ya Optics!

Hatua ya 1: Mahitaji ya Kubuni

Baada ya kutafiti teknolojia zilizopo, nilijadili suluhisho zinazowezekana na wataalam wa maono ya mashine na mtu anayejibu kwanza kupata njia bora ya kugundua waathirika katika maeneo hatari. Habari hapa chini inaorodhesha sifa muhimu zaidi zinazohitajika na muundo wa vitu kwa mfumo.

• Usindikaji wa Maono - Mfumo unahitaji kutoa kasi ya usindikaji wa haraka kwa habari iliyobadilishwa kati ya sensorer na majibu ya akili ya bandia (AI). Kwa mfano, mfumo unahitaji kuwa na uwezo wa kugundua kuta na vizuizi vya kuziepuka wakati pia unapata watu walio katika hatari.
• Kujitegemea - Mfumo unahitaji kuwa na uwezo wa kufanya kazi bila pembejeo kutoka kwa mtumiaji au mwendeshaji. Wafanyikazi wenye uzoefu wa chini na teknolojia ya UAV wanapaswa kuwa na uwezo wa kubonyeza kitufe kimoja au chache ili mfumo uanze skanning yenyewe.
• Masafa - Masafa ni umbali kati ya mfumo na vitu vingine vyote kwa ukaribu. Mfumo unapaswa kuwa na uwezo wa kugundua barabara na viingilio kutoka angalau mita 5 mbali. Kiwango bora cha chini ni 0.25 m ili vitu vya karibu viweze kugunduliwa. Upeo wa kugundua ni mfupi, wakati mfupi wa kugundua kwa waathirika.
• Usahihi wa Usafirishaji na Ugunduzi - Mfumo unapaswa kuwa na uwezo wa kupata kwa usahihi viingilio vyote na usigonge vitu vyovyote vile pia kugundua kuonekana kwa vitu ghafla. Mfumo unahitaji kuweza kupata tofauti kati ya watu na vitu visivyo hai kupitia sensorer anuwai.
• Muda wa Operesheni - Mfumo unapaswa kuweza kuchukua dakika 10 au zaidi kulingana na vyumba ngapi inahitaji kutambaza.
• Kasi - Inapaswa kuwa na uwezo wa kukagua jengo lote chini ya dakika 10.

Hatua ya 2: Uteuzi wa Vifaa: Njia ya Uhamaji

Quadcopter ilichaguliwa juu ya gari la kudhibiti kijijini kwa sababu ingawa quadcopter ni dhaifu, ni rahisi kudhibiti na kubadilisha urefu ili kuzuia vizuizi. Quadcopter inaweza kushikilia sensorer zote na kuziimarisha ili iwe sahihi zaidi wakati wa kuzunguka kwenye vyumba tofauti. Vipeperushi vimetengenezwa na nyuzi za kaboni ambazo hazina joto. Sensorer huelekeza mbali na kuta ili kuzuia ajali.

• Kijijini Gari la Ardhi

  • Faida - Inaweza kusonga haraka bila kuanguka na haiathiriwi na joto
  • Ubaya - Gari ingeweka sensorer chini chini inayofunika eneo kidogo kwa wakati na inaweza kuzuiwa na vizuizi

• Quadcopter

  • Faida - Inainua sensorer angani ili kupata mtazamo wa 360 wa mazingira
  • Hasara - Ikiwa inaingia ukutani, inaweza kuanguka na isipone

Hatua ya 3: Uteuzi wa Vifaa: Udhibiti mdogo

Mahitaji makuu mawili kwa wadhibiti wadogo ni saizi ndogo kupunguza malipo kwenye quadcopter na kasi kusindika uingizaji wa habari haraka. Mchanganyiko wa Rock64 na DJI Naza ni mchanganyiko mzuri wa watawala wadogo kwani Rock64 ina nguvu ya kutosha ya usindikaji kugundua watu haraka na kuweka quadcopter isiingie kwenye kuta na vizuizi. DJI Naza anaipongeza vizuri kwa kufanya utulivu wote na udhibiti wa magari ambayo Rock64 haiwezi kufanya. Watawala wadogo wanawasiliana kupitia bandari ya serial na huruhusu udhibiti wa mtumiaji ikiwa ni lazima. Raspberry Pi ingekuwa mbadala mzuri lakini kwa kuwa Rock64 ilikuwa na processor bora na unganisho bora kwa sensorer zilizoorodheshwa kwenye meza inayofuata, Pi haikuchaguliwa. Intel Edison na Pixhawk hawakuchaguliwa kwa sababu ya ukosefu wa msaada na unganisho.

• Pi ya Raspberry

  • Faida - Inaweza kugundua kuta na vitu vilivyowekwa
  • Hasara - Mapambano ya kuendelea na data kutoka kwa sensorer zote kwa hivyo hawawezi kuona viingilio haraka vya kutosha. Haiwezi kutoa ishara za magari na haina sensorer yoyote ya kutuliza kwa quadcopter

• Mwamba64

  • Faida - Uwezo wa kugundua kuta na viingilio na latency kidogo.
  • Cons - Pia inaweza kuongoza mfumo ndani ya nyumba bila kukimbia kwenye kitu chochote kwa kutumia sensorer zote. Haiwezi kutuma ishara haraka ya kutosha kudhibiti kasi ya gari na haina sensorer yoyote ya kutuliza kwa quadcopter

• Intel Edison

  • Faida - Uwezo wa kugundua kuta na viingilio na bakia zingine
  • Cons - Teknolojia ya zamani, sensorer nyingi zitahitaji maktaba mpya ambayo ni ya muda mwingi kuunda
• DJI Naza
  • Faida - Imejumuisha gyroscope, accelerometer, na magnetometer, kuruhusu quadcopter kuwa sawa hewani na marekebisho madogo kwa kasi ya gari.
  • Cons - Haiwezi kufanya aina yoyote ya usindikaji wa maono

• Pixhawk

  • Faida - Inafaa na inaambatana na sensorer zinazotumiwa katika mradi kwa kutumia Pato la Kuingiza Jumla ya Kusudi (GPIO)
  • Cons - Haiwezi kufanya aina yoyote ya usindikaji wa maono

Hatua ya 4: Uteuzi wa Vifaa: Sensorer

Mchanganyiko wa sensorer kadhaa hutumiwa ili kupata habari zote zinazohitajika kupata watu katika maeneo hatari. Sensorer kuu mbili zilizochaguliwa ni pamoja na kamera ya infrared ya stereo kando ya Sound Navigation And Ranging (SONAR). Baada ya kujaribu, nimeamua kutumia kamera ya Realsense D435 kwa sababu ni ndogo na ina uwezo wa kufuatilia kwa usahihi umbali hadi mita 20 mbali. Inatumika kwa muafaka 90 kwa sekunde ambayo inaruhusu vipimo vingi kuchukuliwa kabla ya kufanya uamuzi kuhusu vitu viko na mwelekeo gani wa kuelekeza quadcopter. Sensorer za SONAR zimewekwa juu na chini ya mfumo ili kuruhusu quadcopter kujua jinsi ya juu au chini inaruhusiwa kwenda kabla ya kuwasiliana na uso. Pia kuna moja imewekwa mbele ikiruhusu mfumo kugundua vitu kama glasi ambayo sensa ya kamera ya infrared haiwezi kugundua. Watu na wanyama hugunduliwa kwa kutumia mwendo na algorithms ya utambuzi wa kitu. Kamera ya FLIR itatekelezwa kusaidia kamera ya infrared ya stereo kufuatilia ni nini kinachoishi na nini sio kuongeza ufanisi wa skanning katika hali mbaya.

• Kinect V1

  • Faida - Inaweza kufuatilia vitu vya 3D kwa urahisi hadi mita 6 mbali
  • Hasara -Ina tu sensa ya infrared 1 na ni nzito sana kwa quadcopter

• Realsense D435

  • Faida - Ina kamera 2 za infrared na kamera Nyekundu, Kijani, Bluu, Kina (RGB-D) kwa utambuzi wa hali ya juu wa 3D hadi mita 25 mbali. Ni upana wa cm 6 kuruhusu kutoshea kwa urahisi katika quadcopter
  • Cons - Inaweza joto na inaweza kuhitaji shabiki wa kupoza

• LIDAR

  • Faida - Beam ambayo inaweza kufuatilia maeneo hadi mita 40 mbali katika mstari wake wa kuona
  • Cons - Joto katika mazingira linaweza kuathiri usahihi wa kipimo
• MWANA
  • Faida - Beam ambayo inaweza kufuatilia umbali wa mita 15 lakini ina uwezo wa kugundua vitu vya uwazi kama glasi na akriliki
  • Cons - Ni vidokezo tu katika mstari mmoja wa kuona lakini vinaweza kuhamishwa na quadcopter ili kukagua eneo

• Ultrasonic

  • Faida - Ina anuwai ya hadi 3 m na ni ya bei rahisi sana
  • Cons - Ni alama tu katika mstari mmoja wa kuona na inaweza kuwa nje ya umbali wa kuhisi umbali kwa urahisi sana

• Kamera ya FLIR

  • Faida - Inaweza kuchukua picha za kina kupitia moshi bila kuingiliwa na inaweza kugundua watu wanaoishi kupitia saini za joto
  • Cons - Ikiwa chochote kinaingilia sensorer, mahesabu ya umbali yanaweza kuhesabiwa vibaya

• Sensor ya PIR

  • Faida - Uwezo wa kugundua mabadiliko ya joto
  • Cons - Haiwezi kubainisha ambapo tofauti ya joto iko

Hatua ya 5: Uteuzi wa Vifaa: Programu

Nilitumia Realsense SDK pamoja na Mfumo wa Uendeshaji wa Robot (ROS) kuunda ujumuishaji kati ya sensorer zote na mdhibiti mdogo. SDK ilitoa mkondo thabiti wa data ya wingu ya uhakika ambayo ilikuwa bora kwa kufuatilia vitu vyote na mipaka ya quadcopter. ROS ilinisaidia kutuma data zote za sensorer kwenye programu ambayo niliunda ambayo hutumia Akili ya bandia. AI inajumuisha algorithms za kugundua kitu na algorithms ya kugundua mwendo ambayo inaruhusu quadcopter kupata harakati katika mazingira yake. Mdhibiti hutumia Pulse Modulation Width (PWM) kudhibiti nafasi ya quadcopter.

• Bure

  • Faida - Ina kiwango cha chini cha ufikiaji wa kudhibiti kila kitu
  • Cons - inasaidia tu Kinect V1

• Realsense SDK

  • Faida - Inaweza kuunda kwa urahisi data ya wingu la uhakika kutoka kwa mkondo wa habari kutoka Kamera ya Realsense
  • Cons - inasaidia tu kamera ya Realsense D435

• Dereva wa FLIR Linux

  • Faida - Inaweza kupata mkondo wa data kutoka kwa kamera ya FLIR
  • Cons - Nyaraka ni mdogo sana

• Mfumo wa Uendeshaji wa Robot (ROS)

  • Faida - Mfumo wa uendeshaji bora kwa kupanga kazi za kamera
  • Africa - Mahitaji ya kusakinishwa kwenye kadi ya SD haraka kwa ukusanyaji mzuri wa data

Hatua ya 6: Maendeleo ya Mfumo

"Macho" ya kifaa ni sensa ya infrared ya Realsense D435 ambayo ni sensorer ya rafu inayotumiwa sana kwa matumizi ya roboti kama ramani ya 3D (Kielelezo 1). Wakati sensor hii imewekwa kwenye quadcopter, kamera ya infrared inaweza kuongoza na kuruhusu quadcopter kusonga kwa uhuru. Takwimu zilizotengenezwa na kamera inaitwa wingu la uhakika ambalo lina safu ya alama kwenye nafasi ambayo ina habari juu ya msimamo wa kitu fulani katika maono ya kamera. Wingu hili la uhakika linaweza kubadilishwa kuwa ramani ya kina inayoonyesha rangi kama kina tofauti (Kielelezo 2). Nyekundu iko mbali zaidi, wakati bluu iko karibu na mita.

Ili kuhakikisha mfumo huu umefumwa, mfumo wa uendeshaji wa chanzo wazi unaoitwa ROS, ambao kawaida hutumiwa kwenye roboti, ulitumiwa. Inaruhusu kutekeleza udhibiti wa kifaa wa kiwango cha chini, na kufikia sensorer zote na kukusanya data inayotumiwa na programu zingine. ROS itawasiliana na Realsense SDK ambayo inaruhusu kuwasha na kuzima kamera tofauti ili kufuatilia jinsi vitu vilivyo mbali na mfumo. Kiunga kati ya vyote vinaniruhusu kufikia mkondo wa data kutoka kwa kamera ambayo inaunda wingu la uhakika. Maelezo ya wingu la uhakika yanaweza kuamua wapi mipaka na vitu viko ndani ya mita 30 na usahihi wa 2cm. Sensorer nyingine kama sensorer za SONAR na sensorer zilizopachikwa kwenye kidhibiti cha DJI Naza huruhusu nafasi sahihi zaidi ya quadcopter. Programu yangu hutumia algorithms za AI kufikia wingu wa uhakika na kupitia ujanibishaji, tengeneza ramani ya nafasi nzima inayozunguka kifaa. Mara baada ya mfumo kuzinduliwa na kuanza skanning, itasafiri kupitia barabara za ukumbi na kupata viingilio vya vyumba vingine ambapo inaweza kufagia chumba haswa kinachotafuta watu. Mfumo unarudia mchakato huu hadi vyumba vyote vichanganuliwe. Hivi sasa, quadcopter inaweza kuruka kwa karibu dakika 10 ambayo inatosha kufagia kabisa lakini inaweza kuboreshwa na mipangilio tofauti ya betri. Wajibuji wa kwanza watapata arifa wakati watu wataonekana ili waweze kuzingatia juhudi zao kwenye majengo teule.

Hatua ya 7: Majadiliano na Hitimisho

Baada ya majaribio mengi, nilikuwa nimeunda mfano wa kufanya kazi uliotimiza mahitaji yaliyoorodheshwa kwenye Jedwali 1. Kwa kutumia kamera ya infrared ya Realsense D435 na Realsense SDK, ramani ya kina ya azimio kubwa mbele ya quadcopter iliundwa. Mwanzoni nilikuwa na shida kadhaa na kamera ya infrared kutoweza kugundua vitu kama glasi. Kwa kuongeza sensa ya SONAR, niliweza kushinda shida hii. Mchanganyiko wa Rock64 na DJI Naza ilifanikiwa kwani mfumo uliweza kutuliza quadcopter wakati uliweza kugundua vitu na kuta kupitia njia maalum za maono ya kompyuta kwa kutumia OpenCV. Ingawa mfumo wa sasa unafanya kazi na unatimiza mahitaji, inaweza kufaidika na prototypes kadhaa za baadaye.

Mfumo huu unaweza kuboreshwa kwa kutumia kamera bora zaidi ili kuweza kugundua watu kwa usahihi. Kamera zingine za gharama kubwa za FLIR zina uwezo wa kugundua saini za joto ambazo zinaweza kuruhusu utambuzi sahihi zaidi. Mfumo huo pia unaweza kufanya kazi katika mazingira tofauti kama vile vyumba vilivyo na vumbi na vilivyojaa moshi. Kwa teknolojia mpya, na kuzuia moto, mfumo huu unaweza kutumwa katika nyumba ambazo zinawaka na kugundua haraka watu wako wapi ili wajibuji wa kwanza waweze kupata waathirika kutoka hatari.

Asante kwa kusoma! Usisahau kunipigia kura katika mashindano ya Optics!