Ishara kwa Hotuba / Nakala Kubadilisha Kinga: Hatua 5

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:50

Wazo / kusukuma nyuma kutekeleza mradi huu ilikuwa kusaidia watu ambao wana shida kuwasiliana kwa kutumia usemi na kuwasiliana kwa kutumia ishara za mikono au maarufu zaidi kama lugha ya saini ya Amerika (ASL). Mradi huu unaweza kuwa hatua kuelekea kuwapa watu hawa fursa ya kufanya kazi na watu wengine, ambao hawawezi kuelewa lugha ya ishara, katika mazingira ya kushirikiana. Pia, mradi huu utawawezesha kutoa hotuba za umma bila kutumia mtafsiri halisi wa kibinadamu. Kama mwanzo, nilikuwa najaribu tu kugundua ishara rahisi kama vile alfabeti A, B, I, nk na pia nimepeana ishara fulani kwa maneno / salamu za kawaida kama vile 'Hello', 'Good Morning', nk.

Hatua ya 1: Mkutano wa Mzunguko

Hatua ya 2: Maelezo ya Mradi

Mradi huu ni pamoja na glavu inayoweza kuvaliwa na sensorer 4 za kubadilika ambazo zimekwama / kupachikwa kwenye glavu - moja moja kwa kidole kidogo, cha kati, cha kidole, na kidole gumba. Sensor ya Flex haikutumika kwa Kidole cha pete kwa sababu ya mapungufu kwenye upatikanaji wa Pini za Kuingiza Analog kwenye Arduino Uno R3 na kwa jumla kwa sababu ya ukosefu wa harakati huru inayoonyeshwa na kidole katika lugha za ishara. Accelerometer ya MMA8452Q hutumiwa pia ambayo imekwama upande wa nyuma wa mitende kupima mwelekeo wa mkono. Ingizo kutoka kwa sensorer hizi zinachambuliwa na hutumiwa kuhisi ishara. Mara tu ishara inapoonekana, mhusika / ujumbe unaolingana huhifadhiwa kuwa tofauti. Wahusika na jumbe hizi zinaendelea kujumuika hadi ishara fulani iliyowekwa tayari itolewe ambayo inaonyesha kukamilika kwa sentensi. Mara tu ishara hiyo maalum inapogunduliwa, kamba ya sentensi iliyohifadhiwa hutumwa kwa Raspberry Pi kupitia kebo ya USB na Arduino. Raspberry Pi kisha hutuma kamba iliyopokelewa kwa Huduma ya Wingu ya Amazon iitwayo Polly kubadilisha sentensi iliyopokelewa kwa muundo wa maandishi kuwa fomati ya hotuba na kisha kutiririsha hotuba iliyopokelewa kwenye Spika iliyounganishwa na Raspberry Pi kupitia kebo ya AUX.

Mradi huu ulikuwa tu Ushuhuda wa dhana na vipande bora vya vifaa na upangaji na umepimwa vizuri kugundua ishara zingine nyingi na harakati za mikono. Hivi sasa, utendaji mdogo tu ndio umewekwa katika mradi huu kama vile kugundua ishara ya msingi na maandishi kwa pato la hotuba.

Hatua ya 3: Kanuni

Hatua ya 4: Hatua

1. Unganisha sensorer za kubadilika na accelerometer MMA8452Q kwa Arduino kulingana na mchoro wa mzunguko uliyopewa.

2. Tupa programu Final_Project.ino (iliyopatikana kwenye faili ya Arduino_code.zip) kwa Arduino.

3. Unganisha Arduino kwenye Raspberry Pi kwa kebo ya USB. (Aina ya kebo A / B).

4. Wezesha Raspberry Pi, nakili faili ya Raspberry_pi_code.zip kwenye Raspberry Pi, na uiondoe. Unganisha spika kwa Raspberry Pi.

5. Nakili hati za akaunti ya AWS yaani aws_access_key_id, aws_secret_access_key na aws_session_token kwenye faili ya ~ /.aws / hati. Hatua hii inahitajika kuwasiliana na wingu la AWS na kutumia huduma za AWS.

6. Endesha programu ya seria_test.py iliyopatikana ndani ya folda iliyoondolewa katika hatua ya 4.

7. Sasa fanya ishara kuunda sentensi na kisha fanya ishara maalum (Shika vidole vyako na kiganja chako sawa na kwa mstari na kiganja kimekutazama mbali, halafu zungusha mkono na kuupa upande wa chini hivi kwamba sasa kiganja chako inakabiliwa na wewe na ncha ya vidole vyako inaelekea chini kuelekea miguu yako.) kuashiria kukamilika kwa sentensi.

8. Endelea kuangalia kituo kwa habari muhimu.

9. Na sikiliza hotuba iliyogeuzwa ikitiririshwa kwa spika.

Hatua ya 5: Marejeo

1.

2.

3.

4.