Mkufunzi wa Kiingereza wa Kibinafsi - Msaidizi wa Sauti ya AI: Hatua 15

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:52

Mradi huu utasaidia wanafunzi ambao wanajiandaa kwa mtihani wowote wa lugha, ambapo wanaweza kufundishwa kwa kushirikiana na Snips AI.

Hatua ya 1: Hadithi

Kwa nini Tulijenga Hii?

Kutoka kwa uzoefu wangu wa kibinafsi, nimeona watu wengi wakijiandaa kwa mtihani anuwai wa lugha kama vile GRE, TOEFL, IELTS. Wanahitaji mtu wa kuwasaidia katika kukariri na kuelewa maneno. Kwa suluhisho hili, tunaweza kupunguza nguvu kazi kwa kutumia msaidizi wa sauti.

Hatua ya 2: Kuunda vifaa

Kwanza kabisa, ningependa kushukuru NYOKA na KUONA kwa kusaidia mradi huu na Kitengo cha Kukuza Uingiliano wa Sauti ya Sauti (Msingi wa Kitanda), nilihisi kuwa na taarifa nikitumia bodi hii na kuweza kufanikisha miradi mingine tata iliyojumuishwa ndani ya PCB.

Unaweza kununua Kitengo cha Maingiliano ya Sauti ya Snips kwa $ 115 na Kitengo cha Maingiliano ya Sauti ya Maingiliano ya Sauti kwa $ 85

Hatua ya 3: Kuanza na NYOKA

Kabla ya kuanza, wacha tuangalie kile utahitaji.

• Raspberry Pi 3B / B + (Imependekezwa) au Pi 2 Model B (Inasaidiwa).
• Cable ya Micro-USB & adapta ya umeme ya Micro-USB ya Raspberry Pi.
• Kadi ya SD SD (Kiwango cha chini cha 8 GB) - Mfumo wa uendeshaji unahitajika kuanza. Unaweza kupakua Raspbian Stretch na utumie miongozo ya Mac OS, Linux, na Windows Katika wavuti ya Raspberry Pi.
• Kinanda cha USB na Panya, na Mfuatiliaji wa nje wa HDMI - tunapendekeza pia kuwa na kibodi na panya ya USB na vile vile mfuatiliaji wa HDMI anayefaa.
• Muunganisho wa mtandao (Ethernet au WiFi)

Kitengo cha Msingi cha Maingiliano ya Sauti

Kifaa cha Kukuza Maingiliano ya Sauti ya Snips huwawezesha watumiaji kuruka-kuanza maendeleo yao ya njia za sauti na kuunganisha kwa urahisi Jukwaa la Sauti ya Sauti ya AI na vifaa. Snips huendesha kwenye kifaa, ikimaanisha amri zako zote za sauti na data zinashughulikiwa kijijini badala ya kutumwa kwenye wingu. Usindikaji huu wa kifaa unasababisha msaidizi salama kabisa wa sauti nje ya mtandao anayeweka data yako ya kibinafsi kama inavyopaswa kuwa.

Kitengo cha Maingiliano ya Sauti kinakuruhusu kuendesha Jukwaa lote la Sauti ya Snips AI. Inayoendeshwa na Raspberry Pi 3 Model B + na ReSpeaker 2-Mics Pi HAT, inauwezo wa kutenda kama spika mahiri wa nyumbani. Pamoja na kit huja spika, Grove - Joto na sensorer ya unyevu (SHT31), Grove - Relay, na pegboard ili kuitundika ukutani au kuunda msimamo mzuri.

Lakini sio hayo tu! Kifaa cha Sateliti cha Maingiliano ya Sauti kitapanua kituo chako cha msingi kufikia kila chumba cha nyumba yako na kukuruhusu kuingiliana na vifaa kulingana na mahali unapotoa amri zako!

Zana hii ina bodi ya Raspberry Pi3 B +, ReSpeaker 2-Mics Pi HAT, Grove - Relay, Grove - Joto na Sensor Sensor (SHT31), Spika 6 Ohm 2W, Kadi ya MicroSD, adapta ya Nguvu iliyo na kiunganishi cha Micro USB, kebo ya Grove x 2, Msingi wa Acrylic jopo.

Hatua za Kusanyiko: (Yaliyomo kutoka kwa NYOTA) Picha ifuatayo ni muhtasari wa sehemu za mkutano.

Hapa sehemu za mkutano zimewekwa kwenye jopo la msingi.

Kisha, sehemu zote za elektroniki zimewekwa kwenye ubao.

Baada ya hapo weka kifuniko cha Kinga ya Akriliki juu ya Grove -Relay.

Sehemu hizi 2 hutumiwa kutengeneza Kit kwenye meza.

Mwishowe, uko tayari kucheza na Snips.

Kit hutoa njia mbili za kuwekwa. Inaweza kuwekwa juu ya uso usawa kama stendi au inaweza kutundikwa ukutani kwa kutumia waya au uzi. Tafadhali kuwa mwangalifu na Relay wakati kit kimewashwa kwani voltage ya kufanya kazi itakuwa kubwa.

KUMBUKA: Pia tuna Kitita cha Maingiliano ya Sauti ya Snips Voice ambayo ina Raspberry Pi sifuri badala ya Raspberry Pi 3B +

Hatua ya 4: Kuingiliana na AI ya Snips (Mradi wa Msingi)

• Weka kit kwa adapta ya umeme chaguo-msingi kwenye kit au tumia adapta ya 5V-2A DC na kiunganishi cha Micro USB.
• Hatua inayofuata ni kusanidi msaidizi wa Snips kwenye Raspberry Pi. Ili kuokoa wakati wako wa kuanzisha, kadi ya MicroSD kwenye kit imeangazwa na picha kamili ya mfumo, ambayo inamaanisha msaidizi wa Snips yuko tayari kwa maneno yako ya kuchochea.
• Tunashauri sana ujifunze mwongozo wa usanidi wa hatua kwa hatua kwa kutembelea: https://docs.snips.ai/getting-started/quick-start… na ujifunze zana ya sam katika laini ya amri.
• Kuchochea msaidizi kwa kusema "Hey-snips", na ufuate amri:

Unaweza kupata video ya mfano iliyosanikishwa mapema kwenye kitanzi cha mwingiliano wa Sauti ya Snips hapa chini.

Hatua ya 5: Kuingiliana na AI ya Snips (AI ya Mradi)

Kwa hivyo hii ndivyo inavyofanya kazi. Kwanza, tunatumia neno la moto kuanzisha utambuzi wa Snips. Inaelewa sentensi kwa kutumia Snips NLU na huamua dhamira. Ifuatayo ukitumia kusudi, toa nafasi kwa mtiririko huo. Pamoja na nambari ya kitendo, tunapanga majibu ya AI kwa sehemu husika.

Hatua ya 6: Kuunda App na Inakusudia

• Unda Mratibu. Kwa upande wangu, nilikuwa nimeunda msaidizi mwenye jina JARVIS na mwenye jina la moto JARVIS.
• Unda Maombi ya Kimila au kwa Kompyuta, tumia Maombi kutoka kwa maktaba.
• Nilikuwa nimeunda Maombi yenye jina Maneno
• Unda Nia na anza kufunza AI. Hii ina jukumu kubwa katika kuifanya AI yako kuwa imara. Ifundishe na pembejeo zote zinazowezekana.
• Unda nafasi ya kutambua maneno. Weka nafasi kwenye kifungu kinachotarajiwa cha sentensi. Kwa mfano wangu, neno lenye jina ni jina la yanayopangwa na imeangaziwa na bluu.
• Mara tu itakapomalizika, ASR yako ya kawaida itakuwa tayari. Jaribu na pembejeo. Tunaweza kupata jibu upande wako wa kulia, chini ya msaidizi. Hii inakupa uchimbaji wa thamani mbichi, jina la dhamira, na nafasi.
• Fafanua nafasi na mifano zaidi kama ilivyoonyeshwa hapo chini
• Mwishowe, Tumia msaidizi wako kupata uzoefu wa AI yako ya kibinafsi.

Hatua ya 7: Choma Raspbian kwenye Kadi ya SD

Raspbian ni usambazaji wa Linux wa chaguo zinazoendesha kwenye Raspberry Pi. Katika mwongozo huu, tutatumia toleo la Lite, lakini toleo la Desktop (ambalo linakuja na mazingira ya picha) linaweza kutumika pia.

• Pakua Etcher na usakinishe.
• Unganisha msomaji wa kadi ya SD na kadi ya SD ndani.
• Fungua Etcher na uchague kutoka kwa diski yako ngumu Raspberry Pi.img au.zip faili unayotaka kuiandikia kadi ya SD
• Chagua kadi ya SD unayotaka kuandika picha yako.
• Pitia chaguo zako na ubonyeze 'Flash!' kuanza kuandika data kwenye kadi ya SD

Unganisha kifaa kwenye mtandao wako

• Wezesha ufikiaji wa SSH kwa kuongeza ssh ya faili tupu, iliyowekwa tena kwenye mzizi wa ujazo wa boot kwenye kadi yako ya SD.
• Ingiza kadi ya SD kwenye Raspberry Pi. Itaanza kwa takribani sekunde 20. Unapaswa sasa kuwa na ufikiaji wa SSH kwa Raspberry Pi yako. Kwa chaguo-msingi, jina lake la mwenyeji litakuwa raspberrypi.local. Kwenye kompyuta yako, fungua dirisha la terminal na andika yafuatayo:

ssh [email protected]

Nenosiri la msingi ni rasipberry

Hatua ya 8: Sakinisha Jukwaa la Snips

Ikiwa haujafanya hivyo, weka Kiingilio cha Amri ya Sam kwenye kompyuta yako. Fungua dirisha la terminal, na uingie:

Sudo npm kufunga -g snips-samor npm kufunga -g snips-sam // Windows

Pata Raspberry yako kwenye mtandao kwa kukimbia:

vifaa vya sam

Ifuatayo, weka unganisho kwa kifaa. Utaombwa kwa jina la mtumiaji na nenosiri la kifaa (chaguo-msingi ni pi na rasipiberi, mtawaliwa):

sam unganisha

Sasa tuko tayari kusanikisha jukwaa la Snips kwenye Raspberry Pi. Ingiza amri:

sam init

Hatua ya 9: Sanidi vifaa

Sam hutoa amri kadhaa za kusanidi na kusanidi vifaa vya vifaa kwa urahisi. Katika sehemu hii, tutaweka spika na kipaza sauti. Kulingana na usanidi wako, usanidi fulani wa desturi unahitaji kufanywa.

sauti ya usanidi wa sam

Mjaribu msemaji

Kuangalia spika inafanya kazi, kimbia

mzungumzaji wa sam

Ikiwa kila kitu kinafanya kazi vizuri, unapaswa kusikia kwenye spika yako sauti ikisema maneno machache. Sanidi maikrofoni Unaweza kuangalia kama maikrofoni yako inafanya kazi:

kipaza sauti ya mtihani wa sam

Kwa kudhani una spika, ikiwa unaweza kusikia wazi kile ulichosema, unaweza kuendelea bila usanidi zaidi wa kipaza sauti.

Mara tu utakaporidhika kuwa usanidi wa vifaa vyako unafanya kazi, uko tayari kuendelea na hatua inayofuata, ambapo utapeleka msaidizi wako wa kwanza.

Hatua ya 10: Kuingiza Mfano wa AI Kutoka kwenye Dashibodi

Mara baada ya kuunda msaidizi wako kutoka kwa hatua zilizopita, ingia kwenye koni kutoka kwa dirisha la terminal kwa kukimbia:

kuingia

Utaulizwa uandike hati zako za Snips Console.

Ifuatayo, weka msaidizi:

msaidizi wa kufunga sam

Ikiwa umeunda wasaidizi kadhaa kwenye Dashibodi, utaulizwa kuchagua ni nani wa kusakinisha kutoka kwenye orodha.

Hatua ya 11: Mshughulikiaji na Msimbo wa Vitendo

Ili Raspberry Pi kujibu, itabidi tuandike nambari ya kushughulikia. Hii ni nambari inayotekelezwa wakati tukio fulani linatokea kwenye jukwaa la Snips, kama vile wakati dhamira imepatikana.

Una njia anuwai za kuunda Kushughulikia kulingana na utendaji kazi.

Unda folda kwenye kompyuta yako ambayo unataka kuhifadhi nambari yako ya mshughulikiaji. Kutoka kwenye dirisha la terminal, badilisha saraka hiyo, na uingie:

npm init

Hii itaunda faili inayoitwa package.json ambayo ina maelezo ya mradi wako, utegemezi na zaidi. Ifuatayo, ongeza utegemezi wa kifurushi cha mqtt:

npm kufunga mqtt - salama

Sasa, tengeneza faili inayoitwa index.js, na ubandike nambari ifuatayo, ukibadilisha jina la mwenyeji na jina la mwenyeji wa Raspberry Pi yako (ikiwa ni tofauti na raspberrypi chaguo-msingi):

var mqtt = kuhitaji ('mqtt');

var jina la mwenyeji = "mqtt: //raspberrypi.local"; mteja wa var = mqtt.connect (jina la mwenyeji); mteja.on ('connect', function () {console.log ("[Snips Log] Imeunganishwa na MQTT broker" + jina la mwenyeji); mteja.subscribe ('hermes / #');}); mteja.on ('message', function (mada, ujumbe) {if (mada === "hermes / asr / startListening") {onListeningStateChanged (true);} vingine ikiwa (mada === "hermes / asr / stopListening" {onListeningStateChanged (false); /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (message));}}); kazi onIntentDetected (dhamira) {console.log ("[Snips Log] Nia imegunduliwa:" + JSON.stringify (dhamira)); } kazi onHotwordDetected () {console.log ("[Snips Log] Hotword imegunduliwa"); } kazi kwenyeListeningStateChanged (kusikiliza) {console.log ("[Snips Log]" + (kusikiliza? "Anza": "Acha") + "kusikiliza"); }

Tumia nambari hii kwa kutumia Node:

node index.js

Unapaswa kuona ujumbe wa unganisho la mafanikio kwa broker wa Snips MQTT. Kama hapo awali, fanya mwingiliano wa sauti na Raspberry Pi yako:

Hey Snips, hali ya hewa ikoje Chennai

Unapaswa kuona kumbukumbu zikisasisha:

[Snips Log] Imeunganishwa na MQTT broker mqtt: //raspberrypi.local

[Kumbukumbu ya Snips] Hotword imegunduliwa [Ingia ya Snips] Anza kusikiliza [Ingia ya Snips] Acha kusikiliza [Ingia ya Snips] Kusudi limegunduliwa: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" chaguomsingi "," pembejeo ":" hali ya hewa iko nini chennai "," dhamira ": {" dhamiraName ":" searchWeatherForecast "," uwezekano ": 0.73845243}," inafaa ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," taasisi ":" eneo ", "slotName": "forecast_locality"}]}

Hatua ya 12: Utatuzi wa matatizo

Futa msaidizi wa awali ikiwa kuna mmoja

$ sudo rm -rf / usr / share / snips / msaidizi /

Kubadilisha saraka kuwa Msaidizi

cd / var / lib / snips / ujuzi /

Ili kulinganisha yaliyomo kwenye repo kuwa ya kawaida

clone ya git

Ili kuendesha hati ya setup.sh

./setup.sh

Amilisha mazingira halisi

chanzo venv / bin / activate

Endesha nambari ya hatua

./tendo-.py

Kutoa ruhusa kwa Hati ya Python

chmod + x hatua-.py

Hatua ya 13: Ufungaji

• Nilikuwa nimetumia kizuizi kilichokadiriwa na IP kwa mradi huu
• Kwanza, nilitengeneza mashimo muhimu ili kuweka mzunguko na nafasi za Kamba ya nguvu na kebo ya HDMI.
• Kisha nikaweka Raspberry Pi yote ndani ya zizi na kuikunja vizuri.
• Nilifanya kufungua kidogo kwa Spika na Kipaza sauti na kuifunika kwa kutumia kipande kidogo cha karatasi ya akriliki.
• Unganisha spika kwa kofia ya ReSpeaker kwa uthabiti.
• Mwishowe, screw zote zimewekwa vizuri na kebo ya nguvu imeingizwa kupitia slot.
• Hivi ndivyo AI inavyoonekana mwishowe: D.

Hatua ya 14: Kufanya kazi kwa AI

Unaweza kupata data ambayo inafuatiliwa kwa kutumia Snips-watch

Sasa ni wakati wa maonyesho. Nilianza kutengeneza na salamu rahisi AI. Angalia inafanya kazi.

AI ya Mkufunzi imewekwa kwa maneno machache. Hii inaweza kupanuliwa na marekebisho kidogo. Hii inasaidia Wanafunzi kukariri maana haraka kuliko njia ya jadi.

Tahadhari ya aina: Mradi huu umefundishwa kwa maneno 25 takriban. Inaweza kupanuliwa zaidi kwa kutengeneza tepe ndogo kwenye nambari ya kitendo.

Unaweza kupata hati za Vitendo kwenye Hifadhi yangu ya Github iliyoambatanishwa.

Repo ya Mradi wa Salamu za AI -

Repo ya Mradi kwa AI ya Mkufunzi -

Unganisha kwa Maombi Yangu:

Usanidi mzima unagharimu karibu $ 115 ambayo inaweza kununuliwa kutoka kwa SNIP na suluhisho hili ni la bei rahisi sana na linalofaa ikilinganishwa na njia za jadi. Vipimo zaidi ya 100, 000 vilichukuliwa nchini India na Bidhaa hii itakuwa nyongeza bora kwa wachukuaji wa GRE.

Toa vidole gumba ikiwa kweli ilikusaidia na fuata kituo changu kwa miradi ya kupendeza.:) Shiriki video hii ikiwa ungependa. Nimefurahiya kuwa umejiandikisha: https://console.snips.ai/store/en/skill_xBKlxnE5K… Asante kwa kusoma!