Hamisha Kujifunza na JetBot ya NVIDIA - Furahiya na mbegu za Trafiki: Hatua 6

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:49

Na dvillevaldMy Github Fuata Kuhusu: Ninapenda programu za AI na ujifunzaji wa mashine, haswa katika roboti Zaidi Kuhusu dvillevald »

Fundisha roboti yako kupata njia katika mlolongo wa mbegu za trafiki ukitumia kamera na mtindo wa hali ya juu wa ujifunzaji wa kina.

Vifaa

• JetBot ya NVIDIA

  Ukurasa wa Muswada wa Bidhaa wa Wiki ya NVIDIA JetBot unaorodhesha kila kitu unachohitaji kujenga JetBot, pamoja na ununuzi wa viungo kutoka kwa wauzaji maarufu

• Kompyuta na NVIDIA GPU

  Inahitajika kutoa mafunzo kwa mfano

• BlueDot Trading 4”RC Mashindano ya Uwezo wa Mashindano, Chungwa - Seti ya 20

Hatua ya 1: Hamasa

Kila wakati ninapoendesha gari katika eneo la contraction ninafikiria jinsi itakuwa ngumu kwa gari la kujiendesha kupitia koni za trafiki. Inageuka kuwa sio ngumu sana na JetBot mpya ya NVIDIA - na picha mia mbili tu, unaweza kufundisha mtindo wa hali ya juu wa kufundisha kufundisha roboti yako jinsi ya kupata njia kwenye maze ya koni za trafiki za kuchezea. kutumia kamera ya ndani tu na hakuna sensorer nyingine.

Hatua ya 2: NVIDIA JetBot & Muhtasari wa Mradi

JetBot ni roboti ya chanzo wazi kulingana na kitanda cha NVIDIA Jetson Nano. Unaweza kupata maagizo ya kina juu ya jinsi ya kujenga na kuiweka hapa.

Mradi huu ni mfano wa kuepusha mgongano kutoka kwa NVIDIA JetBot Wiki. Inayo hatua tatu kuu, kila moja imeelezewa katika daftari tofauti ya Jupyter:

• Kukusanya data kwenye JetBot - daftari data_collection_cones.ipynb
• Mfano wa treni kwenye mashine nyingine ya GPU - daftari train_model_cones.ipynb
• Endesha onyesho la moja kwa moja kwenye JetBot - daftari live_demo_cones.ipynb

Unaweza kupata daftari hizi tatu za Jupyter hapa

Hatua ya 3: Jenga JetBot na Pakia Jarida za Jupyter

1. Jenga na usanidi JetBot kama ilivyoelezwa hapa
2. Unganisha na roboti yako kwa kusogea kwa https://: 8888 Ingia na jetbot ya nywila chaguomsingi
3. Zima daftari zingine zinazoendesha kwa kuchagua Kernel -> Zima Kernel Zote…
4. Nenda kwa ~ / Daftari /
5. Unda folda ndogo ndogo ~ / Madaftari / trafiki_na_kuendesha /
6. Pakia data_collection_cones.ipynb na live_demo_cones.ipynb kwa ~ / Notebooks / trafiki_cones_driving /

MUHIMU: Madaftari ya Jupyter data_collection_cones.ipynb na live_demo_cones.ipynb iliyotajwa katika maagizo haya inapaswa kuendeshwa kwenye JetBot wakati train_model_cones.ipynb - kwenye kompyuta na GPU.

Kwa hivyo tunapaswa kupakia data_collection_cones.ipynb na live_demo_cones.ipynb kwa JetBot na kuziweka kwenye ~ / Daftari / trafiki_cones_driving /

Hatua ya 4: Kukusanya Takwimu za Mafunzo kwenye JetBot

Tutakusanya mkusanyiko wa data ya uainishaji ambayo itatumika kusaidia JetBot kufanya kazi kwenye maze ya mbegu za trafiki. JetBot itajifunza jinsi ya kukadiria uwezekano wa matukio manne (madarasa):

• Bure - wakati ni salama kusonga mbele
• Imezuiwa - wakati kuna kikwazo mbele ya roboti
• Kushoto - wakati roboti inapaswa kuzunguka kushoto
• Kulia - wakati roboti inapaswa kuzunguka kulia

Kukusanya data ya mafunzo kwenye JetBot tutatumia daftari ya Jupyter data_collection_cones.ipynb ambayo ina maagizo ya maelezo juu ya jinsi ya kuifanya. Ili kuendesha daftari hili kwenye JetBot, fuata hatua zifuatazo:

1. Unganisha na roboti yako kwa kusogea kwa https://: jetbot-ip-address:: 8888
2. Ingia na jetbot ya nywila chaguomsingi
3. Zima daftari zingine zinazoendesha kwa kuchagua Kernel -> Zima Kernel Zote…
4. Nenda kwa ~ / Daftari / trafiki_cones_Driving /
5. Fungua na ufuate daftari ya data_collection_cones.ipynb

Hatua ya 5: Treni Mtandao wa Neural kwenye Mashine ya GPU

Ifuatayo, tutatumia data iliyokusanywa kufundisha tena mtindo wa kina wa kujifunza AlexNet kwenye mashine ya GPU (mwenyeji) kwa kuendesha train_model_cones.ipynb.

Kumbuka kuwa train_model_cones.ipynb ndio daftari pekee ya Jupyter katika mafunzo haya ambayo hayaendeshwi SIYO kwenye JetBot

1. Unganisha kwenye mashine ya GPU na PyTorch iliyosanikishwa na seva ya Jupyter Lab inayoendesha
2. Pakia daftari_modeli_cones.ipynb daftari na kwa mashine hii
3. Pakia faili ya dataset_cones.zip ambayo uliunda kwenye daftari ya data_collection_cones.ipynb na utoe daftari hii. (Baada ya hatua hii unapaswa kuona folda inayoitwa dataset_cones zinaonekana kwenye kivinjari cha faili.)
4. Fungua na ufuate daftari_model_cones.ipynb daftari. Mwisho wa hatua hii, utaunda mfano - faili bora_model_cones.pth ambayo inapaswa kupakiwa kwenye JetBot kuendesha onyesho la moja kwa moja.

Hatua ya 6: Endesha Demo ya Moja kwa Moja kwenye JetBot

Hatua hii ya mwisho ni kupakia mfano bora_model_cones.pth kwa JetBot na kuiendesha.

1. Nguvu robot yako kutoka pakiti ya betri ya USB
2. Unganisha tena kwenye roboti yako kwa kusogea kwa https://: jetbot-ip-address:: 8888
3. Ingia na jetbot ya nywila chaguomsingi
4. Zima daftari zingine zinazoendesha kwa kuchagua Kernel -> Zima Kernel Zote…
5. Nenda kwa ~ / Daftari / trafiki_cones_driving
6. Fungua na ufuate daftari ya live_demo_cones.ipynb

Anza kuwa mwangalifu na upe JetBot nafasi ya kutosha kuzunguka. Jaribu usanidi wa koni tofauti na uone jinsi roboti inavyofanya vizuri katika mazingira tofauti, taa, nk. Wakati daftari live_demo_cones.ipynb inaelezea hatua zote kwa undani, chati ifuatayo inaonyesha mantiki ya hatua za roboti kutokana na uwezekano uliotabiriwa na mifano.

Daftari pia inaelezea jinsi ya kuhifadhi historia ya hatua za roboti na uwezekano wa bure / kushoto / kulia / uliozuiliwa uliotabiriwa na modeli na jinsi ya kutengeneza video mbili za FPV (Mtu wa Kwanza Kuangalia) (kwa 1 fps na 15 fps viwango) na telemetry iliyowekwa juu na Data ya vitendo vya JetBot. Hizo ni muhimu kwa utatuzi, urekebishaji wa mtawala wa PID na uboreshaji wa modeli.

Furahiya na unijulishe ikiwa una maswali!:-)

Nambari inapatikana kwenye Github