Edge AI ni nini?

Edge AI inasukuma akili nje hadi mahali data huzaliwa. Inaonekana kuwa ya kupendeza, lakini wazo kuu ni rahisi: fikiria karibu na kihisi ili matokeo yaonekane sasa, sio baadaye. Unapata kasi, kutegemewa na hadithi nzuri ya faragha bila wingu kutunza kila uamuzi. Hebu tufungue njia za mkato na jitihada za kando zikiwemo. 😅

Makala unayoweza kupenda kusoma baada ya hii:

🔗 AI ya kuzalisha ni nini
Ufafanuzi wazi wa AI generative, jinsi inavyofanya kazi, na matumizi ya vitendo.

🔗 AI ya mawakala ni nini
Muhtasari wa AI ya mawakala, tabia zinazojiendesha, na mifumo ya utumizi ya ulimwengu halisi.

🔗 AI scalability ni nini
Jifunze jinsi ya kuongeza mifumo ya AI kwa uhakika, kwa ufanisi na kwa gharama nafuu.

🔗 Mfumo wa programu kwa AI ni nini
Uchanganuzi wa mifumo ya programu ya AI, faida za usanifu, na misingi ya utekelezaji.

Edge AI ni nini? Ufafanuzi wa haraka 🧭

Edge AI ni mazoezi ya kuendesha miundo ya kujifunza mashine iliyofunzwa moja kwa moja kwenye au karibu na vifaa vinavyokusanya simu za data, kamera, roboti, magari, vifaa vya kuvaliwa, vidhibiti vya viwandani, ukitaja. Badala ya kusafirisha data ghafi kwa seva za mbali kwa ajili ya uchambuzi, kifaa huchakata ingizo ndani ya nchi na kutuma tu muhtasari au kutotuma chochote. Safari chache za kwenda na kurudi, kuchelewa kidogo, udhibiti zaidi. Ikiwa unataka mfafanuzi safi, asiyeegemea upande wowote wa muuzaji, anza hapa. [1]

Ni nini hufanya Edge AI kuwa muhimu? 🌟

• Muda wa kusubiri wa chini - maamuzi hufanyika kwenye kifaa, kwa hivyo majibu huhisi papo hapo kwa kazi za utambuzi kama vile kutambua kitu, kuona kwa neno moja au arifa za hitilafu. [1]

• Faragha kulingana na eneo - data nyeti inaweza kukaa kwenye kifaa, kupunguza kufichua na kusaidia katika mijadala ya kupunguza data. [1]

• Uhifadhi wa kipimo cha data - tuma vipengele au matukio badala ya mitiririko ghafi. [1]

• Ustahimilivu - hufanya kazi wakati wa muunganisho wa mchoro.

• Udhibiti wa gharama - mizunguko michache ya kukokotoa wingu na utokaji mdogo.

• Ufahamu wa muktadha - kifaa "huhisi" mazingira na hubadilika.

Hadithi ya haraka: majaribio ya rejareja alibadilisha upakiaji wa mara kwa mara wa kamera kwa uainishaji wa kifaa dhidi ya mtu na kusukuma hesabu za saa na klipu za kipekee pekee. Matokeo: arifa za sub-200 ms ukingo wa rafu na ~90% kushuka kwa trafiki ya juu-bila kubadilisha mikataba ya WAN ya duka. (Njia: makisio ya ndani, mkusanyiko wa hafla, hitilafu pekee.)

Edge AI dhidi ya AI ya wingu - utofautishaji wa haraka 🥊

• Mahali ambapo hesabu itafanyika : edge = on-device/near-device; wingu = vituo vya data vya mbali.

• Kuchelewa : makali ≈ muda halisi; cloud ina safari za kwenda na kurudi.

• Harakati ya data : vichungi vya makali / compresses kwanza; cloud inapenda upakiaji wa uaminifu kamili.

• Kuegemea : makali yanaendelea kufanya kazi nje ya mtandao; cloud inahitaji muunganisho.

• Utawala : makali inasaidia kupunguza data; wingu huweka uangalizi katikati. [1]

Sio ama-au. Mifumo mahiri huchanganyika zote mbili: maamuzi ya haraka ndani ya nchi, uchanganuzi wa kina na mafunzo ya meli kutoka serikalini. Jibu la mseto ni la kuchosha-na ni sahihi.

Jinsi Edge AI inavyofanya kazi chini ya kofia 🧩

1. Sensorer hunasa mawimbi ghafi - fremu za sauti, pikseli za kamera, migongo ya IMU, ufuatiliaji wa mtetemo.

2. Uchakataji wa awali hutengeneza upya ishara hizo kuwa vipengele vinavyofaa mfano.

3. Muda wa utekelezaji wa uelekezaji hutekeleza muundo wa kompakt kwenye kifaa kwa kutumia vichapuzi inapopatikana.

4. Uchakataji baada ya usindikaji hubadilisha matokeo kuwa matukio, lebo au vitendo vya kudhibiti.

5. Telemetry hupakia yale muhimu pekee: muhtasari, hitilafu, au maoni ya mara kwa mara.

Saa za utendakazi kwenye kifaa utaona porini ni pamoja na LiteRT (zamani TensorFlow Lite), ONNX Runtime , na Intel's OpenVINO . Minyororo hii ya zana hubana upitaji kutoka kwa bajeti kali za nguvu/kumbukumbu kwa mbinu kama vile ujazo na uunganishaji wa opereta. Ikiwa unapenda karanga na bolts, hati zao ni imara. [3][4]

Inapoonekana - kesi za matumizi halisi unaweza kuelekeza 🧯🚗🏭

• Maono ukingoni : kamera za kengele ya mlango (watu dhidi ya wanyama vipenzi), uchunguzi wa rafu katika rejareja, drones kuona kasoro.

• Sauti kwenye kifaa : wake maneno, imla, utambuzi wa uvujaji katika mimea.

• IoT ya Viwanda : motors na pampu zinazofuatiliwa kwa hitilafu za vibration kabla ya kushindwa.

• Magari : ufuatiliaji wa madereva, utambuzi wa njia, usaidizi wa maegesho-sekunde ndogo au bust.

• Huduma ya afya : wearables bendera arrhythmias ndani ya nchi; kusawazisha muhtasari baadaye.

• Simu mahiri : uboreshaji wa picha, utambuzi wa simu taka, "simu yangu ilifanyaje hivyo nje ya mtandao".

Kwa ufafanuzi rasmi (na mazungumzo ya binamu ya "ukungu dhidi ya makali"), angalia muundo wa dhana wa NIST. [2]

Vifaa vinavyoifanya iwe rahisi 🔌

Majukwaa machache hukaguliwa majina mengi:

• NVIDIA Jetson - moduli zinazoendeshwa na GPU za roboti/kamera-Swiss-Army-kisu vibes kwa AI iliyopachikwa.

• Google Edge TPU + LiteRT - makisio kamili kamili na wakati ulioratibiwa wa utekelezaji kwa miradi ya nishati ya chini kabisa. [3]

• Apple Neural Engine (ANE) - ML iliyobana kwenye kifaa kwa iPhone, iPad, na Mac; Apple imechapisha kazi ya vitendo ya kupeleka transfoma kwa ufanisi kwenye ANE. [5]

• Intel CPUs/iGPUs/NPU zilizo na OpenVINO - "andika mara moja, peleka popote" kwenye maunzi ya Intel; pasi za uboreshaji muhimu.

• Muda wa Kuendesha wa ONNX kila mahali - muda wa utekelezaji usioegemea upande wowote na watoa huduma wanaoweza kuchomeka kwenye simu, Kompyuta na lango. [4]

Je, unahitaji zote? Si kweli. Chagua njia moja thabiti inayolingana na meli yako na ushikamane nayo-churn ni adui wa timu zilizopachikwa.

Rafu ya programu - ziara fupi 🧰

• Ukandamizaji wa mfano : quantization (mara nyingi hadi int8), kupogoa, kunereka.

• Uongezaji kasi wa kiwango cha opereta : kokwa zilizowekwa kwenye silicon yako.

• Muda wa Kutumika : LiteRT, Muda wa Kuendesha ONNX, OpenVINO. [3][4]

• Vifungashio vya kusambaza : vyombo/vifurushi vya programu; wakati mwingine huduma ndogo kwenye lango.

• MLOps za ukingo : masasisho ya muundo wa OTA, uchapishaji wa A/B, vitanzi vya telemetry.

• Vidhibiti vya faragha na usalama : usimbaji fiche kwenye kifaa, buti salama, uthibitisho, enclaves.

Kipochi kidogo: timu ya ukaguzi ya ndege zisizo na rubani iliyeyusha kigunduzi cha uzani mzito kuwa kielelezo cha wanafunzi kilichohesabiwa kwa LiteRT, kisha kuunganisha NMS kwenye kifaa. Muda wa safari ya ndege umeboreshwa ~ 15% kutokana na mchoro mdogo wa kukokotoa; pakia sauti imepungua hadi fremu za kipekee. (Njia: kunasa seti ya data kwenye tovuti, urekebishaji baada ya wingi, hali ya kivuli A/B kabla ya uchapishaji kamili.)

Jedwali la kulinganisha - chaguzi maarufu za Edge AI 🧪

Mazungumzo ya kweli: jedwali hili ni la maoni na ni fujo kidogo-kama ulimwengu wa kweli.

Jinsi ya kuchagua njia ya Edge AI - mti mdogo wa maamuzi 🌳

• Je! ni ngumu sana maisha yako? Anza na vichapuzi + mifano iliyopimwa.

• Aina nyingi za kifaa? Penda Muda wa Kutumika wa ONNX au OpenVINO kwa kubebeka. [4]

• Je, unasafirisha programu ya simu? LiteRT ni njia ya upinzani mdogo. [3]

• Uchambuzi wa roboti au kamera? Ops za Jetson zinazofaa kwa GPU kuokoa muda.

• Mkao mkali wa faragha? Weka data ndani, usimbue kwa njia fiche wakati wa mapumziko, majumuisho ya kumbukumbu si fremu mbichi.

• Timu ndogo? Epuka minyororo ya nje ya zana-boring ni nzuri.

• Mifano itabadilika mara nyingi? Panga OTA na telemetry kutoka siku ya kwanza.

Hatari, mipaka, na mambo ya kuchosha-lakini-muhimu 🧯

• Mfano wa drift - mabadiliko ya mazingira; fuatilia usambazaji, endesha njia za kivuli, fanya mazoezi mara kwa mara.

• Kokotoa dari - kumbukumbu/nguvu hulazimisha miundo midogo au usahihi uliolegezwa.

• Usalama - kudhani upatikanaji wa kimwili; tumia buti salama, vizalia vilivyotiwa saini, uthibitisho, huduma za upendeleo mdogo.

• Utawala wa data - usindikaji wa ndani husaidia, lakini bado unahitaji idhini, uhifadhi, na telemetry ya upeo.

• Fleet Ops - vifaa huenda nje ya mtandao kwa nyakati mbaya zaidi; tengeneza masasisho yaliyoahirishwa na upakiaji unaoendelea.

• Mchanganyiko wa talanta - iliyoingia + ML + DevOps ni wafanyakazi wa motley; treni ya kuvuka mapema.

Ramani ya vitendo ya kusafirisha kitu muhimu 🗺️

1. Chagua kipochi kimoja cha utumiaji chenye ugunduzi wa kasoro ya thamani inayoweza kupimika kwenye Mstari wa 3, wake neno kwenye spika mahiri, n.k.

2. Kusanya mkusanyiko wa data nadhifu unaoakisi mazingira lengwa; ingiza kelele ili kuendana na ukweli.

3. Prototype kwenye kifaa cha dev karibu na maunzi ya uzalishaji.

4. Finyaza kielelezo kwa quantization / kupogoa; pima upotezaji wa usahihi kwa uaminifu. [3]

5. Funga makisio katika API safi yenye shinikizo la nyuma na walinzi-kwa sababu vifaa vinaning'inia saa 2 asubuhi

6. Ubunifu wa telemetry inayoheshimu faragha: hesabu za kutuma, histograms, vipengele vilivyotolewa.

7. Imarisha usalama : jozi zilizotiwa saini, buti salama, huduma ndogo zimefunguliwa.

8. Panga OTA : uchapishaji kwa hatua, canaries, urejeshaji wa papo hapo.

9. Rubani katika kipochi chenye kona mbaya kwanza-ikiwa itasalia hapo, itaishi popote.

10. Mizani ukitumia kitabu cha kucheza : jinsi utakavyoongeza miundo, zungusha vitufe, hifadhi data kwenye kumbukumbu ili mradi #2 usiwe fujo.

Maswali Yanayoulizwa Mara kwa Mara - majibu mafupi kwa wa Edge AI ❓

Je! Edge AI inaendesha tu modeli ndogo kwenye kompyuta ndogo?
Mara nyingi, ndio-lakini saizi sio hadithi nzima. Pia inahusu bajeti za muda wa kusubiri, ahadi za faragha, na kupanga vifaa vingi vinavyofanya kazi ndani lakini vinajifunza kimataifa. [1]

Je, ninaweza kutoa mafunzo ukingoni pia?
Mafunzo/ubinafsishaji wepesi kwenye kifaa upo; mafunzo mazito bado yanaendeshwa katikati. Hati za Muda wa Runtime za ONNX chaguo za mafunzo kwenye kifaa ikiwa wewe ni mjanja. [4]

Edge AI vs kompyuta ya ukungu ni nini?
Ukungu na makali ni binamu. Zote mbili huleta kompyuta karibu na vyanzo vya data, wakati mwingine kupitia lango la karibu. Kwa ufafanuzi na muktadha rasmi, angalia NIST. [2]

Je, Edge AI inaboresha faragha kila wakati?
Inasaidia-lakini sio uchawi. Bado unahitaji kupunguzwa, njia salama za sasisho, na ukataji wa kumbukumbu kwa uangalifu. Chukulia faragha kama mazoea, si kisanduku cha kuteua.

Upigaji mbizi wa kina unaweza kusoma 📚

1) Uboreshaji wa muundo ambao hauharibu usahihi

Ukadiriaji unaweza kupunguza kumbukumbu na kuongeza kasi ya utendaji, lakini kurekebisha kwa kutumia data wakilishi au kielelezo kinaweza kudanganya kuro mahali ambapo kuna koni za trafiki. Mwalimu wa kunereka anayemwongoza mwanafunzi mdogo-mara nyingi huhifadhi semantiki. [3]

2) Muda wa utekelezaji wa uelekezaji katika mazoezi

Mkalimani wa LiteRT ni kumbukumbu iliyotulia kimakusudi wakati wa utekelezaji. ONNX Runtime huchomeka kwenye vichapuzi tofauti kupitia watoa huduma wa utekelezaji. Wala si risasi ya fedha; zote mbili ni nyundo imara. [3][4]

3) Uimara porini

Joto, vumbi, nguvu hafifu, slapdash Wi-Fi: jenga walinzi ambao huwasha upya mabomba, maamuzi ya akiba, na kupatanisha mtandao unaporejea. Haipendezi sana kuliko vichwa vya umakini - ni muhimu zaidi ingawa.

Maneno utakayorudia katika mikutano - Edge AI ni nini 🗣️

Edge AI husogeza akili karibu na data ili kukidhi vikwazo vya vitendo vya latency, faragha, bandwidth, na kuegemea. Uchawi sio chip moja au mfumo-ni kuchagua kwa busara kile cha kukokotoa wapi.

Maneno ya Mwisho - Muda Mrefu, Sikuisoma 🧵

Edge AI huendesha miundo karibu na data ili bidhaa zihisi haraka, za faragha na thabiti. Utachanganya makisio ya ndani na uangalizi wa wingu kwa ulimwengu bora zaidi. Chagua muda wa kukimbia unaolingana na vifaa vyako, tegemea vichapuzi unapoweza, weka miundo nadhifu kwa kubana, na usanifu shughuli za meli kama vile kazi yako inategemea-kwa sababu, huenda. Ikiwa mtu anauliza Edge AI ni nini , sema: maamuzi ya busara, yaliyofanywa ndani ya nchi, kwa wakati. Kisha tabasamu na ubadilishe mada kuwa betri. 🔋🙂

Marejeleo

1. IBM - Edge AI ni nini? (ufafanuzi, faida).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Muundo wa Dhana ya Kompyuta ya Ukungu (muktadha rasmi wa ukungu/kingo).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (zamani TensorFlow Lite) (wakati wa kukimbia, quantization, uhamiaji).
   https://ai.google.dev/edge/litert

4. Muda wa Kuendesha wa ONNX - Mafunzo ya Kifaa (wakati unaobebeka wa kukimbia + mafunzo kwenye vifaa vya ukingo).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Utafiti wa Kujifunza kwa Mashine ya Apple - Kutuma Transfoma kwenye Injini ya Neural ya Apple (maelezo ya ufanisi ya ANE).
   https://machinelearning.apple.com/research/neural-engine-transformers

Pata AI ya Hivi Punde kwenye Duka Rasmi la Msaidizi wa AI

Kuhusu Sisi