AI ilikuwa ikitumika kwenye seva kubwa na GPU za wingu. Sasa inapungua na kuteleza karibu na vitambuzi. AI kwa mifumo iliyopachikwa si ahadi ya mbali - tayari inasikika ndani ya friji, ndege zisizo na rubani, vifaa vya kuvaliwa ... hata vifaa ambavyo havionekani "nadhifu" hata kidogo.
Hii ndiyo sababu mabadiliko haya ni muhimu, ni nini kinachofanya iwe vigumu, na ni chaguzi zipi zinazofaa muda wako.
Makala ambazo unaweza kupenda kusoma baada ya hii:
🔗 Zana bora za utawala wa AI zinazohakikisha mifumo ya AI inayozingatia maadili na uwazi
Mwongozo wa zana zinazosaidia kudumisha AI ya kimaadili, inayozingatia sheria, na inayoeleweka.
🔗 Hifadhi ya vitu kwa AI: chaguo, chaguo, chaguo
Ulinganisho wa chaguo za kuhifadhi vitu vilivyoundwa kwa ajili ya mzigo wa kazi wa AI.
🔗 Mahitaji ya kuhifadhi data kwa AI: unachohitaji kujua hasa
Mambo muhimu ya kuzingatia wakati wa kupanga uhifadhi wa data ya AI.
AI kwa Mifumo Iliyopachikwa🌱
Vifaa vilivyopachikwa ni vidogo, mara nyingi hutumia betri, na rasilimali zake ni chache. Lakini AI huleta mafanikio makubwa:
-
Maamuzi ya wakati halisi bila safari za kwenda na kurudi kwenye wingu.
-
Faragha kwa muundo - data ghafi inaweza kubaki kwenye kifaa.
-
Punguza muda wa kusubiri wakati milisekunde ni muhimu.
-
Uamuzi unaozingatia nishati kupitia chaguo makini za modeli + vifaa.
Hizi si faida za mkono-wimbi: kusukuma kompyuta hadi ukingoni hupunguza utegemezi wa mtandao na huimarisha faragha kwa matumizi mengi [1].
Ujanja si nguvu kali - ni kuwa mwerevu na rasilimali chache. Fikiria kukimbia mbio za marathon ukiwa na mkoba wa mgongoni ... na wahandisi wanaendelea kuondoa matofali.
Jedwali la Ulinganisho wa Haraka wa AI kwa Mifumo Iliyopachikwa 📝
| Zana / Mfumo | Hadhira Bora | Bei (takriban) | Kwa Nini Inafanya Kazi (maelezo ya ajabu) |
|---|---|---|---|
| TensorFlow Lite | Wasanidi programu, wapenzi wa burudani | Bure | Nyembamba, inayobebeka, nzuri ya MCU → chanjo ya simu |
| Msukumo wa Ukingo | Wanaoanza na wanaoanza | Viwango vya Freemium | Mtiririko wa kazi wa kuburuta na kudondosha - kama vile “AI LEGO” |
| Jukwaa la Nvidia Jetson | Wahandisi wanaohitaji umeme | $$$ (sio bei rahisi) | Viongeza kasi vya GPU + kwa ajili ya kuona/kufanya kazi kwa bidii |
| TinyML (kupitia Arduino) | Waelimishaji, waandaaji wa prototypes | Gharama ya chini | Inaweza kufikiwa kwa urahisi; inaendeshwa na jamii ❤️ |
| Injini ya AI ya Qualcomm | OEM, watengenezaji wa simu | Hubadilika | NPU-imeharakishwa kwenye Snapdragon - haraka sana |
| ExecuTorch (PyTorch) | Watengenezaji wa simu na vifaa vya pembeni | Bure | Muda wa kufanya kazi wa PyTorch kwenye kifaa kwa simu/vifaa vya kuvaliwa/vilivyopachikwa [5] |
(Ndiyo, hakuna usawa. Ndivyo ilivyo na ukweli.)
Kwa Nini AI kwenye Vifaa Vilivyopachikwa Ni Muhimu kwa Sekta 🏭
Sio tu hype: kwenye mistari ya kiwanda, mifumo midogo hugundua kasoro; katika kilimo, nodi zenye nguvu ndogo huchambua udongo shambani; katika magari, vipengele vya usalama haviwezi "kupiga simu nyumbani" kabla ya breki. Wakati ucheleweshaji na faragha haviwezi kujadiliwa, kusogeza hesabu hadi ukingoni ni njia ya kimkakati [1].
TinyML: Shujaa Kimya wa AI Iliyopachikwa 🐜
TinyML huendesha mifumo kwenye vidhibiti vidogo vyenye kilobaiti hadi megabaiti chache za RAM - lakini bado hutoa utambuzi wa maneno muhimu, utambuzi wa ishara, ugunduzi wa anomali, na zaidi. Ni kama kutazama kipanya kikiinua tofali. Inaridhisha ajabu.
Mfano wa haraka wa kiakili:
-
Nyayo za data: pembejeo ndogo za kitambuzi cha utiririshaji.
-
Mifumo: CNN/RNN ndogo, ML ya kawaida, au nyavu zilizogawanywa/zilizopimwa.
-
Bajeti: milliwati, si wati; KB–MB, si GB.
Chaguo za Vifaa: Gharama dhidi ya Utendaji ⚔️
Kuchagua vifaa ndiko miradi mingi hutetemeka:
-
Darasa la Raspberry Pi: CPU rafiki, inayotumika kwa matumizi ya jumla; imara kwa mifano halisi.
-
NVIDIA Jetson: moduli za AI zenye makali zilizojengwa kwa madhumuni (km, Orin) zinazotoa makumi kwa mamia ya TOPS kwa ajili ya kuona kwa wingi au mirundiko ya mifumo mingi - nzuri, lakini ghali zaidi na nzito zaidi [4].
-
Google Coral (Edge TPU): kiongeza kasi cha ASIC kinachotoa ~4 TOPS kwa takriban 2W (~2 TOPS/W) kwa modeli zilizopimwa - utendaji mzuri wa utendaji/W wakati modeli yako inakidhi vikwazo [3].
-
SoC za Simu Mahiri (Snapdragon): husafirishwa na NPU na SDK ili kuendesha mifumo kwa ufanisi kwenye kifaa.
Kanuni ya kidole gumba: kusawazisha gharama, joto, na hesabu. "Vizuri vya kutosha, kila mahali" mara nyingi hushinda "makali ya hali ya juu, hakuna mahali."
Changamoto za Kawaida katika AI kwa Mifumo Iliyopachikwa 🤯
Wahandisi mara kwa mara hupambana na:
-
Kumbukumbu finyu: vifaa vidogo haviwezi kuhifadhi modeli kubwa.
-
Bajeti ya betri: kila milliamp ni muhimu.
-
Uboreshaji wa modeli:
-
Upimaji → uzito/uanzishaji mdogo, wa haraka zaidi wa int8/float16.
-
Kupogoa → kuondoa uzito mdogo kwa ajili ya uhaba.
-
Kuunganisha/kushiriki uzito → kubana zaidi.
Hizi ni mbinu za kawaida za ufanisi wa kifaa [2].
-
-
Kuongeza: darasa la majaribio la Arduino ≠ mfumo wa uzalishaji wa magari wenye vikwazo vya usalama, usalama, na mzunguko wa maisha.
Unafanya hitilafu? Piga picha ukisoma kitabu kupitia tundu la funguo… ukiwa umevaa mittens.
Matumizi ya Vitendo Utayaona Zaidi Hivi Karibuni 🚀
-
Vivaliwa mahiri vinavyotoa maarifa ya afya kwenye kifaa.
-
Kamera za IoT zikiripoti matukio bila kutiririsha video ghafi.
-
Wasaidizi wa sauti wa nje ya mtandao kwa udhibiti usiotumia mikono - hakuna utegemezi wa wingu.
-
Ndege zisizo na rubani zinazojiendesha zenyewe kwa ajili ya ukaguzi, uwasilishaji, na usahihi wa hali ya hewa.
Kwa kifupi: AI inakaribia zaidi - kwenye mikono yetu, jikoni zetu, na katika miundombinu yetu.
Jinsi Wasanidi Programu Wanavyoweza Kuanza 🛠️
-
Anza na TensorFlow Lite kwa ajili ya zana pana na MCU→ufikiaji wa simu; tumia upimaji/kupogoa mapema [2].
-
Chunguza ExecuTorch ikiwa unaishi katika eneo la PyTorch na unahitaji muda wa kufanya kazi kwenye kifaa kwenye simu na iliyopachikwa [5].
-
Jaribu vifaa vya Arduino + TinyML kwa ajili ya uundaji wa prototype wa haraka na wa kupendeza.
-
Unapendelea mifumo ya kuona? Edge Impulse hupunguza kizuizi kwa kunasa data, mafunzo, na kuisambaza.
-
Chukulia vifaa kama raia wa daraja la kwanza - mfano kwenye CPU, kisha uthibitishe kwenye kichocheo chako lengwa (Edge TPU, Jetson, NPU) ili kuthibitisha ucheleweshaji, joto, na delta za usahihi.
Kielelezo kidogo: Timu inasafirisha kigunduzi cha mtetemo-kitendawili kwenye kitambuzi cha seli-sarafu. Mfano wa float32 unakosa bajeti ya nguvu; upimaji wa int8 hupunguza nishati kwa kila makadirio, hupunguza kumbukumbu, na huendesha kazi kwa njia ya uendeshaji MCU inakamilisha kazi - hakuna mtandao unaohitajika [2,3].
Mapinduzi ya Kimya ya AI kwa Mifumo Iliyopachikwa 🌍
Wasindikaji wadogo na wa bei nafuu wanajifunza kuhisi → kufikiri → kutenda - ndani ya eneo husika. Maisha ya betri yatatusumbua kila wakati, lakini njia ni wazi: mifumo iliyobana, vikusanyaji bora, viongeza kasi nadhifu. Matokeo yake? Teknolojia inayohisika kuwa ya kibinafsi na inayoitikia kwa sababu haijaunganishwa tu - ni kuzingatia.
Marejeleo
[1] ETSI (Kompyuta ya Ufikiaji wa Mbalimbali) - Faida za kuchelewa/faragha na muktadha wa tasnia.
ETSI MEC: Muhtasari Mpya wa Karatasi Nyeupe
[2] Zana ya Uboreshaji wa Mifumo ya TensorFlow ya Google - Upimaji, upogoaji, upangaji kwa ajili ya ufanisi wa kifaa.
Mwongozo wa Uboreshaji wa Mifumo ya TensorFlow
[3] Google Coral Edge TPU - Vipimo vya Perf/W kwa ajili ya kuongeza kasi ya ukingo.
Vipimo vya Edge TPU
[4] NVIDIA Jetson Orin (Rasmi) - Moduli za AI za Edge na bahasha za utendaji.
Muhtasari wa Moduli za Jetson Orin
[5] PyTorch ExecuTorch (Hati Rasmi) - Muda wa uendeshaji wa PyTorch kwenye kifaa kwa simu na makali.
Muhtasari wa ExecuTorch