Watu wengi wanaposikia "akili bandia," wanafikiria mitandao ya neva, algoriti za dhana, au labda roboti zile za ajabu kidogo za kibinadamu. Kinachotajwa mara chache ni hiki: AI hula hifadhi kwa ulafi kama inavyofanya hesabu. Na sio hifadhi yoyote ya vitu vya kuhifadhia tu ambayo hukaa kimya kimya nyuma, ikifanya kazi isiyo ya kupendeza lakini muhimu kabisa ya kulisha mifumo data wanayohitaji.
Hebu tuchambue kinachofanya uhifadhi wa vitu kuwa muhimu sana kwa AI, jinsi ilivyo tofauti na "ulinzi wa zamani" wa mifumo ya kuhifadhi, na kwa nini inaishia kuwa mojawapo ya vichocheo muhimu vya kupanuka na utendaji.
Makala ambazo unaweza kupenda kusoma baada ya hii:
🔗 Ni teknolojia gani zinazopaswa kuwepo ili kutumia AI ya uzalishaji mkubwa kwa biashara
Teknolojia muhimu ambazo biashara zinahitaji ili kuongeza uwezo wa kuzalisha akili bandia kwa ufanisi.
🔗 Usimamizi wa data kwa zana za AI unazopaswa kuangalia
Mbinu bora za kushughulikia data ili kuboresha utendaji wa AI.
🔗 Athari za akili bandia kwa mkakati wa biashara
Jinsi AI inavyoathiri mikakati ya biashara na kufanya maamuzi ya muda mrefu.
Ni Nini Kinachofanya Uhifadhi wa Vitu Kuwa Kiashiria cha AI? 🌟
Wazo kubwa: hifadhi ya vitu haisumbui na folda au mipangilio ya vitalu vigumu. Inagawanya data katika "vitu," kila kimoja kikiwa na metadata. Metadata hiyo inaweza kuwa vitu vya kiwango cha mfumo (ukubwa, mihuri ya muda, darasa la hifadhi) na lebo za ufunguo: thamani zilizofafanuliwa na mtumiaji [1]. Fikiria kama kila faili iliyobeba rundo la noti nata zinazokuambia haswa ni nini, jinsi ilivyoundwa, na mahali inapofaa katika bomba lako.
Kwa timu za AI, kubadilika huko kunabadilisha mchezo:
-
Kipimo bila kipandauso - Maziwa ya data huenea hadi petabytes, na vitu huhifadhiwa hushughulikia kwa urahisi. Vimeundwa kwa ukuaji usio na kikomo na uimara wa AZ nyingi (Amazon S3 inajivunia "nines 11" na unakili wa maeneo mtambuka kwa chaguo-msingi) [2].
-
Utajiri wa metadata - Utafutaji wa haraka, vichujio safi zaidi, na mifumo nadhifu zaidi kwani muktadha unaendana na kila kitu [1].
-
asilia kwenye wingu - Data huja kupitia HTTP(S), ambayo ina maana kwamba unaweza kusambaza mivuto sambamba na kuendelea na mafunzo yaliyosambazwa yakiimba kwa sauti.
-
Ustahimilivu uliookwa - Unapofanya mazoezi kwa siku nyingi, huwezi kuhatarisha enzi ya 12 ya uharibifu wa vipande vya shard. Uhifadhi wa vitu huepuka hilo kwa muundo [2].
Kimsingi ni mkoba usio na mwisho: labda ndani yake ni mchafu, lakini kila kitu bado kinaweza kupatikana unapokifikia.
Jedwali la Ulinganisho wa Haraka kwa Hifadhi ya Kitu cha AI 🗂️
| Zana / Huduma | Bora kwa (Hadhira) | Kiwango cha Bei | Kwa Nini Inafanya Kazi (Maelezo Kwenye Viunganishi) |
|---|---|---|---|
| Amazon S3 | Timu za Biashara + za Wingu la Kwanza | Lipa unapoendelea | Imara sana, imara kikanda [2] |
| Hifadhi ya Wingu la Google | Wanasayansi wa data na watengenezaji wa ML | Ngazi zinazonyumbulika | Miunganisho imara ya ML, inayotokana kikamilifu na wingu |
| Hifadhi ya Azure Blob | Maduka makubwa ya Microsoft | Daraja (moto/baridi) | Haina mshono na data ya Azure + zana za ML |
| MinIO | Mipangilio huria / ya DIY | Mwenyeji huru/mwenyeji binafsi | Inaoana na S3, nyepesi, inasambazwa popote 🚀 |
| Wingu Moto la Wasabi | Mashirika yanayozingatia gharama | Kiwango cha chini cha bei ya chini $ | Hakuna ada ya ombi la kutoka au la API (kwa kila sera) [3] |
| Hifadhi ya Vitu vya Wingu la IBM | Makampuni makubwa | Hubadilika | Rundo lililokomaa lenye chaguo imara za usalama wa biashara |
Daima angalia bei kwa uangalifu dhidi ya matumizi yako halisi - hasa kutoka nje, kiasi cha ombi, na mchanganyiko wa kiwango cha hifadhi.
Kwa Nini Mafunzo ya AI Yanapenda Kuhifadhi Vitu 🧠
Mafunzo si "faili chache." Ni mamilioni ya rekodi zilizovunjwa sambamba. Mifumo ya faili ya kihierarkia inajifunga chini ya sarafu nzito. Hifadhi ya vitu huepuka hilo kwa nafasi tambarare za majina na API safi. Kila kitu kina ufunguo wa kipekee; wafanyakazi hupeperusha na kuleta sambamba. Seti za data zilizochanwa + I/O sambamba = GPU hubaki na shughuli nyingi badala ya kusubiri.
Ncha kutoka kwenye mitaro: weka vipande vya moto karibu na kundi la kompyuta (eneo au eneo moja), na uhifadhi kwa kasi kwenye SSD. Ikiwa unahitaji mipasho ya karibu moja kwa moja kwenye GPU, Hifadhi ya NVIDIA GPUDirect inafaa kuangaliwa - hupunguza vizuizi vya kuruka kwa CPU, hupunguza muda wa kuchelewa, na huongeza kipimo data moja kwa moja hadi vichapuzi [4].
Metadata: Nguvu Kuu Isiyothaminiwa 🪄
Hapa ndipo hifadhi ya vitu inavyong'aa kwa njia zisizo wazi sana. Wakati wa kupakia, unaweza kuambatisha metadata maalum (kama x-amz-meta-… kwa S3). Seti ya data ya maono, kwa mfano, inaweza kuweka lebo kwenye picha kwa kutumia taa=chini au blur=high. Hiyo inaruhusu mabomba kuchuja, kusawazisha, au kupanga bila kuchanganua faili mbichi tena [1].
Na kisha kuna uundaji wa matoleo. Maduka mengi ya vitu huweka matoleo mengi ya kitu kando kwa kando - bora kwa majaribio yanayoweza kurudiwa au sera za utawala zinazohitaji kurejeshwa [5].
Kitu dhidi ya Kizuizi dhidi ya Hifadhi ya Faili ⚔️
-
Hifadhi ya Vizuizi: Nzuri sana kwa hifadhidata za miamala - haraka na sahihi - lakini ni ghali sana kwa data isiyo na muundo wa kiwango cha petabyte.
-
Hifadhi ya Faili: Inayojulikana, rafiki kwa POSIX, lakini saraka husongwa na mizigo mingi sambamba.
-
Hifadhi ya Kitu: Imeundwa kutoka chini hadi juu kwa ajili ya ufikiaji unaoendeshwa na metadata, kipimo, na ulinganifu [1].
Ukitaka sitiari isiyoeleweka: hifadhi ya vizuizi ni kabati la kuhifadhi faili, hifadhi ya faili ni folda ya eneo-kazi, na hifadhi ya vitu ni… shimo lisilo na mwisho lenye noti zinazonata ambazo kwa namna fulani hulifanya liweze kutumika.
Mtiririko wa Kazi wa AI Mseto 🔀
Sio kila wakati huwa ni ya wingu pekee. Mchanganyiko wa kawaida unaonekana kama:
-
Hifadhi ya vitu vilivyopo (MinIO, Dell ECS) kwa data nyeti au iliyodhibitiwa.
-
Hifadhi ya vitu kwenye wingu kwa ajili ya mzigo mkubwa wa kazi, majaribio, au ushirikiano.
Usawa huu unaathiri gharama, uzingatiaji, na wepesi. Nimeona timu zikitupa terabaiti usiku kucha kwenye ndoo ya S3 ili kuwasha kundi la muda la GPU - kisha kuiharibu yote wakati mbio za kasi zinapoisha. Kwa bajeti ngumu, modeli ya Wasabi ya kiwango cha chini/bila kuiondoa [3] hurahisisha maisha kutabiri.
Sehemu Ambayo Hakuna Anayejivunia 😅
Uhakiki wa ukweli: si jambo lisilo na dosari.
-
Muda wa Kusubiri - Weka kompyuta na hifadhi mbali sana na GPU zako zinatambaa. GDS husaidia, lakini usanifu bado ni muhimu [4].
-
Mshangao wa gharama - Ada za ombi la Mtoko na API huwajia watu kisiri. Baadhi ya watoa huduma huziacha (Wasabi hufanya hivyo; wengine hawafanyi hivyo) [3].
-
Mchafuko wa metadata kwa kiwango - Nani anafafanua "ukweli" katika lebo na matoleo? Utahitaji mikataba, sera, na misuli fulani ya utawala [5].
Uhifadhi wa vitu ni miundombinu ya mabomba: muhimu, lakini si ya kupendeza.
Inaelekea Wapi 🚀
-
Hifadhi nadhifu zaidi, inayofahamu akili bandia (AI) ambayo huweka lebo kiotomatiki na kufichua data kupitia tabaka za hoja zinazofanana na SQL [1].
-
Ujumuishaji wa karibu wa vifaa (njia za DMA, upakuaji wa NIC) ili GPU zisiwe na njaa ya I/O [4].
-
Bei ya uwazi na inayotabirika (mifumo iliyorahisishwa, ada za kutoroka zilizoondolewa) [3].
Watu huzungumzia kuhusu hesabu kama mustakabali wa AI. Lakini kihalisia? Kikwazo kinahusu pia kusambaza data kwenye mifumo haraka bila kutumia bajeti kupita kiasi. Ndiyo maana jukumu la kuhifadhi vitu linakua tu.
Muhtasari 📝
Hifadhi ya vitu si ya kuvutia, lakini ni ya msingi. Bila hifadhi inayoweza kupanuliwa, inayozingatia metadata, na inayostahimili, kuwafunza wanamitindo wakubwa huhisi kama kukimbia mbio ndefu wakiwa wamevaa viatu vya michezo.
Kwa hivyo ndio-GPU ni muhimu, mifumo ni muhimu. Lakini ikiwa unajali kuhusu akili bandia (AI), usipuuze mahali data yako inapoishi. Kuna uwezekano mkubwa, hifadhi ya vitu tayari inasimamisha shughuli nzima kimya kimya.
Marejeleo
[1] AWS S3 - Metadata ya kitu - metadata ya mfumo na maalum
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – Madarasa ya kuhifadhi - uimara (“11 nines”) + uimara
https://aws.amazon.com/s3/storage-classes/
[3] Wingu Moto la Wasabi – Bei - kiwango cha kawaida, hakuna ada za kutoka/API
https://wasabi.com/pricing
[4] Hifadhi ya Moja kwa Moja ya NVIDIA GPU – Hati - Njia za DMA kuelekea GPU
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 - Uundaji wa matoleo - matoleo mengi ya utawala/uzazi upya
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html