Kituo cha Data cha AI ni nini? [Video na Maswali]

Jibu fupi: Kituo cha data cha AI ni yenye msongamano mkubwa ambapo nguvu, upoezaji, kitambaa, na hifadhi huelekezwa kwenye mifumo ya mafunzo na huduma, si chumba cha seva chenye GPU za ziada. Chipu hupata umaarufu; jengo huamua kama zinafanya kazi. Ikiwa picha haziwezi kuondoka, rekebisha seli ndogo; timu nyingi zinapaswa kukodisha.

Mambo muhimu ya kuzingatia:

Chipsi dhidi ya ujenzi: Nguvu, upoezaji, kitambaa, na uhifadhi huamua kama viongeza kasi vinafanya kazi.

Sehemu si majumba: Tengeneza tena raki mbili wakati data haiwezi kuondoka; usinunue chuo kikuu.

Wastani dhidi ya wastani: Katika mizunguko minane, wastani hujificha upya; tumia wastani wa saa 18.

Upinzani wa matumizi mabaya: Usinukuu PUE kwa raki mbili katika ukumbi mchanganyiko.

Matokeo ya mfano: Mizunguko minane ni ramani ndogo, si kuokoa uzalishaji kwa 50%.

Makala ambazo unaweza kupenda kusoma baada ya hii:

🔗 Je, AI inaaminika? Video na jaribio
Gundua uaminifu wa AI kupitia video inayovutia na jaribio shirikishi.

🔗 Jinsi ya kutumia akili bandia katika maisha ya kila siku
Gundua njia za vitendo ambazo akili bandia inaweza kurahisisha kazi na utaratibu wa kila siku.

🔗 Jinsi ya kutumia AI kazini
Jifunze njia za vitendo za kutumia AI kwa tija nadhifu mahali pa kazi.

🔗 Je, akili bandia inaweza kufikiria yenyewe?
Elewa kama akili bandia inaweza kufikiria kwa uhuru au kwa kutumia akili.

Jinsi inavyotofautiana na kituo cha data "cha kawaida"

Kumbi za kitamaduni huboresha mzigo wa kazi mchanganyiko na muda wa ziada katika huduma nyingi ndogo. Unajali kuhusu upungufu wa kazi, bila shaka, na kuhusu PUE kama dhana - nishati ya ziada ambayo jengo hutumia ili kutoa wati ya hesabu. Kwa kawaida, hubuni kila korido inayozunguka rafu inayofanya kazi kama shamba la hita linalobebeka.

Tovuti za AI hubadilisha uwiano. Msongamano huongezeka. Mtandao unakuwa kitambaa ambacho kazi ya mafunzo haiwezi kuteleza bila. Hifadhi lazima iendelee kusonga mbele au viongeza kasi vibaki bila kufanya kazi, kama farasi wa mbio kwenye msongamano wa magari.

Pia kuna tofauti ya kitamaduni. Wafanyakazi wa biashara hufikiri katika tiketi na madirisha ya kubadilisha. Wafanyakazi wa akili bandia hufikiri katika foleni za kazi na hisia ya kinyongo wakati nodi inakufa mwishoni mwa muda mrefu. Nadhani bado unaweza kuviita vyote viwili "vituo vya data" kwa sababu ndivyo vilivyo. Lebo huficha tu mabomba.

Sio cheo cha maadili. Mashine tofauti, jina moja la ukoo.

GPU, viongeza kasi, na rafu inayotumia nguvu nyingi

Tembea sakafu ya kitamaduni iliyoinuliwa na raki zinaonekana kama za heshima. Tembea kwenye safu ya AI na wanaonekana kama wanataka kumeza jengo.

Vifaa bora si CPU ya kijanja. Ni trei ya kuongeza kasi: GPU au chipu zingine za AI, zilizowekwa kwenye seva, kisha raki, kisha safu zinazoshiriki kitambaa chenye kipimo data cha juu. GPU huunganisha chipu kwenye kitu ambacho kinaweza kujifanya kuwa kiongeza kasi kikubwa; kitambaa cha nguzo hufanya ujanja uleule kwenye kipimo cha safu. Mafunzo sambamba hufanya kazi tu ikiwa viungo hivyo vinabaki kuwa vikali na vinavyotabirika. Poteza hilo na "nguzo" yako ni rundo la vituo vya kazi vya gharama kubwa vinavyoshiriki msimbo wa posta.

Nguvu hufuata chipsi. Sio PDU kubwa ya ofisi. Megawati za mzigo wa TEHAMA mara tu ukumbi unapojaa - sitagundua nambari. Uzito kwa kila raki ndio mabadiliko ya njama. Raki chache. Kila moja ni tanuru ndogo. Kigezo cha kikomo mara nyingi ni kituo kidogo, sio orodha ya matamanio ya GPU. Unajua jinsi ilivyo: ununuzi unahitaji viongeza kasi zaidi; huduma inataka mazungumzo marefu na hundi kubwa sana.

Mfano mmoja mjanja kidogo ambao siwezi kuutikisa: raki ni mnyama mwenye njaa. Unaweza kuzaliana mwenye kasi zaidi. Bado unapaswa kumlisha, na bado unapaswa kuzima joto. Ruka yoyote kati ya hizo mbili na inakuwa mzigo wa karatasi wa gharama kubwa sana.

Nguvu, joto, na tatizo la kupoeza

Umeme unaingia. Joto linazima. Hiyo ndiyo dini yote.

Raki zenye msongamano mkubwa hutupa joto kwa njia ambayo hewa haikuombwa kushughulikia. Unaweza kusukuma hewa kwa nguvu zaidi - vibadilisha joto vya mlango wa nyuma, njia za joto zaidi, vizuizi vizuri - na hiyo inafanya kazi hadi kiwango fulani. Kisha kioevu huonekana:

• Kupoeza moja kwa moja kwenye chipu

• Vizuizi vya kupoeza vinavyofanya chumba cha mmea kionekane kama kazi ya kemikali

• Kuzama katika miundo michache, ambayo bado inawashtua watu wanaofikiri maji na watumishi hawapaswi kushiriki sentensi moja

Hakuna hata moja kati ya haya linalovutia. Yote ni bidhaa, kwa sababu kiongeza kasi kinachopunguza kasi ni kile ambacho tayari umekinunua na huwezi kukitumia kikamilifu.

PUE bado ni muhimu. Ni uwiano, si utu. Waendeshaji wanaifukuzia kwa sababu kila wati inayotumika kwenye feni na pampu ni wati ambayo haikuenda kwenye GPU. Sitanukuu takwimu "ya kawaida"; hali ya hewa na jinsi unavyochora mpaka huihamisha, na usahihi bandia ni mbaya zaidi kuliko kutokuwepo. Maji pia yamo katika hadithi. Baadhi ya mimea hunywa. Baadhi humeza. Upoevu wa uvukizi unafaa hadi mto au ukame utakapoifanya iwe ya kisiasa.

Mitandao: kwa nini kitambaa ni muhimu kama vile chipsi

Watu hupiga picha za GPU. Wanapaswa kupiga picha swichi hizo.

Mafunzo ni mazungumzo. Maelfu ya viongeza kasi vinavyobadilishana gradient, vigezo, vipande vya modeli, katika usawazishaji mkali. Ikiwa kitambaa kitatetemeka, kazi nzima inasubiri kwa kasi ndogo zaidi. Ndiyo maana halls za AI huzingatia mitandao ya kipimo data cha juu, muda wa chini wa kusubiri, na topolojia ambazo hazikunjiki katikati wakati kiungo kinaposhindwa. Vitambaa vya InfiniBand, Ethernet katika jukumu lile lile, GPU huunganishwa ndani ya kisanduku, kebo ambayo lazima iwe sahihi mara ya kwanza.

Uamuzi ni mazungumzo tofauti. Uhudumu wa modeli unajali kuhusu ucheleweshaji wa mkia - jibu la polepole, si la wastani. Kundi dhidi ya muda halisi hugawanya utu. Kundi la mafunzo linataka harakati nzito, za pamoja, za kila kitu. Kundi la wahudumu linataka maombi mengi madogo na kutengwa, bila msongamano wa magari kwenye kipima mzigo.

Mkosaji, nikiwa hapa: watu huchukulia mtandao kama mabomba na chipsi kama mgahawa. Katika jengo hili mabomba ndiyo mgahawa. Ukikosa hilo unanunua jiko ambalo haliwezi kupokea usafirishaji.

Mafunzo dhidi ya hitimisho: majengo mawili, wakati mwingine halisi

Mafunzo ni kampeni. Unakusanya kundi, unalilisha data, unaweka kituo cha ukaguzi kwa njia ya kidini, unakimbia kwa saa au wiki, na unaomba kitambaa kisiendelee kuwa na matatizo. Kina wingi wa vitu, kina hamu ya kipimo data, kina subira kimya kimya - hadi nodi iliyoshindwa itakapokoma kukimbia. Kichocheo kimoja kilichokufa katika kazi iliyounganishwa vizuri kinaweza kusimamisha kwaya nzima.

Uamuzi ni dukani. Wanamitindo tayari wamefunzwa, sasa wanajibu maswali, wanaainisha picha, na hutoa maandishi. Ucheleweshaji ni muhimu. Kichocheo cha zamani kidogo karibu na mteja kinaweza kushinda kile cha kupendeza kilichopo barani.

Kwa hivyo unapata mgawanyiko. Vyuo vikuu vya mafunzo hufuata nguvu, ardhi, na msongamano. Tovuti za makadirio hufuata ucheleweshaji na uwepo. Kumbi mseto pia zipo, kwa sababu mtaji si usio na kikomo. Naam - si majengo mawili kila wakati. Wakati mwingine ukumbi mmoja wenye kamba ya velvet na vitanzi viwili vya kupoeza.

Hapa pia ndipo mahali ambapo upangaji wa vitu, kampasi za kiwango cha juu, na uma wa juu. Wapangaji wa kiwango cha juu hujenga kwenye mizani ambayo hufanya sisi wengine tuonekane kama tunapanga fanicha. Rangi huuza msongamano karibu na raki. Juu ya kiwango bado hutokea wakati data haiwezi kuondoka.

Ufikiaji wa hifadhi, vituo vya ukaguzi, na chipsi zenye njaa

Hakuna mtu anayeweka mfumo sambamba wa faili kwenye jalada la brosha.

Data ya mafunzo lazima ifike haraka vya kutosha ili GPU zisiguse miguu yao. Vituo vya ukaguzi lazima vitue ili ajali isipoteze wiki moja. Vipimo vya modeli lazima vipakie kabla nakala inayohudumiwa haijawa hai. Ufikiaji wa hifadhi - sio tu uwezo - ndio kikwazo kimya kimya. Unaweza kutumia pesa nyingi kwenye viongeza kasi na kuvinyima chakula kwa safu nzuri iliyoundwa kwa ajili ya mashine pepe.

Muundo unajulikana: kundi linalong'aa, foleni ya kazi, na I/O wanasubiri wakitazama nyuma kama ankara isiyo na adabu. Kukusanya hesabu bila kuunganisha njia ya data ndio njia ya kupata kazi ya gharama kubwa sana. Endelea kulishwa chipsi au kubali kwamba ulinunua sanamu.

Programu, upangaji, na safu ya ops isiyo na umaarufu

Vifaa vya ujenzi ndio maarufu. Wapangaji ratiba hufanya kazi.

Kituo cha data cha AI hakina maana ikiwa kazi haziwezi kupata GPU, ikiwa timu mbili haziwezi kushiriki kundi bila ngumi, ikiwa safu iliyoshindwa haiwezi kubadilishwa, ikiwa programu dhibiti itateleza hadi kitambaa kitakaposhindwa kwa mwendo wa polepole. Uratibu, uangalizi, uwekaji wa kikomo cha nguvu - safu ya ops isiyo na mvuto, ambayo ndivyo unavyojua kuwa ni muhimu.

Nina nafasi laini kwa safu hii. Pia pale ambapo NIC isiyo na mpangilio sahihi inaiga tatizo la kupoeza kwa alasiri nzima... unagundua hilo kwa njia ngumu.

Wakati nodi inakufa katikati ya kukimbia

Nodi hufa. Madirisha ya kubadilisha bado yanagongana na mazoezi ambayo hayajali kalenda yako. Unapanga ratiba ya kazi kubwa, unaziba mabwawa ya makadirio, unaandika vitabu vya majaribio kwa makosa ambayo yanaonekana kama "kazi ni polepole" hadi yanaonekana kama "kazi imekufa." Upungufu bado ni muhimu - nguvu, ubaridi, njia, uhifadhi - lakini hali ya kushindwa si safi kama slaidi ya zamani ya muda wa kufanya kazi. Uamuzi: nakala, toa maji kwenye nodi ya mgonjwa, endelea kujibu. Mafunzo yanataka vituo vya ukaguzi, sio matumaini.

Mahali, maji, gridi ya taifa, na majirani

Huachi moja kati ya hizi karibu na kibanda kwa ajili ya mandhari.

Muunganisho wa gridi mara nyingi ndio mchakato halisi wa kuchagua eneo. Ardhi ni rahisi ikilinganishwa na kituo kidogo na shirika ambalo lina wateja wengine. Maji ya kupoeza, ukiyatumia, huwa tatizo la jirani mara tu mvua inaponyeka vibaya. Kelele. Ukubwa wa kuona. Joto kwenye uzio wa mpaka. Kamati za mipango hugundua maoni kuhusu "wingu" wakati inapohitaji shamba na mto.

Ucheleweshaji huvutia upande mwingine. Uamuzi unapenda kuwa karibu na watumiaji na miunganisho. Mafunzo yanaweza kujificha katika masoko ya umeme ya bei nafuu na hali ya hewa ya baridi. Sekta hiyo inazungumza kana kwamba kuna tovuti moja kamilifu. Hakuna. Kuna makubaliano na taarifa kwa vyombo vya habari.

Joto lililobaki na tanuru isiyoalikwa

Brosha zinapenda sehemu hii. Weka joto taka kwenye nyumba, mabwawa ya kuogelea, nyumba za kijani kibichi; ni sentensi nzuri. Wakati mwingine mzunguko wa wilaya ni halisi. Wakati mwingine chuo kiko mahali pabaya na joto bado huingia hewani. Nina shaka na toleo la brosha; sina shaka na fizikia.

Nani anahitaji moja (na nani anapaswa kukodisha badala yake)

Watu wengi hawahitaji kumiliki mojawapo ya kumbi hizi.

Orodha isiyo na utata:

• Wafanyabiashara wakubwa, kwa sababu bidhaa hiyo ni kundi la bidhaa

• Maabara, wakati muda wa foleni ndio kikwazo, au data haiwezi kuondoka

• Benki, kundi la hospitali, serikali, au mtengenezaji mwenye seti ya data ya siri - iliyohifadhiwa kabla ya matumizi au ngome ya kibinafsi ya rangi inaweza kuwa na mantiki, hata kama ni faff

Kila mtu mwingine anapaswa kukodisha. Eneo lenye msongamano tayari kwa AI. Nafasi ya kuhifadhi wingu. Kundi linalosimamiwa. Unapata viongeza kasi bila pia kuwa mwendeshaji wa kiwanda cha umeme. Mapenzi hufifia mara ya kwanza mtu anapouliza ni nani anayehitaji kitanzi cha kupoeza saa 3 asubuhi.

Kuna jambo la kujivunia, nitakubali. Kumiliki kundi kunahisi kama kumiliki njia za utabiri. Kisha ankara ya umeme inafika, na kundi linakaa chini.

Jengo hilo ni la nini?

Kwa hivyo, Kituo cha Data cha AI ni nini? Kampasi maalum, yenye msongamano mkubwa ambapo viongeza kasi, umeme, upoezaji, kitambaa, na hifadhi hupangwa kulingana na mifumo ya mafunzo na huduma - sio TEHAMA ya matumizi ya jumla yenye GPU pembeni. Inaonekana kama ghala. Inafanya kazi kama kituo cha umeme kinachofanya hesabu.

Kama hukumbuki kingine chochote: chipsi hupata umaarufu; kituo kidogo, kipozezi, na mtandao huamua kama chipsi hizo zilikuwa wazo zuri. Mafunzo na utabiri vinaweza kushiriki paa moja; bado wanataka tabia tofauti. Mashirika mengi yanapaswa kukodisha. Mashirika machache yanapaswa kujenga. Majirani watagundua vyovyote vile.

Wingu lilikuwa na jengo kila wakati. Siku hizi jengo lina maoni.

Mfano halisi: Seli ya mafunzo ya raki mbili wakati picha haziwezi kuondoka

Hali

Tomos ndiye kiongozi wa miundombinu katika Kestrel Precision, mtengenezaji wa watu 400 huko West Midlands. Tayari wana ukumbi mdogo wa kazi: ERP, faili zilizoshirikiwa, mashine pepe, na ujirani mchanganyiko makala hii ilianza nao. Kupoeza hewa. Ethaneti ya Kawaida. SAN ambayo ni ya heshima kabisa kwa diski za ofisi.

Timu ya maono ya mashine inahitaji kutoa mafunzo kwa mfumo wa ukaguzi kwenye still za kiwandani. still haziwezi kuondoka kwenye tovuti. Zinaonyesha mchakato ambao kampuni haitaweka kwenye diski ya wingu, hata ya faragha. Suluhisho la ununuzi ni seva nne za kuongeza kasi mbili na slaidi yenye kichwa "kituo chetu cha data cha AI". Seva huingia kwenye raki mbili zilizopo, kwa sababu kuna nafasi, na nafasi ilionekana kama kizuizi.

Sio hivyo. Ndani ya wiki mbili, GPU zinasikika zikiwa na shughuli nyingi kisha polepole zinasonga. Kazi zinatambaa wakati kituo cha ukaguzi kinapogonga SAN. Nodi inakufa saa kumi na moja na kukimbia kumeisha tu. Tomos hajashindwa kununua chipsi. Amenunua rundo la vituo vya kazi vya gharama kubwa vinavyoshiriki msimbo wa posta. Jengo hilo bado lilikuwa ukumbi wa biashara.

Hawahitaji kampasi, kituo kipya cha umeme, au mto. Wanahitaji seli ndogo inayofanya kazi kama kituo cha data cha AI katika miniature: nguvu ambayo raki zinaweza kushikilia, joto linaloondoka bila kupika chipsi, kitambaa ambacho kazi ya mafunzo inaweza kuzungumzia, hifadhi inayoweza kuchukua eneo la ukaguzi, na kitabu cha kukimbia wakati nodi inapokufa. Kwa sababu picha haziwezi kuondoka, kukodisha ngome ya rangi dakika arobaini si suluhisho. Kurekebisha raki mbili ni muhimu.

Kinachohitajika na seli

• Bajeti ya nguvu iliyopimwa kwenye safu hiyo, kutoka kwa PDU, sio kutoka kwa orodha ya matamanio ya GPU. Ikiwa uwezo wa ziada hauwezi kulisha seva nne wakati wa mafunzo, mazungumzo huishia hapo na wanaangalia rangi mnene zaidi, sio muujiza

• Kupoza hewa hakukuombwa kamwe kushughulikia kwa msongamano huu: vibadilisha joto vya mlango wa nyuma ikiwa ukumbi unaweza kuvichukua, au kitanzi kidogo cha kioevu ikiwa kinaweza kuchukua hicho badala yake. Ikiwa hakuna, wahudumu hawaingii ndani

• Kitambaa maalum cha kipimo data cha juu kati ya nodi nne, si Ethernet ya ofisi. Ikiwa muuzaji ana swichi ya Gb 10 pekee kwenye orodha, hiyo si kundi

• Hifadhi ya haraka ya eneo lako kwa ajili ya vituo vya ukaguzi na vipande vya mafunzo, si VM SAN

• Mpangaji ratiba, muda wa ukaguzi, na njia ya kuanzisha upya iliyoandikwa. Maunzi ndiyo mtu mashuhuri. Kazi ya safu hii ndiyo

• Kisanduku cha makadirio kilichozungushiwa uzio kwa ajili ya mstari wa kiwanda, tofauti na gumzo la mafunzo, kwa sababu huduma inataka muda wa kusubiri na kutengwa, si kikundi

• Ruhusa ya kuweka kumbukumbu ya nguvu, saa za GPU, matukio ya kaba, na saa ya ukutani ya kazi. Ikiwa hawawezi kukagua hizo, watapiga picha GPU na kukosa swichi

Mfano wa maelekezo

Tomos anaweka hili katika muhtasari wa vifaa, kwa lugha ya kawaida:

Usiite hii kampasi ya AI. Jenga seli ya mafunzo ya raki mbili katika ukumbi uliopo kwa seva nne za viongeza kasi viwili. Picha za kiwandani hubaki mahali pake. Mafanikio ni: nodi nne hukamilisha kichocheo cha mafunzo ya ukaguzi wa vipindi 12 bila kaba ya joto, andika sehemu ya ukaguzi kwa dakika si dakika kumi, na uendelee kutoka sehemu hiyo ya ukaguzi tunapoua safu kwa makusudi. Kupoeza lazima kuziweka GPU kwenye saa zao za mafunzo. Mtandao lazima uwe kitambaa ambacho masanduku manne yanashiriki, si njia inayopitia kwenye rundo la ofisi. Hifadhi lazima itoe chipsi. Ikiwa vibadilishaji joto vya mlango wa nyuma havitatoshea, sema hivyo na uache. Usinukuu PUE kwa raki mbili katika ukumbi mchanganyiko. Nambari hiyo itakuwa ukumbi wa michezo.

Kisha anaweka hili katika kazi ya mafunzo yenyewe:

Kituo cha ukaguzi kila baada ya dakika 30 hadi kwenye bwawa la kuogelea la haraka la karibu. Ikiwa cheo kitakufa, anza upya kutoka kituo cha ukaguzi cha mwisho. Usingojee kwenye SAN. Usifuate mazoezi wakati saa zimeshuka kutoka kwenye joto. Iandike na usimame ili tuweze kuona kibanda.

Saa nzuri inaonekana hivi: GPU zote nane kwenye saa za mazoezi, faili ya sehemu ya ukaguzi ilitua, kazi bado iko kwenye hatua ya kufunga. Saa mbaya inaonekana hivi: mashabiki wakiwa wamepiga kelele, saa zinashuka, sehemu ya ukaguzi imeandikwa 2% baada ya dakika kumi, na mtu ofisini akisema "kundi liko juu". Juu si mafunzo.

Jinsi ya kuijaribu

Wanaandika mtihani kabla ya marekebisho, ambayo ndiyo hoja kuu ya kutoamini onyesho.

• Kichocheo kile kile cha enzi 12, picha zile zile za ukaguzi 120,000, mizunguko minane

• Muda ni saa ya ukutani hadi mapishi yaliyokamilika, ikiwa ni pamoja na kuanza upya yoyote, kupimwa kutoka kwa kazi iliyowasilishwa hadi sehemu ya mwisho ya ukaguzi ya enzi ya 12

• Kupitisha joto: Saa za GPU hubaki kwenye lengo la mafunzo kwa kukimbia. Tukio la kugonga ni kushindwa hata kama kazi hatimaye itaisha

• Hifadhi ya pasi: muda wa kuandika kituo cha ukaguzi, wastani na mbaya zaidi, kutoka kwenye kumbukumbu ya kazi

• Kitambaa cha kupitisha: kazi haikai katika kusubiri kwa pamoja wakati cheo kiko katika hali nzuri. Ikiwa hawawezi kuona kusubiri huko, vifaa havijakamilika

• Mbio mbili kati ya nane hupata cheo kuuawa katika hatua maalum, kwa makusudi, ili kujaribu njia ya kuanzisha upya

• Uamuzi ni jaribio tofauti la picha 200 kutoka kwa mstari wa kiwanda hadi kwenye sanduku la kuhudumia lililozungushiwa uzio. Mafanikio ya mafunzo hayahesabiwi kama mafanikio ya kuhudumia

• Wanarekodi nguvu ya raki kutoka kwa PDU katika sampuli za dakika 15 kwa hivyo hakuna mtu anayelazimika kuvumbua megawati

Kukubalika kwa kuita seli "tayari kwa AI": mapishi 8 kati ya 8 yamekamilika; 0 kati ya 8 yanaonyesha kasi ya joto; mbio zote mbili zilizokufa zinaendelea; vituo vya ukaguzi vinabaki kwa dakika chache. Wakikosa hilo, bado wana chumba cha seva chenye kadi za michoro maridadi.

Matokeo

Matokeo ya mfano, kutoka kwa jaribio lililotengenezwa kwa mizunguko minane, si takwimu ya Kestrel iliyochapishwa.

Mawazo: seva nne za kuongeza kasi mbili katika raki mbili; modeli moja ya ukaguzi; picha 120,000; mizunguko minane ya mapishi ya vipindi 12 yasiyobadilika; saa ya ukutani inajumuisha kuwasha upya hadi mapishi yatakapokamilika; kichocheo kinamaanisha kushuka kwa saa ya mafunzo; muda wa ukaguzi ni kuandika, sio matakwa; nguvu ya raki ni sampuli za PDU, sio PUE ya chuo kikuu.

Kabla ya urekebishaji, GPU katika raki za kawaida zilizopozwa na hewa kwenye Ethernet ya ofisi na VM SAN:

• Mbio 5 kati ya 8 zilimalizika kwenye jaribio la kwanza. Saa ya ukutani ya wastani kati ya hizo tano: saa 14

• 3 kati ya 8 ilibidi waanze tena baada ya kibanda cha yapata saa 11 (mbili baada ya nodi kufa na kituo cha ukaguzi kilichopitwa na wakati, moja baada ya kituo cha ukaguzi kilijaza SAN). Jaribu tena mara moja, hakuna kusubiri usiku kucha: saa 11 zilizopotea pamoja na jaribio la sekunde la saa 14, au saa 25 hadi mapishi yaliyokamilika kwenye hizo tatu

• Wastani wa muda hadi mapishi yaliyokamilika kwa wote wanane, kuwasha upya ni pamoja na: saa 18. (Tano kwa 14, tatu kwa 25. Wastani wa wote wanane bado ni 14, ambayo ingeficha kuwasha upya. Ndiyo maana wastani ndio msingi hapa.)

• Kiharusi cha joto kimeingia kwenye mizunguko 7 kati ya 8. Muda wa wastani katika saa iliyopunguzwa: saa 3 katika jaribio la saa 14

• Andika sehemu ya ukaguzi: wastani wa dakika 22

• Kuua kwa kiwango cha juu haikuwa mtihani ambao wangeweza kuufaulu. Hawakuwa na kitabu cha kuhesabu. Vifo hivyo viwili vya ajali ndivyo vilivyopatikana

• Kiwango cha juu cha mzigo wa IT kwenye raki mbili wakati wa mafunzo: takriban kW 18. Safu ilikuwa na wati. Haikuwa na kipoeza au kitambaa

Baada ya vibadilisha joto vya mlango wa nyuma kwenye raki hizo mbili, kitambaa maalum kati ya nodi nne, bwawa dogo la NVMe kwa vituo vya ukaguzi, vituo vya ukaguzi vya dakika 30, na kitabu cha kuanza upya:

• 8 kati ya 8 zilikamilika katika jaribio la kwanza. Saa ya wastani ya ukutani: saa 9

• Kaba ya joto: 0 kati ya 8

• Andika sehemu ya ukaguzi: wastani wa sekunde 90. Mbaya zaidi katika seti: dakika 3

• Mauaji hayo mawili ya makusudi yalianza tena kutoka kwa kituo cha ukaguzi cha dakika 30 zilizopita. Saa ya ziada ya ukutani kwenye mizunguko hiyo miwili: kama dakika 40 kila moja, utambuzi umejumuishwa, kwa hivyo wale wawili waliketi karibu saa 9 dakika 40. Wastani kati ya raundi nane bado hadi saa 9

• Kiwango cha juu cha TEHAMA bado ni takriban kW 18. Chipsi zile zile. Tabia tofauti za ujenzi

Katika sampuli hii, wastani wa muda hadi mapishi yaliyokamilika ulipungua kutoka saa 18 hadi saa 9, au saa 9 kila moja, saa 72 katika mbio nane. Kumaliza mara ya kwanza kulitoka 5 kati ya 8 hadi 8 kati ya 8. Kupunguza kasi kulitoka 7 kati ya 8 hadi 0 kati ya 8. Nambari hiyo ya mwisho ndiyo inayosema kama walinunua viongeza kasi au vifaa vya karatasi. Hawataita mabadiliko ya wakati kuwa akiba ya 50% katika uzalishaji. Mbio nane ni seti ndogo na rahisi.

Takwimu hizi ni mfano wa makadirio kulingana na jaribio lililotajwa, sampuli ndogo, modeli moja, na ukumbi mmoja mchanganyiko. Sio PUE, sio megawati ya chuo kikuu, na sio uthibitisho kwamba Kestrel inapaswa kujenga eneo la mafunzo shambani. Mapitio ya magogo yaliwekwa ndani ya saa 9; hawakuificha. Takwimu ya kW 18 ni usomaji wa PDU uliozungushwa, sio ankara ya huduma. Hawakubadilisha saa 72 kuwa gharama, kwa sababu kiwango cha umeme kilichochanganywa cha kiwanda kingefanya biashara kuwa bandia.

Hundi ya kuhudumia ilikuwa tofauti na ndogo: picha 200 za mstari kwenye kisanduku kilichozungushiwa uzio, zote zikiwa mahali hapo. Hiyo ni hitimisho, si mafunzo. Kuchanganya hizo mbili kungekuwa kosa la ukumbi mseto katika kipande kidogo.

Ni nini kinachoweza kwenda vibaya

• Ununuzi unaendelea kuita seva nne "kituo cha data cha AI". Lebo huficha mabomba, na ununuzi unaofuata ni GPU zaidi kwa njia ile ile ya wagonjwa

• Vibadilishaji vya milango ya nyuma vinaingia na hakuna anayefanya kazi kando ya maji. Mashabiki bado wanapiga kelele. Saa bado zinashuka

• Kitambaa ni swichi moja bila njia ya ziada. Kiungo kimoja kimeharibika na "kikundi" ni vituo vinne vya kazi tena

• Vituo vya ukaguzi vinabaki kwenye SAN kwa sababu bwawa la NVMe lilikuwa "awamu ya pili". Awamu ya pili haifiki kabla ya nodi inayofuata iliyokufa

• Wananukuu PUE kwa raki mbili katika ukumbi mchanganyiko. Hali ya hewa, mpaka, na safu iliyobaki ya ERP hufanya uwiano huo kuwa vazi

• Mafunzo na huduma hushiriki kitambaa. Mafuriko ya kituo cha ukaguzi hufanya mstari wa kiwanda kusubiri. Ucheleweshaji wa mkia ndio bidhaa iliyopo, sio msongamano

• Nodi inakufa na mtu anaichukulia kama tiketi ya muda wa kufanya kazi badala ya kuanzisha upya kituo cha ukaguzi. Operesheni za biashara na Operesheni za AI zinazungumza kwa muda mrefu bila kuchelewa kwa alasiri nzima

• Wangeweza kukodisha ngome, isipokuwa picha haziwezi kuondoka. Kusahau kizuizi hicho kunawapeleka kwenye mazungumzo ya wingu ambayo watalazimika kupumzika

Kuchukua kwa vitendo

Kituo cha Data cha AI ni nini, katika umbo hili, si ghala na si ankara ya GPU. Ni seli inayoruhusu viongeza kasi kumaliza kazi: nguvu wanayoweza kushikilia, joto linaloondoka, kitambaa, kituo cha ukaguzi, na mtu anayeshika nafasi wakati cheo kinakufa. Kestrel hakuhitaji chuo kikuu. Walihitaji raki mbili ili kuacha kujifanya. Timu nyingi zinapaswa kukodisha tabia hiyo. Wachache, wenye seti ya data ya siri na ukumbi unaoweza kuhimili joto, wanapaswa kujenga seli na kukataa slaidi.

Maswali Yanayoulizwa Mara kwa Mara

Kituo cha Data cha AI ni nini?

Tovuti ya hesabu yenye msongamano mkubwa ambapo nguvu, upoezaji, mtandao, na hifadhi vimepinda sambamba na mafunzo na huduma za modeli, si safu nadhifu za seva za matumizi ya jumla. Imeundwa ili idadi kubwa ya viongeza kasi viweze kufunza na kuhudumia modeli bila kuyeyuka, kusimama kwenye mtandao, au kusubiri kwenye diski. Ukumbi wa kawaida wa biashara ni ujirani mchanganyiko. Ukumbi wa AI ni utamaduni mmoja ambao thamani yake ni kiongeza kasi, kama vile GPU au chipsi za mtindo wa TPU. Inaonekana kama ghala na hufanya kazi kama kituo cha umeme kinachofanya hesabu.

Kituo cha data cha AI kinatofautianaje na kituo cha data cha kawaida?

Kumbi za kitamaduni huboresha mzigo wa kazi mchanganyiko na muda wa ziada katika huduma nyingi ndogo. Tovuti za AI hubadilisha uwiano: msongamano huongezeka, mtandao unakuwa kitambaa ambacho kazi ya mafunzo haiwezi kuegemea, na hifadhi lazima iendelee kusonga au viongeza kasi hukaa bila kufanya kazi. Wafanyakazi wa biashara hufikiria katika tiketi na kubadilisha madirisha. Wafanyakazi wa AI hufikiria katika foleni za kazi na hisia ya kinyongo wakati nodi inakufa mwishoni mwa muda mrefu. Bado unaweza kupiga simu vituo vyote viwili vya data. Lebo huficha tu mabomba.

Kwa nini vituo vya data vya AI hutumia nguvu nyingi sana?

Vifaa bora si CPU ya kisasa. Ni trei ya kuongeza kasi: GPU au chipsi zingine za AI, zilizowekwa kwenye seva, kisha raki, kisha safu zinazoshiriki kitambaa cha kipimo data cha juu. Uzito kwa kila raki ndio mkondo wa hadithi: raki chache, kila moja tanuru ndogo. Megawati za mzigo wa TEHAMA huonekana mara tu ukumbi unapojaa, ingawa kubuni umbo la kawaida haifai. Kipengele cha kikomo mara nyingi ni kituo kidogo, sio orodha ya matamanio ya GPU.

Vituo vya data vya AI hupozwa vipi?

Raki zenye msongamano mkubwa hutupa joto kwa njia ambayo hewa haikuombwa kushughulikia. Unaweza kusukuma hewa kwa nguvu zaidi kwa kutumia vibadilisha joto vya milango ya nyuma, njia za joto zaidi, na vizuizi vizuri. Kisha kioevu huonekana: kupoeza moja kwa moja hadi kwenye chipu, vitanzi vya kupoeza, na kuzamishwa katika miundo michache. Kiongeza kasi kinachopunguza joto ni kile ambacho tayari umelipa na huwezi kutumia kikamilifu. PUE bado ni muhimu kwa sababu kila wati inayotumika kwenye feni na pampu ni wati ambayo haikuenda kwenye GPU. Maji pia yamo katika hadithi: baadhi ya mimea hunywa, baadhi hunywa.

Kwa nini mitandao ina umuhimu kama vile GPU?

Mafunzo ni mazungumzo: maelfu ya viongeza kasi vinavyobadilishana gradient, vigezo, na vipande vya modeli katika usawazishaji mkali. Ikiwa kitambaa kitatetemeka, kazi nzima inasubiri kwa kasi ndogo zaidi. Ndiyo maana halls za AI huzingatia mitandao ya kipimo data cha juu, muda wa chini wa kusubiri, vitambaa vya InfiniBand au Ethernet katika jukumu sawa, na topolojia ambazo hazikunjiki katikati wakati kiungo kinaposhindwa. Ufafanuzi unajali kuhusu muda wa kusubiri, maombi mengi madogo, na kutengwa. Katika jengo hili, mabomba ni mgahawa.

Kituo cha Data cha AI kinatumika kwa nini: mafunzo au hitimisho?

Mafunzo ni kampeni: kukusanya kundi, kulilisha data, kukagua kwa njia ya kidini, na kuendesha kwa saa au wiki. Uamuzi ni duka: mifumo tayari imefunzwa, sasa inajibu, ikiwa na ucheleweshaji ambao ni muhimu. Vyuo vya mafunzo hufuata nguvu, ardhi, na msongamano. Tovuti za uamuzi hufuata ucheleweshaji na uwepo. Kumbi mseto zipo kwa sababu mtaji si usio na kikomo, wakati mwingine ukumbi mmoja wenye vitanzi viwili vya kupoeza. Kiongeza kasi cha zamani kidogo karibu na mteja kinaweza kushinda kile cha kupendeza kilichopo barani.

Kwa nini hifadhi ni muhimu katika kituo cha data cha AI?

Data ya mafunzo lazima ifike haraka vya kutosha ili GPU zisiguse miguu yao. Vituo vya ukaguzi lazima vitue ili ajali isipoteze wiki moja. Vipimo vya modeli lazima vipakie kabla nakala inayohudumiwa haijawa hai. Ufikiaji wa hifadhi, sio tu uwezo, ndio kikwazo kimya kimya. Unaweza kutumia pesa nyingi kwenye viongeza kasi na kuvinyima chakula kwa safu nzuri iliyoundwa kwa ajili ya mashine pepe.

Nini hutokea wakati nodi inakufa katikati ya utekelezaji?

Kichocheo kimoja kilichokufa katika kazi ya mafunzo iliyounganishwa vizuri kinaweza kuzima kwaya nzima. Mafunzo yanahitaji vituo vya ukaguzi, si matumaini. Uamuzi huondoa nodi ya mgonjwa, huweka nakala ya majibu, na hubaki hai. Madirisha ya mabadiliko bado yanagongana na uendeshaji wa mafunzo ambao haujali kalenda yako. Upungufu bado ni muhimu kwa nguvu, upoezaji, njia, na uhifadhi, lakini hali ya kushindwa si safi kama slaidi ya zamani ya muda wa kufanya kazi.

Je, Kituo cha Data cha AI kina athari gani kwenye gridi ya taifa, maji, na majirani?

Muunganisho wa gridi mara nyingi ndio mchakato halisi wa kuchagua eneo. Ardhi ni rahisi ikilinganishwa na kituo kidogo na shirika ambalo lina wateja wengine. Maji ya kupoeza, ukiyatumia, huwa tatizo la jirani mara tu mvua inaponyeka vibaya, pamoja na kelele, wingi wa kuona, na joto kwenye uzio wa mpaka. Mafunzo yanaweza kujificha katika masoko ya umeme ya bei nafuu na hali ya hewa ya baridi. Uamuzi unapenda kuwa karibu na watumiaji. Hakuna eneo moja kamili. Kuna makubaliano na taarifa kwa vyombo vya habari.

Je, ninahitaji kumiliki kituo cha data cha AI, au nikodishe?

Watu wengi hawahitaji kumiliki mojawapo ya kumbi hizi. Wafanyabiashara wakubwa hujenga kwa sababu bidhaa ndio kundi la bidhaa. Maabara hujenga wakati muda wa foleni ni mgumu au data haiwezi kuondoka. Benki, hospitali, serikali, au mtengenezaji mwenye seti ya data ya siri anaweza kufanya kizimba cha rangi kuwa cha busara au cha kibinafsi. Kila mtu mwingine anapaswa kukodisha: eneo la uwekaji rangi lililo tayari kwa akili bandia, nafasi ya wingu, au kundi linalosimamiwa. Unapata viongeza kasi bila kuwa mwendeshaji wa mitambo ya umeme.

Marejeleo

1. IEA - www.iea.org

2. LBNL - vituo vya data.lbl.gov

3. Gridi ya Kijani - www.thegreengrid.org

4. LBNL - vituo vya data.lbl.gov

5. LBNL - vituo vya data.lbl.gov

6. Taasisi ya Uptime - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Wingu la Google - docs.cloud.google.com

Pata Akili ya Kielektroniki ya Hivi Punde katika Duka Rasmi la Msaidizi wa Akili ya Kielektroniki

Kuhusu Sisi