AI inajifunzaje?

AI inajifunzaje?

Je, AI inajifunzaje? , mwongozo huu unafafanua mawazo makubwa kwa lugha rahisi - pamoja na mifano, njia panda ndogo, na sitiari chache zisizokamilika ambazo bado zinasaidia. Hebu tuanze. 🙂

Makala ambazo unaweza kupenda kusoma baada ya haya:

🔗 AI ya utabiri ni nini?
Jinsi mifumo ya utabiri inavyotabiri matokeo kwa kutumia data ya kihistoria na ya wakati halisi.

🔗 Ni viwanda gani ambavyo AI itavuruga
Sekta zinazoweza kubadilishwa zaidi na otomatiki, uchanganuzi, na mawakala.

🔗 GPT inawakilisha nini
Maelezo wazi ya kifupisho na asili ya GPT.

🔗 Ujuzi wa AI ni nini?
Uwezo wa msingi wa kujenga, kusambaza, na kusimamia mifumo ya AI.

Kwa hivyo, inafanyaje hivyo? ✅

Watu wanapouliza AI inajifunzaje?, kwa kawaida humaanisha: vipi mifumo inakuwa muhimu badala ya vifaa vya kuchezea vya hisabati vya kifahari tu. Jibu ni mapishi:

  • Lengo wazi - kipengele cha kupoteza kinachofafanua maana ya "nzuri". [1]

  • Data ya ubora - mbalimbali, safi, na muhimu. Kiasi husaidia; aina mbalimbali husaidia zaidi. [1]

  • Uboreshaji thabiti - mteremko wa gradient wenye mbinu za kuepuka kutetemeka kutoka kwenye mwamba. [1], [2]

  • Ujumla - mafanikio kwenye data mpya, si seti ya mafunzo pekee. [1]

  • Mizunguko ya maoni - tathmini, uchambuzi wa makosa, na marudio. [2], [3]

  • Usalama na uaminifu - ulinzi, majaribio, na nyaraka ili isiwe machafuko. [4]

Kwa misingi inayoweza kufikiwa, maandishi ya kawaida ya kujifunza kwa undani, maelezo ya kozi rafiki kwa macho, na kozi ya vitendo hufunika mambo muhimu bila kukufanya ujisikie vibaya. [1]–[3]

AI hujifunzaje? Jibu fupi kwa Kiingereza rahisi ✍️

Mfano wa AI huanza na thamani za vigezo nasibu. Hutoa utabiri. Unapata utabiri huo kwa hasara . Kisha unasukuma vigezo hivyo ili kupunguza hasara kwa kutumia gradient . Rudia mzunguko huu katika mifano mingi hadi mfumo uache kuimarika (au utaishiwa na vitafunio). Huo ndio mzunguko wa mafunzo kwa pumzi moja. [1], [2]

Ukitaka usahihi zaidi, tazama sehemu kuhusu kushuka kwa mteremko na uenezaji wa nyuma hapa chini. Kwa mandharinyuma ya haraka na inayoweza kumeng'enywa, mihadhara mifupi na maabara zinapatikana sana. [2], [3]

Mambo ya msingi: data, malengo, uboreshaji 🧩

  • Data : Ingizo (x) na malengo (y). Kadiri data inavyokuwa pana na safi zaidi, ndivyo nafasi yako ya kujumlisha inavyokuwa bora zaidi. Uratibu wa data si wa kuvutia, lakini ni shujaa ambaye hajaimbwa. [1]

  • Mfano : Kitendakazi (f_\theta(x)) chenye vigezo (\theta). Mitandao ya neva ni mirundiko ya vitengo rahisi vinavyochanganyika kwa njia ngumu—matofali ya Lego, lakini yenye umbo la squishier. [1]

  • Lengo : Hasara (L(f_\theta(x), y)) inayopima hitilafu. Mifano: hitilafu ya wastani ya mraba (regression) na entropy mtambuka (uainishaji). [1]

  • Uboreshaji : Tumia mteremko wa gradient (stochastic) ili kusasisha vigezo: (\theta \leftarrow \theta - \eta \nabla_\theta L). Kiwango cha kujifunza (\eta): kikubwa sana na unarukaruka; kidogo sana na unalala milele. [2]

Kwa utangulizi safi wa vipengele vya upotevu na uboreshaji, maelezo ya kawaida kuhusu mbinu na mitego ya mafunzo ni njia nzuri ya kuiga. [2]

Kujifunza kunakosimamiwa: jifunze kutoka kwa mifano iliyoandikwa 🎯

Wazo : Onyesha jozi za modeli za ingizo na jibu sahihi. modeli hujifunza ramani (x \mshale wa kulia y).

  • Kazi za kawaida : uainishaji wa picha, uchambuzi wa hisia, utabiri wa jedwali, utambuzi wa usemi.

  • Hasara za kawaida : entropi mtambuka kwa ajili ya uainishaji, hitilafu ya wastani ya mraba kwa ajili ya urejelezaji. [1]

  • Mitego : kelele ya lebo, usawa wa darasa, uvujaji wa data.

  • Marekebisho : sampuli zilizopangwa, hasara imara, urekebishaji, na ukusanyaji wa data mbalimbali zaidi. [1], [2]

Kulingana na miongo kadhaa ya vipimo na mazoezi ya uzalishaji, ujifunzaji unaosimamiwa unabaki kuwa mgumu kwa sababu matokeo yanaweza kutabirika na vipimo ni rahisi. [1], [3]

Kujifunza bila usimamizi na kujisimamia mwenyewe: jifunze muundo wa data 🔍

Bila usimamizi hujifunza mifumo bila lebo.

  • Kuunganisha : kuweka pointi zinazofanana katika kundi—k-means ni rahisi na muhimu kwa kushangaza.

  • Kupunguza vipimo : kubana data hadi maelekezo muhimu—PCA ndiyo kifaa cha lango.

  • Uwiano/modeli ya uzalishaji : jifunze usambazaji wa data yenyewe. [1]

inajisimamia yenyewe : mifumo huunda usimamizi wao wenyewe (utabiri uliofichwa, ujifunzaji wa kulinganisha), hukuruhusu kujizoeza mapema kwenye bahari ya data isiyo na lebo na kurekebisha baadaye. [1]

Kujifunza kwa kuimarisha: jifunze kwa kutenda na kupata maoni 🕹️

Wakala huingiliana na mazingira , hupokea zawadi , na hujifunza sera inayoongeza zawadi ya muda mrefu.

  • Vipengele vya msingi : hali, kitendo, zawadi, sera, thamani ya utendaji.

  • Algorithimu : Kujifunza kwa Q, miteremko ya sera, mhusika-mkosoaji.

  • Utafutaji dhidi ya unyonyaji : jaribu vitu vipya au tumia tena kile kinachofanya kazi.

  • Mgawo wa mikopo : ni hatua gani iliyosababisha matokeo gani?

Maoni ya kibinadamu yanaweza kuongoza mafunzo wakati zawadi ni chafu—cheo au mapendeleo husaidia kuunda tabia bila kuandika zawadi kamilifu kwa mkono. [5]

Kujifunza kwa kina, mhimili wa nyuma, na kushuka kwa mteremko - moyo unaodunda 🫀

Neti za neva ni michanganyiko ya kazi rahisi. Ili kujifunza, hutegemea uenezaji wa nyuma :

  1. Kupitisha mbele : hesabu utabiri kutoka kwa pembejeo.

  2. Hasara : pima hitilafu kati ya utabiri na malengo.

  3. Pasi ya kurudi nyuma : tumia sheria ya mnyororo ili kukokotoa gradient za upotezaji wa kila kigezo.

  4. Sasisho : sukuma vigezo dhidi ya gradient kwa kutumia optimera.

Tofauti kama vile momentum, RMSProp, na Adam hufanya mafunzo yasiwe na hasira nyingi. Mbinu za urekebishaji kama vile kuacha shule , kupungua uzito , na kuacha mapema husaidia mifumo kujumlisha badala ya kukariri. [1], [2]

Transfoma na umakini: kwa nini mifano ya kisasa huhisi nadhifu 🧠✨

Transfoma zilibadilisha mipangilio mingi inayojirudia katika lugha na maono. Ujanja muhimu ni kujizingatia , ambayo huruhusu modeli kupima sehemu tofauti za ingizo lake kulingana na muktadha. Usimbaji wa nafasi hushughulikia mpangilio, na umakini wa vichwa vingi huruhusu modeli kuzingatia mahusiano tofauti kwa wakati mmoja. Kuongeza ukubwa - data tofauti zaidi, vigezo zaidi, mafunzo marefu - mara nyingi husaidia, na kupungua kwa faida na gharama zinazoongezeka. [1], [2]

Ujumla, utoshelevu kupita kiasi, na densi ya upendeleo-tofauti 🩰

Mfano unaweza kufaulu katika seti ya mafunzo na bado ukashindwa katika ulimwengu halisi.

  • Kuweka kupita kiasi : hukariri kelele. Kosa la mafunzo hupunguzwa, kosa la majaribio huongezeka.

  • Kutoshea chini : rahisi sana; ishara inakosekana.

  • Mapatano ya upendeleo na utofauti : ugumu hupunguza upendeleo lakini unaweza kuongeza utofauti.

Jinsi ya kujumlisha vyema zaidi:

  • Data mbalimbali zaidi - vyanzo tofauti, vikoa, na visa vya ukingo.

  • Urekebishaji - kuacha shule, kuoza kwa uzito, kuongeza data.

  • Uthibitisho sahihi - seti safi za majaribio, uthibitisho mtambuka kwa data ndogo.

  • Ufuatiliaji wa mtiririko wa data - usambazaji wako wa data utabadilika baada ya muda.

Mazoezi yanayozingatia hatari huziweka hizi kama shughuli za mzunguko wa maisha - utawala, uchoraji ramani, kipimo, na usimamizi - sio orodha za ukaguzi za mara moja. [4]

Vipimo muhimu: jinsi tunavyojua kujifunza kulitokea 📈

  • Uainishaji : usahihi, usahihi, ukumbusho, F1, ROC AUC. Data isiyo na usawa inahitaji mikunjo ya usahihi-ukumbusho. [3]

  • Urejeshaji : MSE, MAE, (R^2). [1]

  • Nafasi/urejeshaji : MAP, NDCG, recall@K. [1]

  • Mifumo ya kuzalisha : utata (lugha), BLEU/ROUGE/CIDEr (maandishi), alama zinazotegemea CLIP (za aina nyingi), na tathmini muhimu za kibinadamu. [1], [3]

Chagua vipimo vinavyoendana na athari ya mtumiaji. Ongezeko dogo la usahihi linaweza kuwa lisilo na maana ikiwa matokeo chanya yasiyo sahihi ndiyo gharama halisi. [3]

Mtiririko wa kazi wa mafunzo katika ulimwengu halisi: mpango rahisi 🛠️

  1. Weka fremu ya tatizo - fafanua pembejeo, matokeo, vikwazo, na vigezo vya mafanikio.

  2. Mtiririko wa data - ukusanyaji, uwekaji lebo, usafi, mgawanyiko, uongezaji.

  3. Msingi - anza rahisi; misingi ya mstari au ya mti ina ushindani wa kushangaza.

  4. Uundaji wa modeli - jaribu familia chache: miti inayoongeza mteremko (meza), CNN (picha), transfoma (maandishi).

  5. Mafunzo - ratiba, mikakati ya kiwango cha kujifunza, vituo vya ukaguzi, usahihi mchanganyiko ikiwa inahitajika.

  6. Tathmini - ablations na uchambuzi wa makosa. Angalia makosa, si wastani tu.

  7. Utekelezaji - bomba la makadirio, ufuatiliaji, kumbukumbu, mpango wa kurejesha.

  8. Rudia - data bora, marekebisho bora, au marekebisho ya usanifu.

Kesi Ndogo : mradi wa uainishaji wa barua pepe ulianza na msingi rahisi wa mstari, kisha ukarekebisha transfoma iliyofunzwa mapema. Ushindi mkubwa haukuwa modeli - ilikuwa ni kuimarisha rubriki ya kuweka lebo na kuongeza kategoria za "makali" ambazo hazikuwakilishwa vya kutosha. Mara tu hizo zilipofunikwa, uthibitisho wa F1 hatimaye ulifuatilia utendaji wa ulimwengu halisi. (Nafsi yako ya baadaye: nashukuru sana.)

Ubora wa data, uwekaji lebo, na sanaa ya hila ya kutojidanganya 🧼

Takataka ziingie, majuto. Miongozo ya kuweka lebo inapaswa kuwa thabiti, inayopimika, na kupitiwa. Makubaliano ya watoa maelezo ni muhimu.

  • Andika rubriki zenye mifano, visanduku vya kona, na vivunja-tie.

  • Kagua seti za data za nakala rudufu na nakala karibu.

  • Fuatilia asili - kila mfano ulitoka wapi na kwa nini umejumuishwa.

  • Pima kiwango cha data kulingana na hali halisi ya mtumiaji, si kipimo cha kawaida tu.

Hizi zinaendana vyema katika mifumo mipana ya uhakikisho na utawala ambayo unaweza kuifanya ifanye kazi. [4]

Kujifunza kwa uhamisho, kurekebisha, na adapta - tumia tena vifaa vizito vya kuinua ♻️

Mifumo iliyofunzwa tayari hujifunza uwakilishi wa jumla; urekebishaji mzuri huzirekebisha kulingana na kazi yako kwa kutumia data kidogo.

  • Uchimbaji wa vipengele : gandisha uti wa mgongo, fanya mazoezi ya kichwa kidogo.

  • Urekebishaji kamili : sasisha vigezo vyote kwa uwezo wa juu zaidi.

  • Mbinu zinazotumia vigezo kwa ufanisi : adapta, masasisho ya kiwango cha chini ya mtindo wa LoRA-nzuri wakati hesabu ni ngumu.

  • Marekebisho ya kikoa : panga upachikaji katika vikoa; mabadiliko madogo, faida kubwa. [1], [2]

Mtindo huu wa utumiaji tena ndio sababu miradi ya kisasa inaweza kusonga haraka bila bajeti ya kishujaa.

Usalama, uaminifu, na mpangilio - biti zisizo za hiari 🧯

Kujifunza si kuhusu usahihi tu. Pia unataka mifumo imara, ya haki, na inayoendana na matumizi yaliyokusudiwa.

  • Uimara wa uadui : usumbufu mdogo unaweza kuwadanganya wanamitindo.

  • Upendeleo na usawa : pima utendaji wa kikundi kidogo, si wastani wa jumla tu.

  • Ufafanuzi : uainishaji wa vipengele na uchunguzi hukusaidia kuona ni kwa nini .

  • Binadamu katika kitanzi : njia za kupanda kwa maamuzi yasiyoeleweka au yenye athari kubwa. [4], [5]

Kujifunza kwa kuzingatia upendeleo ni njia moja ya vitendo ya kujumuisha hukumu ya kibinadamu wakati malengo hayana maana. [5]

Maswali Yanayoulizwa Mara kwa Mara katika dakika moja - moto wa haraka ⚡

  • Kwa hivyo, kweli, AI inajifunzaje? Kupitia uboreshaji wa mara kwa mara dhidi ya hasara, huku gradient zikiongoza vigezo kuelekea utabiri bora. [1], [2]

  • Je, data zaidi husaidia kila wakati? Kwa kawaida, hadi marejesho yanapopungua. Aina mbalimbali mara nyingi huzidi ujazo mbichi. [1]

  • Vipi ikiwa lebo ni chafu? Tumia mbinu zenye nguvu za kelele, rubriki bora, na fikiria kujifunzia mwenyewe kabla ya mafunzo. [1]

  • Kwa nini transfoma hutawala? Usikivu huongezeka vizuri na hunasa utegemezi wa masafa marefu; zana zimekomaa. [1], [2]

  • Nitajuaje kuwa nimemaliza mafunzo? Uthibitishaji wa upotevu wa uthibitishaji unapungua, vipimo vinatulia, na data mpya hufanya kazi kama inavyotarajiwa - kisha fuatilia kwa ajili ya kuteleza. [3], [4]

Jedwali la Ulinganisho - zana unazoweza kutumia leo 🧰

Ni jambo la ajabu kidogo kimakusudi. Bei ni za maktaba kuu - mafunzo kwa kiwango kikubwa yana gharama za infra, ni wazi.

Zana Bora zaidi kwa Bei Kwa nini inafanya kazi vizuri
PyTorch Watafiti, wajenzi Bure - fungua src Grafu zinazobadilika, mfumo ikolojia imara, mafunzo mazuri.
Mtiririko wa Tensor Timu za uzalishaji Bure - fungua src Huduma ya watu wazima, TF Lite kwa simu; jumuiya kubwa.
kujifunza-scikit Data ya jedwali, misingi Bure API safi, haraka kurudia, hati nzuri.
Keras Mifano ya haraka Bure API ya kiwango cha juu juu ya tabaka za TF, zinazoweza kusomeka.
JAX Watumiaji wa umeme, utafiti Bure Uwekaji vektori kiotomatiki, kasi ya XLA, hisia za hisabati za kifahari.
Vibadilishaji vya Uso Vinavyokumbatiana NLP, maono, sauti Bure Mifumo iliyoandaliwa tayari, marekebisho rahisi, vitovu vizuri.
Umeme Mifumo ya mafunzo Msingi huru Muundo, kumbukumbu, betri za GPU nyingi zimejumuishwa.
XGBoost Ushindani wa jedwali Bure Misingi imara, mara nyingi hushinda kwenye data iliyopangwa.
Uzito na Upendeleo Ufuatiliaji wa majaribio Daraja la bure Uzalishaji tena, kulinganisha kukimbia, mizunguko ya kujifunza haraka.

Hati zenye mamlaka za kuanza nazo: PyTorch, TensorFlow, na mwongozo wa mtumiaji wa kujifunza kwa uangalifu. (Chagua moja, jenga kitu kidogo, rudia.)

Kuzama kwa kina: vidokezo vya vitendo vinavyokuokoa muda halisi 🧭

  • Ratiba za kiwango cha kujifunza : kuoza kwa kosini au mzunguko mmoja kunaweza kuleta utulivu katika mafunzo.

  • Ukubwa wa kundi : kubwa si mara zote vipimo vya uthibitishaji bora zaidi, si tu matokeo.

  • Uzito init : chaguo-msingi za kisasa ni sawa; ikiwa mafunzo yatakwama, rudia uanzishaji au urekebishe tabaka za mapema.

  • Urekebishaji : kiwango cha kawaida cha kundi au kiwango cha kawaida cha safu kinaweza kurahisisha uboreshaji kwa kiasi kikubwa.

  • Uongezaji wa data : kugeuza/kupunguza/kutetemeka kwa rangi kwa picha; kuficha/kuchanganya tokeni kwa maandishi.

  • Uchambuzi wa hitilafu : makosa ya kikundi kwa kipande-kipande kimoja yanaweza kuburuta kila kitu chini.

  • Repro : weka mbegu, andika vigezo vya hyperparams, hifadhi vituo vya ukaguzi. Nakuahidi siku zijazo utashukuru. [2], [3]

Unapokuwa na shaka, rudi kwenye misingi. Misingi inabaki kuwa dira. [1], [2]

Mfano mdogo ambao karibu unafanya kazi 🪴

Kufundisha mfumo ni kama kumwagilia mmea kwa pua ya ajabu. Kidimbwi kingi kinachopitisha maji kupita kiasi. Ukame mdogo sana unaopitisha maji. Mwangaza unaofaa, pamoja na mwanga wa jua kutoka kwa data nzuri na virutubisho kutoka kwa malengo safi, na unapata ukuaji. Ndiyo, ni laini kidogo, lakini inashikamana.

Je, AI inajifunza vipi? Kuunganisha yote 🧾

Mfano huanza nasibu. Kupitia masasisho yanayotegemea gradient, yanayoongozwa na hasara, hulinganisha vigezo vyake na mifumo katika data. Uwakilishi hujitokeza ambao hurahisisha utabiri. Tathmini inakuambia kama kujifunza ni kweli, si kwa bahati mbaya. Na urudiaji - pamoja na vizuizi vya usalama - hubadilisha onyesho kuwa mfumo unaotegemewa. Hiyo ndiyo hadithi nzima, ikiwa na hisia chache za ajabu kuliko ilivyoonekana mwanzoni. [1]–[4]

Hotuba za Mwisho - Ndefu Sana, Haukusoma 🎁

  • AI Hujifunzaje? Kwa kupunguza hasara kwa kutumia gradients juu ya mifano mingi. [1], [2]

  • Data nzuri, malengo yaliyo wazi, na uboreshaji thabiti hufanya kujifunza kushikamane. [1]–[3]

  • Ujumla unashinda kukariri - daima. [1]

  • Usalama, tathmini, na marudio hubadilisha mawazo ya busara kuwa bidhaa zinazoaminika. [3], [4]

  • Anza kwa urahisi, pima vizuri, na uboreshe kwa kurekebisha data kabla ya kufuata usanifu wa kigeni. [2], [3]

Marejeleo

  1. Goodfellow, Bengio, Courville - Deep Learning (maandishi ya bure mtandaoni). Kiungo

  2. Stanford CS231n - Mitandao ya Neural ya Convolutional kwa Utambuzi wa Kuonekana (maelezo ya kozi na kazi). Kiungo

  3. Google - Kozi ya Kushindwa kwa Kujifunza kwa Mashine: Vipimo vya Uainishaji (Usahihi, Usahihi, Ukumbusho, ROC/AUC) . Kiungo

  4. NIST - Mfumo wa Usimamizi wa Hatari za AI (AI RMF 1.0) . Kiungo

  5. OpenAI - Kujifunza kutokana na Mapendeleo ya Binadamu (muhtasari wa mafunzo yanayotegemea upendeleo). Kiungo

Pata Akili ya Kielektroniki ya Hivi Punde katika Duka Rasmi la Msaidizi wa Akili ya Kielektroniki

Kuhusu Sisi

Rudi kwenye blogu