Jinsi ya kuwa Msanidi wa AI. Kiwango cha Chini.

Hauko hapa kwa mbwembwe. Unataka njia wazi ya Jinsi ya kuwa Msanidi wa AI bila kuzama kwenye vichupo visivyo na kikomo, supu ya jargon, au kupooza kwa uchanganuzi. Nzuri. Mwongozo huu unakupa ramani ya ujuzi, zana ambazo ni muhimu sana, miradi inayopokea simu, na tabia zinazotenganisha kuchezea na usafirishaji. Wacha tujenge.

Makala unayoweza kupenda kusoma baada ya hii:

🔗 Jinsi ya kuanzisha kampuni ya AI
Mwongozo wa hatua kwa hatua wa kujenga, kufadhili, na kuzindua uanzishaji wako wa AI.

🔗 Jinsi ya kutengeneza AI kwenye kompyuta yako
Jifunze kuunda, kutoa mafunzo na kuendesha miundo ya AI ndani ya nchi kwa urahisi.

🔗 Jinsi ya kutengeneza modeli ya AI
Uchanganuzi wa kina wa uundaji wa muundo wa AI kutoka kwa dhana hadi usambazaji.

🔗 AI ya mfano ni nini
Chunguza jinsi AI ya mfano inavyofanya kazi na kwa nini bado ni muhimu leo.

Ni nini hufanya Msanidi bora wa AI✅

Dev mzuri wa AI sio mtu anayekariri kila kiboreshaji. Ni mtu anayeweza kuchukua tatizo lisiloeleweka, kulitengeneza , kuunganisha pamoja data na miundo, kusafirisha kitu kinachofanya kazi, kukipima kwa uaminifu, na kurudiarudia bila kuigiza. Alama chache:

• Faraja na kitanzi kizima: data → mfano → eval → toa → ufuatiliaji.

• Upendeleo wa majaribio ya haraka juu ya nadharia safi... na nadharia ya kutosha ili kuepuka mitego dhahiri.

• Kwingineko ambayo inathibitisha kuwa unaweza kutoa matokeo, si tu madaftari.

• Mtazamo wa kuwajibika kuhusu hatari, faragha, na usawa - sio utendaji, wa vitendo. Ukuzaji wa tasnia kama Mfumo wa Kudhibiti Hatari wa NIST AI na Kanuni za AI za OECD hukusaidia kuzungumza lugha sawa na wakaguzi na washikadau. [1][2]

Kuungama ndogo: wakati mwingine utasafirisha kielelezo na kisha kutambua mafanikio ya msingi. Unyenyekevu huo - wa ajabu - ni nguvu kuu.

Vignette ya haraka: timu iliunda kiainishaji cha kupendeza kwa utatuzi wa usaidizi; kanuni za msingi za neno kuu zilishinda wakati wa jibu la kwanza. Walishika sheria, walitumia mfano kwa kesi za makali, na kusafirishwa zote mbili. Uchawi mdogo, matokeo zaidi.

Ramani ya Jinsi ya kuwa Msanidi wa AI 🗺️

Hapa kuna konda, njia ya kurudia. Izungushe mara chache unapoinua kiwango:

1. Umilisi wa kupanga katika Python pamoja na libs za msingi za DS: NumPy, pandas, scikit-learn. Cheki miongozo rasmi na kisha unda hati ndogo hadi vidole vyako vijue. Mwongozo wa Mtumiaji wa scikit-learn ni maradufu kama kitabu cha kiada cha kushangaza. [3]

2. Misingi ya ML kupitia silabasi iliyoundwa: miundo ya mstari, urekebishaji, uthibitishaji mtambuka, vipimo. Vidokezo vya kawaida vya mihadhara na mchanganyiko wa kozi ya ajali hufanya kazi vizuri.

3. Vifaa vya kujifunza kwa kina : chagua PyTorch au TensorFlow na ujifunze vya kutosha kutoa mafunzo, kuhifadhi na kupakia miundo; kushughulikia seti za data; na utatue makosa ya umbo la kawaida. Anza na Mafunzo rasmi ya PyTorch ikiwa unapenda "msimbo kwanza." [4]

4. Miradi ambayo kwa kweli husafirisha : kifurushi na Docker, wimbo unaendeshwa (hata kumbukumbu ya CSV haishindi chochote), na utumie API ndogo. Jifunze Kubernetes unapokua nje ya uwekaji wa kisanduku kimoja; Docker kwanza. [5]

5. Safu ya AI inayowajibika : pitisha orodha hakiki ya hatari nyepesi iliyochochewa na NIST/OECD (uhalali, kutegemewa, uwazi, usawa). Huweka majadiliano thabiti na ukaguzi kuwa wa kuchosha (kwa njia nzuri). [1][2]

6. Utaalam kidogo : NLP na Transfoma, maono yenye convs/ViTs za kisasa, wanaopendekeza, au programu na mawakala wa LLM. Chagua njia moja, jenga miradi miwili midogo, kisha tawi.

Utatembelea tena hatua 2–6 milele. Kusema kweli, hiyo ndiyo kazi.

Rafu ya ujuzi utatumia siku nyingi 🧰

• Python + Ugomvi wa data : safu za kukata, viungio, vikundi vya vikundi, uwekaji vekta. Ikiwa unaweza kufanya pandas kucheza, mafunzo ni rahisi na tathmini ni safi zaidi.

• Core ML : migawanyiko ya majaribio ya treni, kuepuka kuvuja, ujuzi wa kujua kusoma na kuandika wa kipimo. Mwongozo wa kujifunza scikit ni moja wapo ya maandishi bora kwenye njia panda kimya kimya. [3]

• Mfumo wa DL : chagua moja, fanya kazi kutoka mwisho hadi mwisho, kisha uangalie nyingine baadaye. Hati za PyTorch hufanya mtindo wa kiakili kuwa mzuri. [4]

• Jaribio la usafi : endeshaji za wimbo, vigezo na vizalia vya programu. Wakati ujao-unachukia akiolojia.

• Uwekaji wa vyombo na upangaji : Docker ili kufunga safu yako; Kubernetes unapohitaji nakala, kuongeza ukubwa otomatiki na masasisho yanayoendelea. Anzia hapa. [5]

• Misingi ya GPU : fahamu wakati wa kukodisha moja, jinsi ukubwa wa bechi unavyoathiri utumaji, na kwa nini baadhi ya ops zimefungwa kwenye kumbukumbu.

• AI inayowajibika : andika vyanzo vya data, tathmini hatari, na upunguze mpango kwa kutumia sifa zilizo wazi (uhalali, kutegemewa, uwazi, usawa). [1]

Mtaala wa kuanzia: viungo vichache vinavyobonyea juu ya uzito wao 🔗

• Misingi ya ML : seti nzito ya madokezo ya nadharia + mwendo wa matukio ya ajali. Oanisha na mazoezi katika scikit-learn. [3]

• Mifumo : Mafunzo ya PyTorch (au Mwongozo wa TensorFlow ukipendelea Keras). [4]

• Mambo muhimu ya sayansi ya data Mwongozo wa Mtumiaji wa scikit-learn ili kuweka ndani vipimo, mabomba na tathmini. [3]

• Usafirishaji ya Anza ya Docker ili "inafanya kazi kwenye mashine yangu" inabadilika kuwa "inafanya kazi kila mahali." [5]

Alamisha haya. Unapokwama, soma ukurasa mmoja, jaribu jambo moja, rudia.

Miradi mitatu ya kwingineko ambayo hupata mahojiano 📁

1. Urejeshaji-augmented swali kujibu kwenye hifadhidata yako mwenyewe

   • Futa/ingiza msingi wa maarifa, jenga upachikaji + urejeshaji, ongeza UI nyepesi.

   • Fuatilia muda wa kusubiri, usahihi wa seti ya Maswali na Majibu iliyoshikiliwa, na maoni ya watumiaji.

   • Jumuisha sehemu fupi ya "kesi za kutofaulu".

2. Muundo wa maono wenye vikwazo halisi vya kupeleka

   • Mfunze kiainishi au kigunduzi, tumikia kupitia FastAPI, weka chombo na Docker, andika jinsi ungeongeza kiwango. [5]

   • Ugunduzi wa utelezi wa hati (takwimu rahisi za idadi ya watu juu ya vipengele ni mwanzo mzuri).

3. Uchunguzi wa kifani wa AI unaowajibika

   • Chagua mkusanyiko wa data wa umma na vipengele nyeti. Fanya uandishi wa vipimo-na-miongozo iliyoambatanishwa na sifa za NIST (uhalali, kutegemewa, usawa). [1]

Kila mradi unahitaji: README ya ukurasa 1, mchoro, hati zinazoweza kurudiwa, na logi ndogo ya mabadiliko. Ongeza ustadi wa emoji kwa sababu, wanadamu pia husoma hizi 🙂

MLOps, uwekaji, na sehemu ambayo hakuna mtu anayekufundisha 🚢

Usafirishaji ni ujuzi. Mtiririko mdogo:

• Weka programu yako kwenye chombo na Docker ili dev ≈ prod. Anza na hati rasmi za Kuanza; sogeza hadi Tunga kwa usanidi wa huduma nyingi. [5]

• Fuatilia majaribio (hata ndani ya nchi). Vigezo, vipimo, vizalia vya programu, na lebo ya "mshindi" hufanya uondoaji kuwa wa uaminifu na ushirikiano iwezekanavyo.

• Ongea na Kubernetes unapohitaji kiwango au kutengwa. Jifunze Usambazaji, Huduma, na usanidi wa kutangaza kwanza; kupinga hamu ya kunyoa yak.

• Nyakati za kukimbia za wingu : Colab kwa prototyping; majukwaa yanayosimamiwa (SageMaker/Azure ML/Vertex) mara tu unapopitisha programu za kuchezea.

• Ujuzi wa GPU : huna haja ya kuandika kokwa za CUDA; unahitaji kutambua wakati kipakiaji data ni kizuizi chako.

Sitiari ndogo yenye dosari: fikiria MLOps kama kianzilishi cha unga - lishe kwa kiotomatiki na ufuatiliaji, au inanuka.

AI inayowajibika ni njia yako ya ushindani 🛡️

Timu ziko chini ya shinikizo kuthibitisha uaminifu. Ikiwa unaweza kuzungumza kwa uwazi kuhusu hatari, uhifadhi wa nyaraka, na utawala, unakuwa mtu ambaye watu wanataka katika chumba.

• Tumia mfumo uliowekwa : mahitaji ya ramani kwa sifa za NIST (uhalali, kutegemewa, uwazi, usawa), kisha uzigeuze kuwa bidhaa za orodha na vigezo vya kukubalika katika PRs. [1]

• Anzisha kanuni zako : Kanuni za AI za OECD zinasisitiza haki za binadamu na maadili ya kidemokrasia - rahisi wakati wa kujadili usuluhishi. [2]

• Maadili ya kitaaluma : kuitikia kwa ufupi msimbo wa maadili katika hati za muundo mara nyingi ni tofauti kati ya "tulifikiria juu yake" na "tulikubali."

Huu sio mkanda mwekundu. Ni ufundi.

Utaalam kidogo: chagua njia na ujifunze zana zake 🛣️

• LLMs & NLP : mitego ya tokeni, madirisha ya muktadha, RAG, tathmini zaidi ya BLEU. Anza na mabomba ya kiwango cha juu, kisha ubadilishe upendavyo.

• Maono : uboreshaji wa data, usafi wa kuweka lebo, na kupelekwa kwenye vifaa vya ukingo ambapo muda wa kusubiri ni malkia.

• Wanaopendekeza : hitilafu za maoni dhahiri, mikakati ya kuanza bila kusita, na KPI za biashara ambazo hazilingani na RMSE.

• Mawakala na utumiaji wa zana : upigaji simu wa utendaji, usimbaji finyu, na reli za usalama.

Kusema kweli, chagua kikoa kinachokufanya udadisi Jumapili asubuhi.

Jedwali la kulinganisha: njia za Jinsi ya kuwa Msanidi wa AI 📊

Ndiyo, nafasi ni tofauti kidogo. Jedwali halisi ni mara chache kamilifu.

Soma vitanzi ambavyo vinashikamana 🔁

• Mizunguko ya saa mbili : Dakika 20 za kusoma hati, dakika 80 kuweka misimbo, dakika 20 kuandika kilichovunjika.

• Maandishi ya ukurasa mmoja : baada ya kila mradi mdogo, eleza uundaji wa matatizo, misingi, vipimo na modi za kushindwa.

• Vikwazo vya kimakusudi : fanya mazoezi kwenye CPU pekee, au hakuna vichocheo vya nje vya kuchakata mapema, au weka bajeti ya mistari 200 haswa. Vikwazo huzaa ubunifu, kwa namna fulani.

• Karatasi sprints : kutekeleza tu hasara au dataloader. Huhitaji SOTA ili kujifunza tani.

Ikiwa umakini utapungua, ni kawaida. Kila mtu anatetemeka. Tembea, rudi, safirisha kitu kidogo.

Maandalizi ya mahojiano, ukiondoa tamthilia 🎯

• Kwingineko kwanza : repos halisi hushinda staha za slaidi. Tumia angalau onyesho moja dogo.

• Eleza mabadiliko : kuwa tayari kupitia chaguo za kipimo na jinsi ungetatua kutofaulu.

• Mfumo wa kufikiri : chora data → modeli → API → fuatilia mchoro na uisimulie.

• AI inayowajibika : weka orodha rahisi iliyoambatanishwa na NIST AI RMF - inaashiria ukomavu, si buzzwords. [1]

• Ufasaha wa mfumo : chagua mfumo mmoja na uwe hatari nao. Hati rasmi ni mchezo wa haki katika mahojiano. [4]

Kitabu kidogo cha upishi: mradi wako wa kwanza wa mwisho hadi mwisho mwishoni mwa wiki 🍳

1. Data : chagua mkusanyiko safi wa data.

2. Msingi : mfano wa scikit-jifunze na uthibitishaji wa msalaba; logi vipimo vya msingi. [3]

3. DL kupita : kazi sawa katika PyTorch au TensorFlow; kulinganisha apples na apples. [4]

4. Kufuatilia : rekodi huendeshwa (hata CSV + mihuri ya nyakati rahisi). Tag mshindi.

5. Serve : funga utabiri katika njia ya FastAPI, dockerize, endesha ndani. [5]

6. Tafakari : kipimo ni muhimu kwa mtumiaji, ni hatari gani zipo, na nini ungefuatilia baada ya uzinduzi - azima sheria na masharti kutoka kwa NIST AI RMF ili kuiweka sawa. [1]

Je, hii ni kamili? Hapana. Je, ni bora kuliko kusubiri kozi kamili? Kabisa.

Mitego ya kawaida unaweza kuepuka mapema ⚠️

• Kutosha kujifunza kwako kwa mafunzo : ni vizuri kuanza, lakini nenda kwenye fikra ya kwanza ya tatizo hivi karibuni.

• Kuruka muundo wa tathmini : fafanua mafanikio kabla ya mafunzo. Huokoa saa.

• Kupuuza kandarasi za data : uelekevu wa taratibu huvunja mifumo zaidi kuliko miundo.

• Hofu ya kupelekwa : Docker ni rafiki kuliko inavyoonekana. Anza ndogo; ukubali ujenzi wa kwanza utakuwa mbovu. [5]

• Maadili mwishowe : iwashe baadaye na inageuka kuwa kazi ya kufuata. Kuoka katika kubuni - nyepesi, bora zaidi. [1][2]

TL;DR 🧡

Ikiwa unakumbuka jambo moja: Jinsi ya kuwa Msanidi Programu wa AI haihusu kuhodhi nadharia au kufukuza miundo inayong'aa. Ni juu ya kusuluhisha shida za kweli mara kwa mara na kitanzi kikali na mawazo ya kuwajibika. Jifunze mrundikano wa data, chagua mfumo mmoja wa DL, safirisha vitu vidogo ukitumia Docker, fuatilia unachofanya, na utekeleze chaguo lako kwa mwongozo unaoheshimiwa kama vile NIST na OECD. Jenga miradi mitatu midogo, inayopendwa na uzungumzie kama mshiriki wa timu, sio mchawi. Hiyo ndiyo - mara nyingi.

Na ndio, sema kifungu hicho kwa sauti ikiwa kitasaidia: Ninajua Jinsi ya kuwa Msanidi wa AI . Kisha nenda uithibitishe kwa saa moja ya ujenzi uliolenga leo.

Marejeleo

[1] NIST. Mfumo wa Usimamizi wa Hatari wa Ujasusi Bandia (AI RMF 1.0) . (PDF) - Kiungo
[2] OECD. Kanuni za OECD AI - Muhtasari - Kiungo
[3] scikit-learn. Mwongozo wa Mtumiaji (imara) - Kiungo
[4] PyTorch. Mafunzo (Jifunze Misingi, n.k.) - Kiungo
[5] Docker. Anza - Kiungo