Wahandisi wa AI hufanya nini?

Wahandisi wa AI hufanya nini?

Umewahi kujiuliza ni nini kinachojificha nyuma ya neno "Mhandisi wa AI" linalozungumziwa? Mimi pia nilijiuliza. Kutoka nje inasikika kama inang'aa, lakini kwa kweli ni kazi sawa ya usanifu, kuchambua data chafu, kushona mifumo pamoja, na kuangalia kwa makini kama mambo yanafanya kile yanachotakiwa kufanya. Ukitaka toleo la mstari mmoja: hubadilisha matatizo yasiyoeleweka kuwa mifumo ya AI inayofanya kazi ambayo haianguki watumiaji halisi wanapojitokeza. Kadiri muda unavyopita, na machafuko kidogo - ndivyo ilivyo hapa chini. Chukua kafeini. ☕

Makala ambazo unaweza kupenda kusoma baada ya hii:

🔗 Zana za AI kwa wahandisi: Kuongeza ufanisi na uvumbuzi
Gundua zana zenye nguvu za AI zinazoboresha tija na ubunifu wa uhandisi.

🔗 Je, wahandisi wa programu watabadilishwa na AI?
Gundua mustakabali wa uhandisi wa programu katika enzi ya otomatiki.

🔗 Matumizi ya uhandisi wa viwanda vinavyobadilisha akili bandia
Jifunze jinsi AI inavyobadilisha michakato ya viwanda na kuendesha uvumbuzi.

🔗 Jinsi ya kuwa mhandisi wa akili bandia (AI)
Mwongozo wa hatua kwa hatua wa kuanza safari yako kuelekea kazi katika uhandisi wa akili bandia.

Maelezo ya haraka: mhandisi wa akili bandia hufanya nini hasa 💡

Katika kiwango rahisi zaidi, mhandisi wa AI hubuni, hujenga, husafirisha, na kudumisha mifumo ya AI. Shughuli za kila siku huhusisha:

  • Kutafsiri mahitaji ya bidhaa au biashara yasiyoeleweka kuwa kitu ambacho mifumo inaweza kushughulikia.

  • Kukusanya, kuweka lebo, kusafisha, na - bila shaka - kuangalia upya data inapoanza kupotea.

  • Kuchagua na kufunza mifumo, kuihukumu kwa vipimo sahihi, na kuandika mahali ambapo itashindwa.

  • Kufunga kitu kizima kwenye mabomba ya MLOps ili kiweze kupimwa, kupelekwa, na kuzingatiwa.

  • Kuiangalia porini: usahihi, usalama, usawa… na kurekebisha kabla haijaharibika.

Kama unafikiria "kwa hivyo ni uhandisi wa programu pamoja na sayansi ya data pamoja na mawazo mengi ya bidhaa" - ndio, hiyo ni kuhusu umbo lake.

Kinachotofautisha wazuri wa AI na wengine ✅

Unaweza kujua kila karatasi ya usanifu iliyochapishwa tangu 2017 na bado ukajenga fujo dhaifu. Watu wanaofanikiwa katika jukumu hilo kwa kawaida:

  • Fikiria katika mifumo. Wanaona mzunguko mzima: data ndani, maamuzi nje, kila kitu kinaweza kufuatiliwa.

  • Usifuate uchawi kwanza. Misingi na ukaguzi rahisi kabla ya kuweka utata katika makundi.

  • Toa maoni. Kufundisha upya na kurudisha nyuma si vitu vya ziada, ni sehemu ya muundo.

  • Andika mambo. Mapatano, dhana, mapungufu - ya kuchosha, lakini ya dhahabu baadaye.

  • Ichukulie akili bandia inayowajibika kwa uzito. Hatari haziondoki kwa matumaini, zinarekodiwa na kudhibitiwa.

Hadithi Ndogo: Timu moja ya usaidizi ilianza na sheria za kijinga+msingi wa urejeshaji. Hilo liliwapa majaribio ya kukubalika wazi, kwa hivyo walipobadilishana na modeli kubwa baadaye, walikuwa na ulinganisho safi - na kurudi nyuma rahisi ilipofanya vibaya.

Mzunguko wa maisha: ukweli mchafu dhidi ya michoro nadhifu 🔁

  1. Weka tatizo kwenye umbo. Fafanua malengo, kazi, na jinsi "nzuri ya kutosha" inavyoonekana.

  2. Saga data. Safisha, lebo, gawanya, toleo. Thibitisha bila kikomo ili kukamata mkondo wa schema.

  3. Majaribio ya kielelezo. Jaribu rahisi, jaribu misingi, rudia, andika.

  4. Isafirishe. Mabomba ya CI/CD/CT, vifaa salama, canaries, rollbacks.

  5. Endelea kufuatilia. Fuatilia usahihi, ucheleweshaji, upotovu, usawa, na matokeo ya mtumiaji. Kisha jifunze tena.

Kwenye slaidi hii inaonekana kama duara nadhifu. Kiutendaji ni kama kuchezea tambi na ufagio.

Akili bandia yenye uwajibikaji wakati mpira unapoingia barabarani 🧭

Sio kuhusu deki nzuri za slaidi. Wahandisi hutegemea mifumo ili kufanya hatari iwe halisi:

  • NIST AI RMF inatoa muundo wa kubaini, kupima, na kushughulikia hatari katika muundo kupitia usanidi [1].

  • Kanuni za OECD hufanya kazi zaidi kama dira - miongozo mipana ambayo mashirika mengi hufuata [2].

Timu nyingi pia huunda orodha zao za ukaguzi (mapitio ya faragha, malango ya kibinadamu) yaliyopangwa kwenye mizunguko hii ya maisha.

Hati ambazo hazionekani kuwa za hiari: Kadi za Mfano na Laha za Data 📝

Vipande viwili vya karatasi utakavyojishukuru baadaye:

  • Kadi za Mfano → eleza matumizi yaliyokusudiwa, miktadha ya eval, tahadhari. Imeandikwa ili watu wa bidhaa/halali waweze kufuata pia [3].

  • Karatasi za data za Seti za Data → zinaelezea kwa nini data ipo, kilicho ndani yake, upendeleo unaowezekana, na matumizi salama dhidi ya yasiyo salama [4].

Wewe (na wachezaji wenzako wa baadaye) mtakubali kwa upole kwa kuandika.

Kuchunguza kwa undani: mifumo ya data, mikataba, na uundaji wa matoleo 🧹📦

Data inazidi kuwa mbaya. Wahandisi mahiri wa AI wanatekeleza mikataba, hundi, na huweka matoleo yakiunganishwa na msimbo ili uweze kurudi nyuma baadaye.

  • Uthibitisho → andika mpangilio, masafa, upya; tengeneza hati kiotomatiki.

  • Uundaji wa matoleo → hupanga seti za data na modeli zenye Git commits, kwa hivyo una kumbukumbu ya mabadiliko ambayo unaweza kuiamini.

Mfano mdogo: Muuzaji mmoja aliingiza ukaguzi wa schema ili kuzuia mipasho ya wasambazaji iliyojaa nulls. Tripwire hiyo moja ilizuia matone yanayojirudia katika recall@k kabla ya wateja kugundua.

Kuzama kwa kina: usafirishaji na upanuzi 🚢

Kupata modeli inayoendeshwa katika prod si tu model.fit() . Mkanda wa zana hapa unajumuisha:

  • Kizibao kwa ajili ya ufungashaji thabiti.

  • Kubernetes kwa ajili ya upangaji, upanuzi, na utekelezaji salama.

  • Mifumo ya MLOps kwa ajili ya canary, mgawanyiko wa A/B, ugunduzi wa nje.

Nyuma ya pazia kuna ukaguzi wa afya, ufuatiliaji, ratiba ya CPU dhidi ya GPU, urekebishaji wa muda wa kuisha. Sio ya kupendeza, ni muhimu sana.

Kuzama kwa kina: Mifumo ya GenAI na RAG 🧠📚

Mifumo ya uzalishaji huleta mabadiliko mengine - msingi wa kurejesha.

  • Upachikaji + utafutaji wa vekta kwa ajili ya utafutaji wa kufanana kwa kasi.

  • uratibu ili kupata mnyororo, matumizi ya zana, na usindikaji baada ya kazi.

Chaguo katika kugawanya, kupanga upya, na kuhariri - simu hizi ndogo huamua kama utapata chatbot isiyoeleweka au rubani msaidizi muhimu.

Ujuzi na zana: ni nini hasa kilicho kwenye rundo 🧰

Mfuko mchanganyiko wa ML ya kawaida na vifaa vya kujifunza kwa undani:

  • Mifumo: PyTorch, TensorFlow, scikit-learn.

  • Mabomba: Mtiririko wa hewa, n.k., kwa kazi zilizopangwa.

  • Uzalishaji: Docker, K8, mifumo ya kuhudumia.

  • Uangalizi: vifuatiliaji vya kuteleza, vifuatiliaji vya kuchelewa, ukaguzi wa haki.

Hakuna mtu anayetumia kila kitu . Ujanja ni kujua vya kutosha katika mzunguko mzima wa maisha ili kufikiri kwa busara.

Jedwali la zana: ni nini hasa wahandisi wanakifikia 🧪

Zana Hadhira Bei Kwa nini ni rahisi
PyTorch Watafiti, wahandisi Chanzo huria Mtandao unaonyumbulika, wa python, jumuiya kubwa, mitandao maalum.
Mtiririko wa Tensor Timu zinazotegemea bidhaa Chanzo huria Kina cha mfumo ikolojia, Huduma ya TF na Lite kwa ajili ya matumizi.
kujifunza-scikit Watumiaji wa ML wa kawaida Chanzo huria Misingi mizuri, API nadhifu, usindikaji wa awali uliopikwa ndani.
Mtiririko wa ML Timu zenye majaribio mengi Chanzo huria Huweka mbio, modeli, na vitu vya kale vimepangwa.
Mtiririko wa hewa Watu wa bomba Chanzo huria DAG, ratiba, ufuatiliaji wa kutosha.
Kifaa cha kuwekea mizigo Kimsingi kila mtu Msingi huru Mazingira yaleyale (zaidi). Mapigano machache ya "hufanya kazi kwenye kompyuta yangu ya mkononi pekee".
Kubernetes Timu zenye infra-heavy Chanzo huria Kuongeza ukubwa kiotomatiki, kusambaza, misuli ya kiwango cha biashara.
Huduma ya modeli kwenye K8s Watumiaji wa modeli za K8 Chanzo huria Huduma ya kawaida, ndoano za kuteleza, zinazoweza kupanuliwa.
Maktaba za utafutaji wa vekta Wajenzi wa RAG Chanzo huria Kufanana kwa kasi, rafiki kwa GPU.
Maduka ya vekta yanayosimamiwa Timu za RAG za Biashara Viwango vya kulipwa Fahirisi zisizo na seva, uchujaji, uaminifu kwa kiwango.

Ndiyo, usemi huhisi haulingani. Chaguo za zana kwa kawaida huwa si sawa.

Kupima mafanikio bila kuzama katika idadi 📏

Vipimo muhimu hutegemea muktadha, lakini kwa kawaida huwa mchanganyiko wa:

  • Ubora wa utabiri: usahihi, ukumbusho, F1, urekebishaji.

  • Mfumo + mtumiaji: ucheleweshaji, p95/p99, kuinua ubadilishaji, viwango vya ukamilishaji.

  • Viashiria vya usawa: usawa, athari tofauti - vinatumika kwa uangalifu [1][2].

Vipimo vipo kwa ajili ya mabadilishano ya juu juu. Kama havipo, vibadilishe.

Mifumo ya ushirikiano: ni mchezo wa timu 🧑🤝🧑

Wahandisi wa AI kwa kawaida hukaa kwenye makutano na:

  • Watu wa bidhaa na kikoa (fafanua mafanikio, ulinzi).

  • Wahandisi wa data (vyanzo, michoro, SLA).

  • Usalama/kisheria (faragha, kufuata sheria).

  • Ubunifu/utafiti (upimaji wa mtumiaji, haswa kwa GenAI).

  • Ops/SRE (mazoezi ya muda wa ziada na ya kuzima moto).

Tarajia ubao mweupe unaofunikwa na maandishi na mijadala mikali ya kipimo - ni mzuri.

Mitego: dimbwi la deni la kiufundi 🧨

Mifumo ya ML huvutia deni lililofichwa: usanidi uliochanganyikiwa, utegemezi dhaifu, hati za gundi zilizosahaulika. Wataalamu huweka vizuizi - majaribio ya data, usanidi ulioandikwa, urejeshaji - kabla ya kinamasi kukua. [5]

Watunzaji wa afya: mazoea yanayosaidia 📚

  • Anza kidogo. Thibitisha kazi ya bomba kabla ya kutatanisha mifumo.

  • Mifumo ya MLOps. CI kwa ajili ya data/modeli, CD kwa ajili ya huduma, CT kwa ajili ya mafunzo upya.

  • Orodha za ukaguzi za AI zinazowajibika. Zimechorwa kwenye shirika lako, zikiwa na hati kama vile Kadi za Mfano na Laha za Data [1][3][4].

Maswali Yanayoulizwa Mara kwa Mara Yanaulizwa Mara kwa Mara: jibu la sentensi moja 🥡

Wahandisi wa AI huunda mifumo ya kuanzia mwanzo hadi mwisho ambayo ni muhimu, inayoweza kujaribiwa, inayoweza kutumika, na salama kwa kiasi fulani - huku wakifanya mabadiliko kuwa wazi ili mtu yeyote asiingie gizani.

TL;DR 🎯

  • Hushughulikia matatizo yasiyoeleweka → mifumo ya AI inayotegemeka kupitia kazi ya data, uundaji wa modeli, MLOps, na ufuatiliaji.

  • Bora iwe rahisi kwanza, pima bila kuchoka, na uandike mawazo.

  • Uzalishaji AI = mabomba + kanuni (CI/CD/CT, usawa inapohitajika, mawazo ya hatari yaliyochochewa).

  • Zana ni zana tu. Tumia kiwango cha chini kinachokufikisha kwenye treni → njia → tumikia → angalia.

Viungo vya marejeleo

  1. Kiungo cha NIST AI RMF (1.0).

  2. Kanuni za AI za OECD. Kiungo

  3. Kadi za Mfano (Mitchell et al., 2019). Kiungo

  4. Karatasi za data kwa Seti za Data (Gebru et al., 2018/2021). Kiungo

  5. Deni la Kiufundi Lililofichwa (Sculley et al., 2015). Kiungo

Pata Akili ya Kielektroniki ya Hivi Punde katika Duka Rasmi la Msaidizi wa Akili ya Kielektroniki

Kuhusu Sisi

Rudi kwenye blogu