wahandisi wa ai wanafanya nini

Wahandisi wa AI hufanya nini?

Umewahi kujiuliza ni nini kinachojificha nyuma ya neno buzzword "AI Mhandisi"? Mimi pia. Kutoka nje inaonekana kung'aa, lakini kwa kweli ni kazi ya usanifu wa sehemu sawa, kugombana kwa data iliyochafuka, kuunganisha mifumo pamoja, na kuangalia kwa umakini ikiwa mambo yanafanya yale wanayopaswa kufanya. Ikiwa unataka toleo la mstari mmoja: hugeuza matatizo ya ukungu kuwa mifumo ya AI inayofanya kazi ambayo haiporomoki watumiaji halisi wanapojitokeza. muda mrefu, kidogo zaidi machafuko kuchukua - vizuri, hiyo ni chini. Chukua kafeini. ☕

Makala unayoweza kupenda kusoma baada ya hii:

🔗 Zana za AI kwa wahandisi: Kuongeza ufanisi na uvumbuzi
Gundua zana zenye nguvu za AI ambazo huongeza tija ya uhandisi na ubunifu.

🔗 Je, wahandisi wa programu watabadilishwa na AI?
Chunguza mustakabali wa uhandisi wa programu katika enzi ya uundaji otomatiki.

🔗 Utumizi wa uhandisi wa tasnia ya kubadilisha akili ya bandia
Jifunze jinsi AI inavyounda upya michakato ya viwanda na kuendeleza uvumbuzi.

🔗 Jinsi ya kuwa mhandisi wa AI
Mwongozo wa hatua kwa hatua wa kuanza safari yako kuelekea taaluma ya uhandisi wa AI.

Hatua ya haraka: kile ambacho mhandisi wa AI kweli 💡

Katika kiwango rahisi zaidi, mhandisi wa AI hubuni, hujenga, husafirisha, na kudumisha mifumo ya AI. Siku hadi siku huwa na kuhusisha:

  • Kutafsiri mahitaji ya bidhaa au biashara isiyoeleweka kuwa kitu ambacho miundo inaweza kushughulikia.

  • Kukusanya, kuweka lebo, kusafisha, na - bila kuepukika - kuangalia tena data inapoanza kusogea.

  • Kuchukua na kufundisha miundo, kwa kuhukumu kwa vipimo sahihi, na kuandika ambapo watashindwa.

  • Kufunga jambo zima katika mabomba ya MLOps ili iweze kujaribiwa, kupelekwa, kuzingatiwa.

  • Kuitazama porini: usahihi, usalama, haki… na kurekebisha kabla haijaharibika.

Ikiwa unafikiria "kwa hivyo ni uhandisi wa programu pamoja na sayansi ya data iliyo na mawazo mengi ya bidhaa" - ndio, hiyo ni kuhusu umbo lake.

Ni nini hutenganisha wazuri wa AI na wengine ✅

Unaweza kujua kila karatasi ya usanifu iliyochapishwa tangu 2017 na bado ujenge fujo dhaifu. Watu ambao hufanikiwa katika jukumu kawaida:

  • Fikiria katika mifumo. Wanaona kitanzi kizima: data ndani, maamuzi nje, kila kitu kinachoweza kufuatiliwa.

  • Usifuate uchawi kwanza. Misingi ya msingi na hundi rahisi kabla ya kuweka ugumu.

  • Oka katika maoni. Kujizoeza tena na kurudisha nyuma sio ziada, ni sehemu ya muundo.

  • Andika vitu. Biashara, mawazo, mapungufu - boring, lakini dhahabu baadaye.

  • Tibu AI inayowajibika kwa umakini. Hatari hazipotei kwa matumaini, huingia na kudhibitiwa.

Hadithi ndogo: Timu moja ya usaidizi ilianza na kanuni bubu+msingi wa kurejesha. Hilo liliwapa majaribio ya wazi ya kukubalika, kwa hivyo walipobadilisha mtindo mkubwa baadaye, walikuwa na ulinganisho safi - na kurudi nyuma kwa urahisi wakati ilifanya vibaya.

Mzunguko wa maisha: hali halisi iliyochafuka dhidi ya michoro nadhifu 🔁

  1. Panga tatizo. Bainisha malengo, kazi, na "nzuri ya kutosha" inaonekana.

  2. Fanya kusaga data. Safi, weka lebo, mgawanyiko, toleo. Thibitisha bila kikomo ili kupata kusogea kwa schema.

  3. Majaribio ya mfano. Jaribu misingi rahisi, ya majaribio, iterate, hati.

  4. Isafirishe. Mabomba ya CI/CD/CT, uwekaji salama, canaries, kurudi nyuma.

  5. Endelea kuangalia. Fuatilia usahihi, muda wa kusubiri, kuteleza, usawa, matokeo ya mtumiaji. Kisha fanya mazoezi tena.

Kwenye slaidi hii inaonekana kama duara nadhifu. Kwa mazoezi ni zaidi kama kuchezea tambi na ufagio.

AI inayowajibika wakati mpira unagonga barabarani 🧭

Sio juu ya staha nzuri za slaidi. Wahandisi hutegemea mifumo kufanya hatari kuwa kweli:

  • NIST AI RMF inatoa muundo wa kugundua, kupima, na kushughulikia hatari katika muundo wote kupitia uwekaji [1].

  • Kanuni za OECD hufanya kazi zaidi kama dira - miongozo mipana mashirika mengi yanapatana na [2].

Timu nyingi pia huunda orodha zao za kukaguliwa (ukaguzi wa faragha, milango ya kuingiliana na binadamu) zilizopangwa kwenye mzunguko huu wa maisha.

Hati ambazo si za hiari: Kadi za Mfano na Laha za Data 📝

Vipande viwili vya karatasi utajishukuru kwa baadaye:

  • Kadi za Mfano → tamka matumizi yaliyokusudiwa, miktadha ya eval, tahadhari. Imeandikwa ili bidhaa/watu wa kisheria waweze kufuata pia [3].

  • Laha za data za Seti za Data → eleza kwa nini data ipo, kilicho ndani yake, upendeleo unaowezekana, na matumizi salama dhidi ya yasiyo salama [4].

Future-wewe (na wachezaji wenzako wa siku zijazo) watakupongeza kimyakimya kwa kuziandika.

Kupiga mbizi kwa kina: mabomba ya data, mikataba na matoleo 🧹📦

Data inapata ukatili. Wahandisi mahiri wa AI hutekelezea kandarasi, weka hundi, na waweke matoleo yakiwa na msimbo ili uweze kurejesha nyuma baadaye.

  • Uthibitishaji → ratibu schema, safu, upya; tengeneza hati kiotomatiki.

  • Kutoa → panga hifadhidata na mifano iliyo na ahadi za Git, kwa hivyo unayo logi ya mabadiliko ambayo unaweza kuamini.

Mfano mdogo: Muuzaji mmoja aliteleza kwenye schema ili kuzuia milisho ya wasambazaji iliyojaa batili. tripwire hiyo ilisimamisha kushuka mara kwa mara katika recall@k kabla ya wateja kutambua.

Kupiga mbizi kwa kina: usafirishaji na kuongeza 🚢

Kupata modeli inayoendesha katika prod sio tu model.fit() . Ukanda wa zana hapa ni pamoja na:

  • Docker kwa ufungaji thabiti.

  • Kubernetes kwa okestra, kuongeza ukubwa na uchapishaji salama.

  • Mifumo ya MLOps ya canaries, migawanyiko ya A/B, utambuzi wa nje.

Nyuma ya pazia ni ukaguzi wa afya, ufuatiliaji, upangaji wa CPU dhidi ya GPU, urekebishaji wa muda umekwisha. Sio ya kupendeza, ni lazima kabisa.

Kupiga mbizi kwa kina: Mifumo ya GenAI & RAG 🧠📚

Mifumo ya uzalishaji huleta twist nyingine - kurejesha msingi.

  • Upachikaji + vekta hutafuta utafutaji wa kufanana kwa kasi.

  • orchestration za urejeshaji mnyororo, utumiaji wa zana, uchakataji baada ya usindikaji.

Chaguo katika kupanga, kupanga upya, eval - simu hizi ndogo huamua kama utapata chatbot isiyoeleweka au rubani msaidizi muhimu.

Ujuzi na zana: ni nini hasa kilicho kwenye rafu 🧰

Mfuko mchanganyiko wa ML ya kawaida na gia ya kina ya kujifunzia:

  • Miundo: PyTorch, TensorFlow, scikit-learn.

  • Mabomba: Utiririshaji wa hewa, n.k., kwa kazi zilizoratibiwa.

  • Uzalishaji: Docker, K8s, mifumo ya huduma.

  • Kuzingatiwa: wachunguzi wa kuteleza, wafuatiliaji wa muda, ukaguzi wa haki.

Hakuna mtu anayetumia kila kitu . Ujanja ni kujua vya kutosha katika mzunguko wa maisha ili kusababu kwa busara.

Jedwali la zana: ni nini wahandisi hufikia kwa kweli 🧪

Zana Hadhira Bei Kwa nini ni muhimu
PyTorch Watafiti, wahandisi Chanzo wazi Flexible, pythonic, jumuiya kubwa, vyandarua maalum.
Mtiririko wa Tensor Timu zinazotegemea bidhaa Chanzo wazi Kina cha mfumo ikolojia, TF Serving & Lite kwa matumizi.
kujifunza-scikit Watumiaji wa kawaida wa ML Chanzo wazi Misingi bora, API safi, usindikaji wa awali uliowekwa ndani.
MLflow Timu zilizo na majaribio mengi Chanzo wazi Huweka uendeshaji, miundo, vizalia vya programu vilivyopangwa.
Mtiririko wa hewa Bomba jamani Chanzo wazi DAG, kuratibu, uangalizi ni mzuri vya kutosha.
Kifaa cha kuwekea mizigo Kimsingi kila mtu Msingi wa bure Mazingira sawa (zaidi). Mapigano machache "hufanya kazi kwenye kompyuta yangu ya mkononi pekee".
Kubernetes Timu za Infra-Heavy Chanzo wazi Kuongeza kasi kiotomatiki, usambazaji, misuli ya kiwango cha biashara.
Mfano unaohudumia kwenye K8s Watumiaji wa mfano wa K8s Chanzo wazi Kutumikia kawaida, ndoano za kuteleza, zinaweza kupunguzwa.
Maktaba za utafutaji wa Vekta Wajenzi wa RAG Chanzo wazi Kufanana kwa haraka, rahisi kwa GPU.
Duka za vekta zinazosimamiwa Timu za Enterprise RAG Viwango vya kulipwa Faharisi zisizo na seva, kuchuja, kuegemea kwa kiwango.

Ndio, kifungu kinahisi kutofautiana. Chaguo za zana kawaida ni.

Kupima mafanikio bila kuzama kwenye nambari 📏

Vipimo muhimu hutegemea muktadha, lakini kawaida ni mchanganyiko wa:

  • Ubora wa utabiri: usahihi, kumbuka, F1, urekebishaji.

  • Mtumiaji wa Mfumo +: muda wa kusubiri, p95/p99, kiinua cha ubadilishaji, viwango vya kukamilisha.

  • Viashiria vya haki: usawa, athari tofauti - kutumika kwa uangalifu [1][2].

Vipimo vipo kwa ubadilishanaji wa uso. Ikiwa hawana, wabadilishane.

Mitindo ya ushirikiano: ni mchezo wa timu 🧑🤝🧑

Wahandisi wa AI kawaida hukaa kwenye makutano na:

  • Bidhaa na watu wa kikoa (fafanua mafanikio, walinzi).

  • Wahandisi wa data (vyanzo, michoro, SLA).

  • Usalama/kisheria (faragha, kufuata).

  • Ubunifu/utafiti (upimaji wa mtumiaji, esp. kwa GenAI).

  • Ops/SRE (uptime na drills moto).

Tarajia ubao mweupe uliofunikwa kwa michoro na mijadala mikali ya mara kwa mara - ni afya.

Mitego: kinamasi cha deni la kiufundi 🧨

Mifumo ya ML huvutia deni lililofichwa: usanidi uliochanganyika, utegemezi dhaifu, maandishi ya gundi yaliyosahaulika. Manufaa ya kuanzisha ulinzi - vipimo vya data, usanidi uliochapishwa, kurudi nyuma - kabla ya kinamasi kukua. [5]

Watunza usafi: mazoea ambayo husaidia 📚

  • Anza kidogo. Thibitisha kazi ya bomba kabla ya kuchanganya mifano.

  • mabomba ya MLOps. CI kwa data/miundo, CD kwa ajili ya huduma, CT kwa mafunzo upya.

  • Orodha za ukaguzi za AI zinazowajibika. Imeundwa kwa shirika lako, na hati kama vile Kadi za Mfano na Lahajedwali [1][3][4].

Fanya tena Maswali Yanayoulizwa Mara kwa Mara: jibu la sentensi moja 🥡

Wahandisi wa AI huunda mifumo ya kuanzia-mwisho ambayo ni muhimu, inayoweza kujaribiwa, inayoweza kutumiwa, na salama kwa kiasi fulani - huku wakifanya biashara kuwa wazi ili kusiwe na mtu gizani.

TL;DR 🎯

  • Wanachukua matatizo ya fuzzy → mifumo ya AI inayotegemewa kupitia kazi ya data, uundaji wa mfano, MLOps, ufuatiliaji.

  • Bora ifanye iwe rahisi kwanza, pima bila kuchoka, na uweke makisio ya hati.

  • Uzalishaji AI = mabomba + kanuni (CI/CD/CT, haki inapohitajika, mawazo ya hatari yaliyowekwa ndani).

  • Zana ni zana tu. Tumia kiwango cha chini kinachokupeleka kwenye treni → fuatilia → hudumia → tazama.

Viungo vya marejeleo

  1. NIST AI RMF (1.0). Kiungo

  2. Kanuni za AI za OECD. Kiungo

  3. Kadi za Mfano (Mitchell et al., 2019). Kiungo

  4. Laha za Data za Seti za Data (Gebru et al., 2018/2021). Kiungo

  5. Deni la Kiufundi Lililofichwa (Sculley et al., 2015). Kiungo

Pata AI ya Hivi Punde kwenye Duka Rasmi la Msaidizi wa AI

Kuhusu Sisi

Rudi kwenye blogu