Je, AI itachukua nafasi ya Wahandisi wa Data?

Je, AI itachukua nafasi ya Wahandisi wa Data?

Jibu fupi: AI haitachukua nafasi ya wahandisi wa data moja kwa moja; itaendesha kazi zinazojirudia kama vile uandishi wa SQL, uundaji wa bomba, majaribio, na nyaraka kiotomatiki. Ikiwa jukumu lako kwa kiasi kikubwa ni kazi ya umiliki mdogo, inayoendeshwa na tiketi, ina wazi zaidi; ikiwa unamiliki uaminifu, ufafanuzi, utawala, na mwitikio wa matukio, AI inakufanya uwe haraka zaidi.

Mambo muhimu ya kuzingatia:

Umiliki : Weka kipaumbele uwajibikaji kwa matokeo, si tu kutoa msimbo haraka.

Ubora : Jenga majaribio, uangalizi, na mikataba ili mabomba yaendelee kuaminika.

Utawala : Weka faragha, udhibiti wa ufikiaji, uhifadhi, na njia za ukaguzi zinazomilikiwa na binadamu.

Upinzani wa matumizi mabaya : Chukulia matokeo ya AI kama rasimu; yapitie ili kuepuka makosa ya uhakika.

Mabadiliko ya majukumu : Tumia muda mfupi kuandika boilerplate na muda mwingi kubuni mifumo imara.

Je, AI itachukua nafasi ya Wahandisi wa Data?

Kama umetumia zaidi ya dakika tano kuzunguka timu za data, umesikia kiitikio - wakati mwingine kikinong'onezwa, wakati mwingine kikizinduliwa katika mkutano kama msukosuko wa hadithi: Je, AI itachukua nafasi ya Wahandisi wa Data?

Na… Ninaelewa. AI inaweza kuzalisha SQL, kujenga mabomba, kuelezea athari za rafu, rasimu za modeli za dbt, hata kupendekeza mipango ya ghala kwa kujiamini kunakosumbua. GitHub Copilot kwa SQL Kuhusu modeli za dbt GitHub Copilot
Inahisi kama kutazama forklift ikijifunza kuchezea. Inavutia, inatisha kidogo, na huna uhakika kabisa inamaanisha nini kwa kazi yako 😅

Lakini ukweli si mzuri kama kichwa cha habari. AI inabadilisha kabisa uhandisi wa data. Inaendesha kiotomatiki vipande visivyo na maana na vinavyoweza kurudiwa. Inaharakisha wakati wa "Najua ninachotaka lakini sikumbuki sintaksia". Pia inazalisha aina mpya kabisa za machafuko.

Kwa hivyo hebu tuipange vizuri, bila matumaini ya mkono au hofu ya kuteleza maangamizi.

Makala ambazo unaweza kupenda kusoma baada ya hii:

🔗 Je, AI itachukua nafasi ya wataalamu wa eksirei?
Jinsi upigaji picha AI hubadilisha mtiririko wa kazi, usahihi, na majukumu ya siku zijazo.

🔗 Je, AI itachukua nafasi ya wahasibu?
Tazama ni kazi gani za uhasibu AI hujiendesha kiotomatiki na kile kinachobaki kuwa cha kibinadamu.

🔗 Je, AI itachukua nafasi ya mabenki ya uwekezaji?
Elewa athari za AI kwenye mikataba, utafiti, na mahusiano ya wateja.

🔗 Je, akili bandia itachukua nafasi ya mawakala wa bima?
Jifunze jinsi AI inavyobadilisha uandishi wa hati miliki, mauzo, na usaidizi kwa wateja.

Kwa nini swali la "AI inachukua nafasi ya Wahandisi wa Data" linaendelea kujitokeza tena 😬

Hofu hiyo inatoka mahali maalum sana: uhandisi wa data una kazi nyingi zinazoweza kurudiwa .

  • Kuandika na kurekebisha SQL

  • Hati za uingizwaji wa majengo

  • Kuchora ramani ya sehemu kutoka kwa mpango mmoja hadi mwingine

  • Kutengeneza majaribio na nyaraka za msingi

  • Kutatua hitilafu za bomba ambazo… zinaweza kutabirika

AI ni nzuri sana katika mifumo inayoweza kurudiwa. Na sehemu ndogo ya uhandisi wa data ni hivyo tu - mifumo iliyopangwa kwenye mifumo. Mapendekezo ya msimbo wa GitHub Copilot

Pia, mfumo ikolojia wa zana tayari "unaficha" ugumu:

Kwa hivyo akili bandia inapoonekana, inaweza kuhisi kama kipande cha mwisho. Ikiwa rundo tayari limeondolewa, na akili bandia inaweza kuandika msimbo wa gundi… ni nini kilichobaki? 🤷

Lakini hili ndilo jambo ambalo watu hupuuza: uhandisi wa data si kuandika tu . Kuandika ndiyo sehemu rahisi. Sehemu ngumu ni kufanya ukweli wa biashara usioeleweka, wa kisiasa na unaobadilika ufanye kama mfumo unaoaminika.

Na AI bado inapambana na giza hilo. Watu pia wanapambana - wanabuni tu vizuri zaidi.

Kile ambacho wahandisi wa data hufanya siku nzima (ukweli usio wa kawaida) 🧱

Tuwe wakweli - jina la kazi "Mhandisi wa Data" linasikika kama unajenga injini za roketi kutokana na hesabu halisi. Kwa vitendo, unajenga uaminifu .

Siku ya kawaida haitoshi "kuvumbua algoriti mpya" bali zaidi:

  • Kujadiliana na timu za juu kuhusu ufafanuzi wa data (ni chungu lakini ni muhimu)

  • Kuchunguza kwa nini kipimo kilibadilika (na kama ni halisi)

  • Kushughulikia mkondo wa schema na mshangao wa "mtu aliongeza safu saa sita usiku"

  • Kuhakikisha mabomba hayana dosari, yanaweza kurejeshwa, na yanaweza kuzingatiwa

  • Kuunda vizuizi ili wachambuzi wa chini ya mto wasijenge dashibodi zisizo na maana kwa bahati mbaya

  • Kusimamia gharama ili ghala lako lisigeuke kuwa moto wa pesa 🔥

  • Kuhakikisha upatikanaji, ukaguzi, kufuata sheria, sera za uhifadhi Kanuni za GDPR (Tume ya Ulaya) Kizuizi cha uhifadhi (ICO)

  • Kujenga bidhaa za data ambazo watu wanaweza kutumia bila kukutumia maswali 20 kwa njia ya DM

Sehemu kubwa ya kazi ni ya kijamii na kiutendaji:

  • "Nani anamiliki meza hii?"

  • "Je, ufafanuzi huu bado unafaa?"

  • "Kwa nini CRM inasafirisha nakala rudufu?"

  • "Je, tunaweza kusafirisha kipimo hiki kwa watendaji bila aibu?" 😭

Bila shaka, akili bandia (AI) inaweza kusaidia na sehemu za hili. Lakini kuibadilisha kikamilifu ni ... kunyoosha.

Ni nini kinachofanya toleo thabiti la jukumu la uhandisi wa data kuwa thabiti? ✅

Sehemu hii ni muhimu kwa sababu mazungumzo ya mbadala kwa kawaida hudhani wahandisi wa data ni "wajenzi wa bomba." Hiyo ni kama kudhani wapishi hasa "hukata mboga." Ni sehemu ya kazi, lakini sio kazi.

Toleo thabiti la mhandisi wa data kwa kawaida humaanisha kuwa wanaweza kufanya mengi kati ya haya:

  • Ubunifu wa mabadiliko
    Mabadiliko ya data. Timu hubadilika. Zana hubadilika. Mhandisi mzuri hujenga mifumo ambayo haianguki kila wakati ukweli unapopiga chafya 🤧

  • Fafanua mikataba na matarajio Neno
    "mteja" linamaanisha nini? Neno "amilifu" linamaanisha nini? Nini hutokea wakati mzozo unapofika kwa kuchelewa? Mikataba huzuia machafuko zaidi ya msimbo wa dhana unavyofanya. Kiwango cha Mkataba wa Data Huria (ODCS) ODCS (GitHub)

  • Jenga uangalizi katika kila kitu
    Sio tu "iliendeshwa" bali "iliendeshwa kwa usahihi." Upya, kasoro za ujazo, milipuko isiyo na maana, mabadiliko ya usambazaji. Uangalizi wa data (Dynatrace) Uangalizi wa data ni nini?

  • Fanya mabadiliko kama vile Kasi ya mtu mzima
    dhidi ya usahihi, gharama dhidi ya ucheleweshaji, kubadilika dhidi ya urahisi. Hakuna bomba kamili, ni mabomba tu unayoweza kuishi nayo.

  • Tafsiri mahitaji ya biashara kuwa mifumo endelevu
    Watu huomba vipimo, lakini wanachohitaji ni bidhaa ya data. AI inaweza kuandika msimbo, lakini haiwezi kujua mabomu ya ardhini ya biashara kichawi.

  • Weka data kimya.
    Pongezi kubwa kwa jukwaa la data ni kwamba hakuna mtu anayezungumzia kuihusu. Data isiyo na matukio ni data nzuri. Kama vile mabomba. Unaiona tu inaposhindwa 🚽

Ukifanya mambo haya, swali "Je, AI itachukua nafasi ya Wahandisi wa Data?" linaanza kusikika kama ... si sawa kidogo. AI inaweza kuchukua nafasi ya kazi , si umiliki .

Ambapo AI tayari inawasaidia wahandisi wa data (na ni nzuri sana) 🤖✨

AI si uuzaji tu. Ikitumiwa vizuri, ni kizidishi nguvu halali.

1) Kazi ya haraka ya SQL na mabadiliko

  • Kuchora viungo tata

  • Kuandika kazi za dirisha ambazo hungependa kuzifikiria

  • Kubadilisha mantiki ya lugha rahisi kuwa mifupa ya hoja

  • Kurekebisha maswali mabaya kuwa CTE zinazosomeka GitHub Copilot kwa SQL

Hii ni kubwa kwa sababu inapunguza athari ya "ukurasa mtupu". Bado unahitaji kuthibitisha, lakini unaanza kwa 70% badala ya 0%.

2) Kutatua matatizo na kuondoa michuzi ya mkate iliyosababisha mizizi

AI ni nzuri katika:

  • Kuelezea ujumbe wa makosa

  • Kupendekeza wapi pa kuangalia

  • Kupendekeza hatua za aina ya "angalia kutolingana kwa schema" GitHub Copilot
    Ni kama kuwa na mhandisi mdogo asiyechoka ambaye halali kamwe na wakati mwingine hudanganya kwa ujasiri 😅

3) Uboreshaji wa nyaraka na katalogi ya data

Imetengenezwa kiotomatiki:

  • Maelezo ya safu wima

  • Muhtasari wa mifano

  • Maelezo ya ukoo

  • "Jedwali hili linatumika kwa ajili ya nini?" rasimu za nyaraka za dbt

Sio kamili, lakini inavunja laana ya mabomba yasiyo na hati.

4) Jaribu kiunzi na ukaguzi

AI inaweza kupendekeza:

Tena - bado unaamua ni nini muhimu, lakini inaharakisha sehemu za kawaida.

5) Nambari ya "gundi" ya bomba

Violezo vya usanidi, viunzi vya YAML, mpangilio wa rasimu za DAG. Mambo hayo yanajirudia na AI hulaji kurudia kwa kifungua kinywa 🥣 Apache Airflow DAGs

Ambapo akili bandia bado inapambana (na hii ndiyo kiini chake) 🧠🧩

Hii ndiyo sehemu muhimu zaidi, kwa sababu inajibu swali la uingizwaji kwa umbile halisi.

1) Utata na ufafanuzi unaobadilika

Mantiki ya biashara mara chache huwa wazi. Watu hubadilisha mawazo yao katikati ya sentensi. "Mtumiaji anayefanya kazi" anakuwa "mtumiaji anayefanya kazi anayelipa" anakuwa "mtumiaji anayefanya kazi anayelipa bila kujumuisha marejesho ya pesa isipokuwa wakati mwingine" ... unajua jinsi ilivyo.

AI haiwezi kumiliki utata huo. Inaweza tu kukisia.

2) Uwajibikaji na hatari

Wakati bomba linapovunjika na dashibodi ya utekelezaji ikionyesha upuuzi, mtu lazima:

  • triage

  • athari ya mawasiliano

  • irekebishe

  • kuzuia kujirudia

  • andika uchunguzi wa baada ya kifo

  • kuamua kama biashara bado inaweza kuamini nambari za wiki iliyopita

AI inaweza kusaidia, lakini haiwezi kuwajibika kwa njia yenye maana. Mashirika hayaendeshwi kwa hisia - yanaendesha kwa uwajibikaji.

3) Kufikiri kwa mifumo

Mifumo ya data ni mifumo ikolojia: ulaji, uhifadhi, mabadiliko, upangaji, utawala, udhibiti wa gharama, SLA. Mabadiliko katika safu moja yanajitokeza. Dhana za Mtiririko wa Hewa wa Apache

AI inaweza kupendekeza uboreshaji wa ndani unaosababisha maumivu duniani. Ni kama kurekebisha mlango unaogongana kwa kuondoa mlango 😬

4) Usalama, faragha, kufuata sheria

Hapa ndipo ndoto mbadala zinapokufa.

AI inaweza kuandika sera, lakini kuzitekeleza kwa usalama ni uhandisi halisi.

5) "Mambo yasiyojulikana yasiyojulikana"

Matukio ya data mara nyingi hayatabiriki:

  • API ya muuzaji hubadilisha semantiki kimya kimya

  • Dhana ya eneo la saa inabadilika

  • Kijazaji cha nyuma kinarudia kizigeu

  • Utaratibu wa kujaribu tena husababisha maandishi maradufu

  • Kipengele kipya cha bidhaa kinaleta mifumo mipya ya matukio

AI ni dhaifu zaidi wakati hali si muundo unaojulikana.

Jedwali la Ulinganisho: ni nini kinapunguza nini, kwa vitendo 🧾🤔

Hapa chini kuna mtazamo wa vitendo. Sio "zana zinazochukua nafasi ya watu," bali zana na mbinu zinazopunguza kazi fulani.

Zana / mbinu Hadhira Mtazamo wa bei Kwa nini inafanya kazi
Wapigaji nakala wa msimbo wa AI (wasaidizi wa SQL + Python) GitHub Wahandisi wanaoandika misimbo mingi Bure hadi kulipwa Hufanya vyema katika uundaji wa jukwaa, urekebishaji, na sintaksia… wakati mwingine hujisifu kwa njia maalum sana
Viunganishi vya ELT vinavyosimamiwa Fivetran Timu zimechoka na ulaji wa majengo Usajili Huondoa maumivu ya kumeza yaliyobinafsishwa, lakini huvunja njia mpya za kufurahisha
Mifumo ya uangalizi wa data Uangalizi wa data (Dynatrace) Mtu yeyote anayemiliki SLA Kati hadi biashara Hugundua kasoro mapema - kama vile kengele za moshi kwa mabomba 🔔
Mifumo ya mabadiliko (modeli ya kutangaza) dbt Uchanganuzi + mseto wa DE Kwa kawaida kifaa + hesabu Hufanya mantiki kuwa ya kawaida na inayoweza kujaribiwa, na spaghetti kidogo
Katalogi za data + tabaka za kisemantiki dbt Tabaka la Semantiki Mashirika yenye mkanganyiko wa kipimo Inategemea, katika vitendo Hufafanua "ukweli" mara moja - hupunguza mijadala isiyo na mwisho ya kipimo
Uratibu kwa kutumia templeti za Apache Airflow Timu zinazozingatia jukwaa Gharama ya Open + Operations Hurekebisha mtiririko wa kazi; DAG chache za theluji
Uundaji wa hati za dbt zinazosaidiwa na AI Timu zinazochukia kuandika hati Bei nafuu hadi wastani Hutengeneza hati "nzuri za kutosha" ili maarifa yasipotee
Sera za utawala otomatiki Mfumo wa Faragha wa NIST Mazingira yaliyodhibitiwa Biashara-y Husaidia kutekeleza sheria - lakini bado inahitaji wanadamu kubuni sheria

Angalia kinachokosekana: safu mlalo inayosema "bonyeza kitufe ili kuondoa wahandisi wa data." Ndiyo… safu mlalo hiyo haipo 🙃

Kwa hivyo ... je, akili bandia itachukua nafasi ya Wahandisi wa Data, au itabadilisha tu jukumu? 🛠️

Hapa kuna jibu lisilo la kusisimua: AI itachukua nafasi ya sehemu za mtiririko wa kazi, sio taaluma.

Lakini itabadilisha nafasi hiyo. Na ukipuuza hilo, utahisi mkazo.

Mabadiliko gani:

  • Muda mfupi wa kuandika

  • Muda mfupi wa kutafuta hati

  • Muda zaidi wa kupitia, kuthibitisha, kubuni

  • Muda zaidi wa kufafanua mikataba na matarajio ya ubora Kiwango cha Mkataba wa Data Huria (ODCS)

  • Muda zaidi wa kushirikiana na bidhaa, usalama, fedha

Hili ni mabadiliko madogo: uhandisi wa data unakuwa mdogo kuhusu "kujenga mabomba" na zaidi kuhusu "kujenga mfumo wa bidhaa za data unaoaminika."

Na katika mabadiliko ya kimya kimya, hilo lina thamani zaidi, si chini.

Pia - na nitasema hivi hata kama itasikika kama ya kusisimua - AI huongeza idadi ya watu ambao wanaweza kutoa data bandia , ambayo huongeza hitaji la mtu kuweka jambo zima katika hali nzuri. Matokeo zaidi yanamaanisha mkanganyiko zaidi unaowezekana. GitHub Copilot

Ni kama kumpa kila mtu mazoezi ya kuchimba visima vya umeme. Vizuri sana! Sasa mtu anahitaji kutekeleza sheria ya "tafadhali usichimbe kwenye bomba la maji" 🪠

Mkusanyiko mpya wa ujuzi unaobaki kuwa wa thamani (hata kwa akili bandia kila mahali) 🧠⚙️

Ukitaka orodha ya ukaguzi ya "ushahidi wa siku zijazo" inayotumika, inaonekana kama hii:

Mtazamo wa muundo wa mfumo

  • Uundaji wa data unaoendelea kubadilika

  • Mabadiliko ya kundi dhidi ya utiririshaji

  • Kuchelewa, gharama, mawazo ya kutegemewa

Uhandisi wa ubora wa data

Utawala na usanifu wa uaminifu

Kufikiria jukwaa

  • Violezo vinavyoweza kutumika tena, njia za dhahabu

  • Mifumo sanifu ya kumeza, kubadilisha, na kupima majaribio ya data ya dbt ya Fivetran

  • Vifaa vya kujihudumia ambavyo haviyeyuki

Mawasiliano (ndio, kweli)

  • Kuandika hati zilizo wazi

  • Ufafanuzi wa mpangilio

  • Kusema "hapana" kwa heshima lakini kwa uthabiti

  • Kuelezea maelewano bila kusikika kama roboti 🤖

Ukiweza kufanya hivi, swali "Je, AI itachukua nafasi ya Wahandisi wa Data?" linakuwa tishio kidogo. AI inakuwa exoskeleton yako, si mbadala wako.

Hali halisi ambapo baadhi ya majukumu ya uhandisi wa data hupungua 📉

Sawa, angalia uhalisia haraka, kwa sababu si tu kwamba ni jua kali na emoji confetti 🎉

Baadhi ya majukumu yanaonekana wazi zaidi:

  • Majukumu halisi ya kuingiza tu ambapo kila kitu ni viunganishi vya kawaida Viunganishi vya Fivetran

  • Timu zinazofanya kazi ya kuripoti mara kwa mara bila kujali umuhimu wa kikoa

  • Mashirika ambapo uhandisi wa data unachukuliwa kama "nyani wa SQL" (kali, lakini ni kweli)

  • Majukumu ya umiliki wa chini ambapo kazi ni tiketi tu na kunakili na kubandika

Uhandisi wa AI pamoja na zana zinazosimamiwa zinaweza kupunguza mahitaji hayo.

Lakini hata huko, uingizwaji kawaida huonekana kama:

  • Watu wachache wanaofanya kazi sawa ya kurudiarudia

  • Mkazo zaidi juu ya umiliki na uaminifu wa jukwaa

  • Mabadiliko kuelekea "mtu mmoja anaweza kusaidia mabomba zaidi"

Kwa hivyo ndiyo - mifumo ya idadi ya watu inaweza kubadilika. Majukumu hubadilika. Vyeo hubadilika. Sehemu hiyo ni halisi.

Hata hivyo, toleo la umiliki wa hali ya juu na uaminifu mkubwa wa jukumu hilo bado lipo.

Muhtasari wa kumalizia 🧾✅

Je, AI itachukua nafasi ya Wahandisi wa Data? Sio kwa njia safi na kamili ambayo watu hufikiria.

AI ita:

Lakini uhandisi wa data kimsingi unahusu:

AI inaweza kusaidia na hilo… lakini haimiliki.

Kama wewe ni mhandisi wa data, hatua ni rahisi (si rahisi, lakini rahisi):
tegemea umiliki, ubora, mawazo ya jukwaa, na mawasiliano. Acha AI ishughulikie sehemu muhimu unaposhughulikia sehemu muhimu.

Na ndio - wakati mwingine hiyo inamaanisha kuwa mtu mzima chumbani. Sio mrembo. Ingawa mwenye nguvu kidogo 😄

Je, AI itachukua nafasi ya Wahandisi wa Data?
Itachukua nafasi ya baadhi ya kazi, kubadilisha ngazi, na kuwafanya wahandisi bora wa data kuwa na thamani zaidi. Hiyo ndiyo hadithi halisi.

Maswali Yanayoulizwa Mara kwa Mara

Je, AI itachukua nafasi ya wahandisi wa data kabisa?

Katika mashirika mengi, AI ina uwezekano mkubwa wa kuchukua majukumu maalum kuliko kufuta jukumu hilo moja kwa moja. Inaweza kuharakisha uandishi wa SQL, uundaji wa mfumo wa bomba, upitishaji wa nyaraka kwanza, na uundaji wa majaribio ya msingi. Lakini uhandisi wa data pia hubeba umiliki na uwajibikaji, pamoja na kazi isiyo ya kifahari ya kufanya ukweli wa biashara usio na utaratibu uonekane kama mfumo unaotegemeka. Sehemu hizo bado zinahitaji wanadamu kuamua "sahihi" inaonekanaje na kuchukua jukumu wakati mambo yanapoharibika.

Ni sehemu gani za uhandisi wa data ambazo AI tayari inazifanya kiotomatiki?

AI hufanya vyema zaidi kwenye kazi inayoweza kurudiwa: kuandika na kurekebisha SQL, kutoa mifupa ya modeli ya dbt, kuelezea makosa ya kawaida, na kutoa muhtasari wa nyaraka. Inaweza pia kufanya majaribio ya jukwaa kama vile ukaguzi wa null au upekee na kutoa msimbo wa "gundi" wa kiolezo kwa zana za upangaji. Ushindi ni kasi - unaanza karibu na suluhisho linalofanya kazi - lakini bado unahitaji kuthibitisha usahihi na kuhakikisha inaendana na mazingira yako.

Ikiwa akili bandia (AI) inaweza kuandika SQL na mabomba, ni nini kilichobaki kwa wahandisi wa data?

Mengi: kufafanua mikataba ya data, kushughulikia mkondo wa schema, na kuhakikisha kuwa mabomba hayana dosari, yanaonekana, na yanaweza kurejeshwa. Wahandisi wa data hutumia muda kuchunguza mabadiliko ya kipimo, kujenga vizuizi kwa watumiaji wa chini, na kusimamia mabadiliko ya gharama na uaminifu. Kazi mara nyingi inategemea kujenga uaminifu na kuweka mfumo wa data "utulivu," ikimaanisha utulivu wa kutosha kiasi kwamba hakuna mtu anayepaswa kufikiria kuhusu hilo siku hadi siku.

Je, AI hubadilishaje kazi ya kila siku ya mhandisi wa data?

Kwa kawaida hupunguza kiwango cha juu cha data na "muda wa kutafuta," kwa hivyo unatumia muda mfupi kuandika na muda mwingi kukagua, kuthibitisha, na kubuni. Mabadiliko hayo yanaelekeza jukumu la kufafanua matarajio, viwango vya ubora, na mifumo inayoweza kutumika tena badala ya kuandika kila kitu kwa mkono. Kwa vitendo, kuna uwezekano mkubwa utafanya kazi zaidi ya ushirikiano na bidhaa, usalama, na fedha - kwa sababu matokeo ya kiufundi yanakuwa rahisi kuunda, lakini ni vigumu kuyasimamia.

Kwa nini AI inapambana na fasili tata za biashara kama vile "mtumiaji anayefanya kazi"?

Kwa sababu mantiki ya biashara si tuli au sahihi - hubadilika katikati ya mradi na hutofautiana kulingana na wadau. AI inaweza kuandika tafsiri, lakini haiwezi kumiliki uamuzi wakati fasili zinapobadilika au zinapogongana. Uhandisi wa data mara nyingi unahitaji mazungumzo, kurekodi mawazo, na kubadilisha mahitaji yasiyoeleweka kuwa mikataba ya kudumu. Kazi hiyo ya "uwiano wa kibinadamu" ni sababu kuu ya jukumu hilo kutoweka hata kama zana zinaboreshwa.

Je, AI inaweza kushughulikia utawala wa data, faragha, na kufuata sheria kufanya kazi kwa usalama?

AI inaweza kusaidia kuandaa sera au kupendekeza mbinu, lakini utekelezaji salama bado unahitaji uhandisi halisi na usimamizi makini. Utawala unahusisha vidhibiti vya ufikiaji, utunzaji wa PII, sheria za uhifadhi, njia za ukaguzi, na wakati mwingine vikwazo vya makazi. Hizi ni maeneo yenye hatari kubwa ambapo "karibu sawa" haikubaliki. Wanadamu lazima wabuni sheria, wahakikishe utekelezaji, na wawajibike kwa matokeo ya kufuata sheria.

Ni ujuzi gani unaobaki kuwa muhimu kwa wahandisi wa data kadri akili bandia inavyoboreka?

Ujuzi unaofanya mifumo iwe imara: kufikiri kwa muundo wa mfumo, uhandisi wa ubora wa data, na usanifishaji unaozingatia mfumo. Mikataba, uangalizi, tabia za kukabiliana na matukio, na uchanganuzi wa chanzo cha nidhamu huwa muhimu zaidi wakati watu wengi zaidi wanaweza kutoa mabaki ya data haraka. Mawasiliano pia huwa tofauti - kupanga fasili, kuandika hati zilizo wazi, na kuelezea mabadiliko bila drama ni sehemu kubwa ya kuweka data kuwa ya kuaminika.

Ni majukumu gani ya uhandisi wa data yaliyo hatarini zaidi kutokana na AI na uundaji wa zana unaosimamiwa?

Majukumu yanayolenga umezaji unaorudiwa au mabomba ya kawaida ya kuripoti yanaonekana zaidi, hasa wakati viunganishi vya ELT vinavyosimamiwa vinashughulikia vyanzo vingi. Kazi ya umiliki mdogo, inayoendeshwa na tiketi inaweza kupungua kwa sababu AI na uchukuaji hupunguza juhudi kwa kila bomba. Lakini hii kwa kawaida inaonekana kama watu wachache wanaofanya kazi zinazorudiwa, sio "hakuna wahandisi wa data." Majukumu ya umiliki wa juu yanayozingatia uaminifu, ubora, na uaminifu hubaki kuwa ya kudumu.

Ninapaswa kutumia vipi zana kama GitHub Copilot au dbt na AI bila kuunda machafuko?

Chukulia matokeo ya AI kama rasimu, si uamuzi. Itumie kutoa mifupa ya hoja, kuboresha usomaji, au majaribio ya dbt ya jukwaa na hati, kisha uthibitishe dhidi ya data halisi na kesi za ukingo. Iunganishe na kanuni kali: mikataba, viwango vya majina, ukaguzi wa uchunguzi, na desturi za ukaguzi. Lengo ni utoaji wa haraka bila kupunguza uaminifu, udhibiti wa gharama, au utawala.

Marejeleo

  1. Tume ya Ulaya - Ulinzi wa data umeelezwa: Kanuni za GDPR - commission.europa.eu

  2. Ofisi ya Kamishna wa Habari (ICO) - Kizuizi cha Hifadhi - ico.org.uk

  3. Tume ya Ulaya - Data inaweza kuhifadhiwa kwa muda gani na ni muhimu kuisasisha? - commission.europa.eu

  4. Taasisi ya Kitaifa ya Viwango na Teknolojia (NIST) - Mfumo wa Faragha - nist.gov

  5. Kituo cha Rasilimali za Usalama wa Kompyuta cha NIST (CSRC) - SP 800-92: Mwongozo wa Usimamizi wa Kumbukumbu za Usalama wa Kompyuta - csrc.nist.gov

  6. Kituo cha Usalama wa Intaneti (CIS) - Usimamizi wa Kumbukumbu za Ukaguzi (Udhibiti wa CIS) - cisecurity.org

  7. Nyaraka za Snowflake - Sera za ufikiaji wa safu - docs.snowflake.com

  8. Nyaraka za Wingu la Google - Usalama wa kiwango cha safu mlalo cha BigQuery - docs.cloud.google.com

  9. BITOL - Kiwango cha Mkataba wa Data Huria (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - Kiwango cha Mkataba wa Data Huria - github.com

  11. Mtiririko wa Hewa wa Apache - Nyaraka (imara) - airflow.apache.org

  12. Mtiririko wa Hewa wa Apache - DAGs (dhana kuu) - airflow.apache.org

  13. Nyaraka za Maabara ya dbt - dbt ni nini? - docs.getdbt.com

  14. Nyaraka za Maabara ya dbt - Kuhusu mifumo ya dbt - docs.getdbt.com

  15. Nyaraka za Maabara ya dbt - Nyaraka - docs.getdbt.com

  16. Nyaraka za Maabara ya dbt - Majaribio ya data - docs.getdbt.com

  17. Nyaraka za Maabara ya dbt - Tabaka la Semantiki la dbt - docs.getdbt.com

  18. Nyaraka za Fivetran - Kuanza - fivetran.com

  19. Fivetran - Viunganishi - fivetran.com

  20. Nyaraka za AWS - Mwongozo wa Wasanidi Programu wa AWS Lambda - docs.aws.amazon.com

  21. GitHub - GitHub Msaidizi - github.com

  22. Hati za GitHub - Kupata mapendekezo ya msimbo katika IDE yako kwa kutumia GitHub Copilot - docs.github.com

  23. Microsoft Learn - GitHub Copilot kwa SQL (Kiendelezi cha Msimbo wa VS) - learn.microsoft.com

  24. Nyaraka za Dynatrace - Uangalizi wa data - docs.dynatrace.com

  25. DataGalaxy - Uangalizi wa data ni nini? - datagalaxy.com

  26. Nyaraka za Matarajio Makubwa - Muhtasari wa Matarajio - docs.greatexpectations.io

Pata Akili ya Kielektroniki ya Hivi Punde katika Duka Rasmi la Msaidizi wa Akili ya Kielektroniki

Kuhusu Sisi

Rudi kwenye blogu