Sa pagtaas ng pag-aampon ng Hadoop sa tradisyunal na mga solusyon sa IT IT at tumaas na bilang ng mga pagpapatupad ng Hadoop sa kapaligiran ng produksyon, ang pangangailangan para sa mga dalubhasa sa Hadoop Operations at Administrasyon na pangalagaan ang malaking Hadoop Clusters ay nagiging mahalaga.
Mga Responsibilidad ng Hadoop Admin:
- Responsable para sa pagpapatupad at patuloy na pangangasiwa ng imprastraktura ng Hadoop.
- Nakahanay sa koponan ng sistema ng engineering upang magmungkahi at mag-deploy ng mga bagong kapaligiran sa hardware at software na kinakailangan para sa Hadoop at upang mapalawak ang mga mayroon nang kapaligiran.
- Nakikipagtulungan sa mga koponan sa paghahatid ng data upang mag-set up ng mga bagong gumagamit ng Hadoop. Kasama sa trabahong ito ang pagse-set up ng mga gumagamit ng Linux, pagse-set up ang mga punong-guro ng Kerberos at pagsubok sa HDFS, Hive, Pig at MapReduce na pag-access para sa mga bagong gumagamit.
- Pagpapanatili ng kumpol pati na rin ang paglikha at pagtanggal ng mga node gamit ang mga tool tulad ng Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage at iba pang mga tool.
- Pag-tune ng pagganap ng mga kumpol ng Hadoop at mga gawain sa Hadoop MapReduce.
- Mga pagganap ng trabaho sa screen Hadoop cluster at pagpaplano ng kapasidad
- Subaybayan ang pagkakakonekta at seguridad ng Hadoop cluster
- Pamahalaan at suriin ang mga file ng log ng Hadoop.
- Pamamahala at pagsubaybay sa system ng file.
- Suporta at pagpapanatili ng HDFS.
- Masigasig na nakikipagtulungan sa mga imprastraktura, network, database, aplikasyon at mga pangkat ng intelligence ng negosyo upang magarantiyahan ang mataas na kalidad ng data at kakayahang magamit.
- Nakikipagtulungan sa mga koponan ng application upang mai-install ang operating system at mga pag-update ng Hadoop, mga patch, pag-upgrade ng bersyon kapag kinakailangan.
- Point ng Pakikipag-ugnay para sa pagtaas ng Vendor
Ang Administrasyong Hadoop ay isang rewarding at kapaki-pakinabang na karera na may maraming mga pagkakataon sa paglago. Kung interesado ka sa mga responsibilidad sa trabaho na nakalista sa itaas, oras na upang masiglahin ang kaalaman sa Hadoop Administration at makarating sa landas ng karera ng Hadoop Admin.
ruby sa riles ng tutorial sa website
Mga Responsibilidad ng DBA na Ginanap ng isang Hadoop Administrator:
- Pagmomodelo ng data, disenyo at pagpapatupad batay sa kinikilalang mga pamantayan.
- Pag-install at pagsasaayos ng software.
- Pag-backup at pag-recover ng database.
- Pagkakonekta at seguridad ng database.
- Pagmamanman at pag-tune ng pagganap.
- Pamamahala ng space space.
- Ang mga patch ng software at pag-upgrade.
- I-automate ang mga manu-manong gawain.
Mga Responsibilidad sa Pag-unlad ng DWH na Ginanap ng Hadoop Administrator:
Kasama sa mga responsibilidad sa trabaho ng mga admin ng DWH ang pagbuo, pagsubok at pagsubaybay sa mga trabaho sa pangkat para sa mga sumusunod na gawain:
- Tiyaking integridad ng Referensyal.
- Magsagawa ng pangunahing key execution.
- Makumpleto ang mga pag-aayos ng data.
- Mag-load ng malalaking dami ng data sa isang napapanahong paraan.
Ngayong alam mo na ang tungkol sa mga responsibilidad sa trabaho ng isang administrator ng Hadoop, tingnan natin ang mga kasanayang kinakailangan upang maging isa.
Mga Kasanayang Kinakailangan upang maging isang Administrator ng Hadoop:
- Pangkalahatang kadalubhasaan sa pagpapatakbo tulad ng mahusay na mga kasanayan sa pag-troubleshoot, pag-unawa sa kakayahan ng system, mga bottleneck, mga pangunahing kaalaman sa memorya, CPU, OS, imbakan, at mga network.
- Mga kasanayan sa Hadoop tulad ng HBase, Hive, Pig, Mahout, atbp.
- Ang pinakamahalagang kinakailangan ay: Dapat nilang ma-deploy ang Hadoop cluster, magdagdag at mag-alis ng mga node, subaybayan ang mga trabaho, subaybayan ang mga kritikal na bahagi ng kumpol, i-configure ang mataas na kakayahang magamit ang name-node, iiskedyul at i-configure ito at kumuha ng mga backup.
- Magandang kaalaman sa Linux habang tumatakbo ang Hadoop sa Linux.
- Pamilyar sa pamamahala ng bukas na mapagkukunan ng pagsasaayos at mga tool sa paglawak tulad ng Puppet o Chef at Linux script.
- Ang kaalaman sa Pag-troubleshoot ng Mga Core na Application ng Java ay isang karagdagan.
Espesyal na na-curate ni Edureka ang isang kurso sa Hadoop Administration. Mag-click sa pindutan sa ibaba upang makapagsimula sa Hadoop Administration at alamin kung paano ka matutulungan ng kurso na maging isang Hadoop Administrator.
Mga Kaugnay na Post:
java lumikha ng hanay ng mga bagay
Mga kalamangan sa Karera sa pamamagitan ng Hadoop Certification.