Ang isa sa mga pinaka kaakit-akit na tampok ng Hadoop framework ay ito paggamit ng kalakal hardware . Gayunpaman, humahantong ito sa madalas na pag-crash ng DataNode sa isang kumpol ng Hadoop. Ang isa pang kapansin-pansin na tampok ng Hadoop Framework ay ang kadalian ng sukat alinsunod sa mabilis na paglaki ng dami ng data . Dahil sa dalawang kadahilanang ito, ang isa sa pinakakaraniwang gawain ng isang Hadoop administrator ay upang komisyon (Idagdag) at pagwawaksi (Alisin) Mga Data Node sa isang Hadoop Cluster.
pag-uri-uriin ang mga algorithm c ++
Ang Mga Node ng Pagkomisyon at Pag-decommissioning sa isang Hadoop Cluster:
Ang nasa itaas na diagram ay nagpapakita ng isang hakbang-hakbang na proseso upang maalis ang pagkakasunud-sunod ng isang DataNode sa kumpol.
Ang unang gawain ay upang i-update ang ' ibukod ‘Files for both HDFS (hdfs-site.xml) at MapReduce (mapred-site.xml).
Ang file na 'ibukod':
- para sa jobtracker naglalaman ng listahan ng mga host na dapat na hindi kasama ng jobtracker. Kung ang halaga ay walang laman, walang mga host na ibubukod.
- para sa Namenode naglalaman ng isang listahan ng mga host na hindi pinahintulutang kumonekta sa Namenode.
Narito ang sample na pagsasaayos para sa ibukod na file sa hdfs-site.xml at mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / hindi kasama
totoo
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / hindi kasama
totoo
Tandaan: Dapat tukuyin ang buong pathname ng mga file.
Katulad nito, mayroon kaming mga 'isama' na mga file:
- para sa jobtracker naglalaman ng listahan ng mga node na maaaring kumonekta sa JobTracker. Kung ang halaga ay walang laman, pinapayagan ang lahat ng mga host.
- para sa Namenode naglalaman ng isang listahan ng mga host na pinapayagan na kumonekta sa Namenode. Kung ang halaga ay walang laman, pinapayagan ang lahat ng mga host.
Ang ‘ dfsadmin 'At' mradmin ’Ang mga utos ay nagre-refresh ng pagsasaayos kasama ang mga pagbabago upang maipaunawa sa kanila ang bagong node.
Ang ‘ alipin Ang 'file sa master server ay naglalaman ng listahan ng lahat ng mga data node. Dapat din itong i-update upang matiyak ang anumang mga isyu sa hinaharap na pagsisimula / paghinto ng hadoop daemon.
Ang mahalagang hakbang sa proseso ng komisyon ng node ng data ay upang patakbuhin ang Cluster Balancer.
> hadoop balancer-Threshold 40
Balancer pagtatangka upang magbigay ng isang balanse sa isang tiyak na threshold sa mga node ng data sa pamamagitan ng pagkopya ng data ng block mula sa mga mas lumang node sa mga bagong node na node.
Kaya, ito ang kung paano mo magagawa - Komisyonado at Pag-decommission Mga node sa isang Hadoop Cluster.
May tanong ba sa amin? Mangyaring banggitin ito sa seksyon ng mga komento at babalikan ka namin.
Mga Kaugnay na Link: