Hadoop Job Tacker
Ang Job Tracker ay ang master daemon para sa parehong pamamahala ng mapagkukunan ng Job at pag-iiskedyul / pagsubaybay sa mga trabaho. Gumagawa ito bilang isang ugnayan sa pagitan ng Hadoop at ng iyong aplikasyon.
Ang proseso
Ang gumagamit ay unang kumopya ng mga file sa ipinamahagi File System (DFS), bago magsumite ng trabaho sa kliyente. Natatanggap ng kliyente ang mga file ng pag-input. Tumatanggap ang gumagamit ng mga paghati o mga bloke batay sa mga file ng pag-input.Puwede ang kliyentelikhain ang mga paghati o mga bloke sa isang lalakiner ito prefOo, dahil may ilang mga pagsasaalang-alang sa likod nito. Kung ang isang pagtatasa ay tapos na sa kumpletong data, hahatiin mo ang data sa mga hati. Ang mga file ay hindi nakopya sa pamamagitan ng client, ngunit nakopya gamit ang flume o Sqoop o anumang panlabas na client.
Kapag ang mga file ay nakopya sa DFS at nakikipag-ugnay ang kliyente sa DFS,ang mga paghati ay tatakbo ng isang MapReduce job Ang trabaho ay isinumite sa pamamagitan ng isang tracker ng trabaho. Ang tracker ng trabaho ay ang master daemon na tumatakbo sa parehong node natumatakboang maraming mga trabaho sa mga data node. Ang data na ito ay namamalagi sa iba't ibang mga data node ngunit responsibilidad ng tracker ng trabaho na alagaan iyon.
Matapos magsumite ng isang kliyenteang job tracker, ang trabaho ay napasimuno sa pila sa trabaho at ang tracker ng trabaho ay lumilikha ng mga mapa at binabawasan. Batay sa programa na nilalaman sa pagpapaandar ng mapa at mabawasan ang pagpapaandar, lilikha ito ng gawain sa mapa at mababawasan ang gawain. Tatakbo ang dalawang ito sa mga split split. Tandaan: Kapag nilikha ng mga kliyente, naglalaman ang split split na ito ng buong data.
kung paano gumawa ng isang singleton sa klase
Ang bawat split split ay may isang trabaho sa mapa na tumatakbo sa loob nito at ang output ng gawain sa mapa ay napupunta sa mabawasan na gawain. Pinapatakbo ng tracker ng trabaho ang track sa isang partikular na data. Maaaring may maraming mga pagtitiklop nito kaya pinipili nito ang lokal na data at pinapatakbo ang gawain sa partikular na tracker ng gawain. Ang tracker ng gawain ay ang aktwal na nagpapatakbo ng gawain sa node ng data. Mapapasa ng tracker ng trabaho angimpormasyonsa tracker ng gawain at tatakbo ng task tracker ang trabaho sa node ng data.
Kapag ang trabaho ay naitalaga sa tracker ng gawain, mayroong isang tibok ng puso na nauugnay sa bawat task tracker at job tracker. Nagpapadala ito ng mga signal upang malaman kung ang mga data node ay buhay pa rin. Ang dalawa ay madalas na naka-sync dahil may posibilidad na mawala ang mga node.
May tanong ba sa amin? Nabanggit ang mga ito sa seksyon ng mga komento at babalikan ka namin.
Mga Kaugnay na Post:
kung paano gawin sa lakas ng sa java