4 Praktikal na Mga Dahilan upang Alamin ang Hadoop 2.0



Ang 4 na kadahilanang ito upang mag-upgrade sa mga pag-uusap sa Hadoop 2.0 tungkol sa merkado ng trabaho sa Hadoop at kung paano ito makakatulong sa iyo na mapabilis ang iyong karera sa pamamagitan ng pagbukas sa iyo ng maraming mga oportunidad sa trabaho.

Noong bata pa ako gusto ko ang serye ng pelikula sa Star Wars. Mahal na mahal ko ito kaya nagkaroon ako ng video cassette na bawat isa sa kanila. Paulit-ulit kong pinapanood ang mga ito. Pagkatapos ay dumating ang oras ng mga DVD player at kailangan kong makuha muli ang mga pelikulang ito sa DVD. Wala akong pag-aalinlangan tungkol sa pagbili muli ng buong hanay sa DVD dahil nais kong maranasan ang bagong teknolohiya at magpatuloy din na masiyahan sa aking mga paboritong pelikula. Ang mga bagay ay mahusay hanggang sa isa pang bagong teknolohiya, lumitaw ang Blu-ray. Ang pagbili ng mga pelikula nang dalawang beses na, hindi ko inaasahan na bilhin muli ang lahat. Sa loob ng ilang oras hindi ako gumawa ng anumang pagsusumikap upang 'i-update' ang aking sarili, na iniisip na makakabuti lang ako nang wala ang teknolohiyang ito. At nag-ayos ako. Hindi pa rin ito nakakaapekto sa buhay ko. Ngunit may nakikita akong pagbabago sa takbo at hindi maibahagi ang aking mga pelikula sa aking mga kaibigan, tulad ng ginagawa nila sa bawat isa. Talagang naramdaman kong napabayaan ako.





Sa wakas ay lumabas ako at nakuha ang pelikula sa Blu-ray. Naaalala ko ito hindi dahil sa gusto ko ang pelikula, ngunit dahil sa ang katunayan na ang kalidad ng video ay bumubuga ng isip. At upang itaas ang lahat, nakuha ko ang buong hanay ng mga pelikula sa isang solong Blu-ray Disc.

Ang pangangailangan o ang pagnanasang manatiling nai-update ay pinakamalakas pagdating sa aming propesyon dahil mas malaki ang mga panganib. Ito ay naging mahalaga upang manatili sa tuktok ng iyong laro.



4 Mga Praktikal na Dahilan para sa Pag-aaral ng Hadoop 2.0:

Tulad ng hindi maiiwasan na ito, ang pananatiling napapanahon sa aming propesyon ay naging isang mahalagang bahagi ng aming buhay. Tulad ng nakakatakot na maaaring tunog hindi na kailangang mag-alala dahil ang mga teknolohiya ay hindi talaga nagbabago nang mabilis o drastiko. Ngunit ang mga pag-uusap at impormasyon tungkol sa mga teknolohiyang ito at ang mga bagay na maaari nating gawin sa kanila ay nakakakuha ng kakayahang makita. Narito ang ilang mga kadahilanan kung bakit dapat kang manatiling napapanahon:

# 1: Huwag Mahuli

Mga Dahilan upang Alamin ang Hadoop 2.0



Ang hindi pagbibigay pansin sa pinakabagong pag-update sa isang teknolohiya ay maaaring magmukha kang isang usa na nahuli sa isang headlight. Hindi eksaktong isang nakasisilaw na larawan ng iyong mga kakayahan sa propesyonal. Ang pagiging napapanahon ay magpapahalaga sa iyo ng iyong mga kapantay para sa iyong propesyonal na mga kasanayan. Maaaring hindi kinakailangan na ipatupad ang bawat bagong bagay na natutunan ngunit ang pagkakaroon ng kamalayan sa mga pag-update ay pautos.

Halimbawa, kapag may usapan sa Hadoop, maaari mong ipaalam sa iyong mga kapantay na ang Hadoop 2.5.0 ay may mga pagpapahusay sa pagpapatotoo kapag gumagamit ng isang HTTP proxy server. At gayun din sa parehong bersyon ng Hadoop, mayroong isang probisyon para sa pagsusulat nang direkta sa Graphite.

Ito ay naging mahalaga upang maging nangunguna sa pinakabagong mga update kapag ang mga organisasyon ay nag-iisip ng paglipat sa Hadoop. At ang 'pag-alam' ay maaaring gumawa ng malaking pagkakaiba sa iyong karera.

# 2: Ang pagkakaroon ng isang Competitive Edge

Ang mga propesyunal na may kasanayang sa kanilang larangan ay iginagalang. At ang panatiling napapanahon ay ang pinakamahusay na paraan upang maging tuktok. Ang iyong pangangailangan na manatiling nai-update ay sumasalamin sa iyong pagkahilig sa iyong trabaho. Sa pamamagitan ng pagbuo ng kadalubhasaan sa iyong trabaho at sa iyong industriya, makakakuha ka ng tiwala at respeto ng mga tao sa paligid mo. Mula sa isang pananaw sa pamumuno, napakahalaga nito!

Kahit na ang iyong samahan ay nagtatrabaho pa rin sa Hadoop 1.0, ang pag-alam sa lahat ng mga pinakabagong tampok ng Hadoop 2 ay mananatili ka sa track dahil ito ay medyo bago at tiyak na mas mahusay. Ang pagiging unang nakakaalam na ito ay magbibigay sa iyo ng isang gilid sa iyong mga kasamahan.

# 3: Mga Bagong Pagkakataon

Ito ay isang malungkot na katotohanan na patuloy na nagbabago ang aming kasalukuyang papel. Dumarating ang oras sa mga idinagdag na responsibilidad at pagkakataon na makagawa ng mga bagong gawain. Sa pamamagitan ng pananatiling napapanahon sa mga uso sa industriya nasa pinakamainam na posisyon ka upang sakupin ang mga pagkakataong ito.

Ang mga kumpanya tulad ng Macy's, Lockheed Martin, California Creative Solutions, Capital One, CS Spring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory at marami pa ay naghahanap ng mga taong may kasanayan sa pinakabagong mga tampok ng Hadoop 2, tulad ng YARN.

# 4: Gumawa ng Mas Mahusay na Mga Desisyon

Papayagan ka ng labis na impormasyon na gumawa ng matalinong mga pagpipilian at mas mahusay na mga desisyon. Tutulungan ka nitong makilala ang mga pagkakataon at magdagdag ng halaga sa diskarte ng iyong samahan.

Ang Hadoop 2 ay may mga tampok na nagpapahusay ng bilis pati na rin ang magbawas sa gastos. Ang pagmumungkahi ng mga pagpipilian upang mapabuti ang pagganap at dagdagan ang bilis ay tiyak na mapalakas ang pagiging produktibo ng samahan. Narito ang ilang mga tampok ng Hadoop 2 na makikinabang sa samahan at iminumungkahi na palakasin din ang iyong karera.

  • Suporta para sa pagpapatakbo ng Hadoop sa Microsoft Windows

  • Pinasimple na pamamahagi ng mga binary MapReduce sa pamamagitan ng HDFS sa YARN Distraced Cache.

  • Pinahusay na suporta para sa mga bagong application sa YARN sa Application History Server at Application Timeline Server

  • Kumpletuhin ang suporta sa HTTPS sa HDFS

  • Pagsasama ng Kerberos para sa tindahan ng timeline ng YARN.

  • Suporta para sa Heterogeneous Storage hierarchy sa HDFS.

  • In-memory cache para sa data ng HDFS na may sentralisadong pangangasiwa at pamamahala.

  • Pinasimple na pamamahagi ng mga binary MapReduce sa pamamagitan ng HDFS sa YARN Distraced Cache.

Mayroong higit pa sa praktikal na mga kadahilanan para sa pananatiling na-update May mga teknikal na dahilan din. Ang Hadoop ay may maraming mga tampok na kapaki-pakinabang sa mga samahan. Ang pagkuha ng isang malalim na pagtingin sa mga ito ay magbibigay sa iyo ng malinaw na larawan ng kung ano ang masulit.

Ano ang pinakabagong pag-update sa Hadoop?

Ang bawat produkto ay dumaan sa iba't ibang mga yugto ng paglabas at magkaroon ng iba't ibang mga bersyon ng sarili nito. Ang Hadoop ay walang kataliwasan at nakakuha ng Hadoop 2.0. Ang pundasyon ng Apache ay nakagawa ng mga kasunod na bersyon ng Hadoop tulad ng Hadoop 2.1.0, Hadoop 2.4.0 at naabot ang Hadoop 2.5.1, na ang pinakabagong bersyon na inilabas noong Setyembre 2014.

Bakit pinalabas ang Hadoop 2?

Gamit ang bagong bersyon ay nagdagdag ng mga tampok na naayos at naayos na mga bug. Kaya't sa tuwing gumagamit ka ng isang partikular na bersyon ng Hadoop at iniisip na ang isang tiyak na tampok ay maaaring idagdag o ang ilang mga bug ay kailangang ayusin, ipaalam mo sa mga tao sa Apache foundation ang tungkol dito. Ang mga taong ito naman ay nagtatrabaho dito at bibigyan ka ng isang mas mahusay na produkto sa susunod na bersyon.

Hadoop 2 - Hindi Lamang ng isang Numero

Ang Hadoop 2 ay hindi lamang ang pinakabagong bersyon ng Hadoop. Sa pangkalahatan, ito ay isang arkitekturang pangalawang henerasyon. Si Arun Murthy, tagapagtatag at arkitekto ng tagapamahagi sa Hadoop na Hortonworks, ay iginiit na ang pagkakaiba ay mahalaga sapagkat ang dami ng kinakailangang muling engineering na ilipat ang Hadoop na lampas sa pagproseso ng batch at sa mundo ng real-time analytics ay malaki.

Talakayin natin kung gaano ang pagkakaiba ng Hadoop 2.0 mula sa hinalinhan nitong Hadoop 1.0. Malinaw na, ang susunod na inilabas na bersyon ay magiging higit na mataas kaysa sa naunang paglabas. Ang mga sumusunod ay ang apat na pangunahing pagpapabuti sa Hadoop 2.0 sa Hadoop 1.x:

kung paano lumikha ng isang alerto sa javascript
  • HDFS Federation - Pahalang na kakayahang sukatin ng NameNode

  • Mataas na Pagkakaroon ng NameNode - Ang NameNode ay hindi na isang Single Point of Failure

  • YARN - Kakayahang iproseso ang Terabytes at Petabytes ng data na magagamit sa HDFS gamit ang mga application na Hindi MapReduce tulad ng MPI, GIRAPH

  • Resource Manager - Pinaghihiwalay ang dalawang pangunahing pagpapaandar ng sobrang biglang JobTracker (pamamahala ng mapagkukunan at pag-iiskedyul ng trabaho / pagsubaybay) sa dalawang magkakahiwalay na daemon: isang pandaigdigang Resource Manager at per-application na ApplicationMaster

Mayroong mga karagdagang tampok tulad ng Capacity scheduler (Paganahin ang suporta ng Multi-tenancy sa Hadoop), Data Snapshot, Suporta para sa Windows, pag-access ng NFS, na nagpapagana ng mas mataas na pag-aampon ng Hadoop sa industriya upang malutas ang mga problema sa Big Data.

Hadoop 2.X Vs Hadoop 1.X

Gumawa tayo ng isang maliit na paghahambing at tingnan kung anong mga paraan ang Hadoop 2.0 ay mas mahusay at naiiba mula sa Hadoop 1.0

Bakit ginugusto ang Hadoop 2 kaysa sa Hadoop 1.0?

Nag-aalok ang Hadoop 2.0 ng mga pagpapabuti sa pagganap na nakikinabang sa mga teknolohiyang nauugnay sa Hadoop ecosystem. Bukod sa mga tampok na groundbreaking ng HDFS at ang arkitektura ng pangalawang henerasyon (YARN), mayroong higit at higit na higit na mga kadahilanan para mas gusto ang Hadoop 2 kaysa sa Hadoop 1.0:

  • Wala nang paghihigpit sa wika ang Hadoop 2. Ibig sabihin, ang isang malawak na hanay ng mga propesyonal ay maaari nang gumamit ng Hadoop.

  • Sa Hadoop 2, ang mga hadlang tulad ng kakulangan ng MapReduce coders ay nalampasan.

  • 2 beses na mas mabilis kaysa sa Hadoop 1.0

  • 2 beses ang ROI na may umiiral na hardware.

  • Sa YARN, ang application-program interface ay mas bukas at nababaluktot.

  • Pinapalawak ng Hadoop 2 ang mga posibilidad para sa paggamit ng Hadoop sa mga proyekto ng Big Data.

  • Sa Hadoop 2, ang mga developer ay maaari nang magsagawa ng maraming iba't ibang mga gawain sa pag-crunch ng data, lampas sa nakaraang saklaw ng pagproseso ng batch ng Hadoop.

  • Nag-aalok ng mga bagong pagkakataon para sa mga tagapamahala ng impormasyon at tinutugunan ang mga pagkukulang sa mga nakaraang bersyon.

  • Ang bagong paglabas na ito ay may natatanging tampok ng pagpapatakbo ng maraming mga workload sa parehong kumpol ng Hadoop.

  • Ang Hadoop ay hindi na pinaghihigpitan sa isang tampok. Ang aplikasyon nito ay umaabot na lampas sa HDFS at MapReduce.

Pangunahing Mga Pakinabang ng YARN

Alam namin na ang YARN ay isang pangalawang henerasyon ng arkitektura, tingnan natin kung bakit ito napakahusay.

  • Kaliskis

  • Mga bagong modelo at serbisyo ng Programming

  • Pinahusay na paggamit ng cluster

  • Liksi

  • Higit pa sa Java

  • At marami pang iba

Demand para sa Hadoop 2 Skills

Ang mga samahan ay naglulunsad ngayon o nag-e-eksperimento sa Hadoop 2. Dahil dito, mayroong pangangailangan para sa mga propesyonal na may kasanayan sa Hadoop 2. Maraming mga samahan ang nagsimula nang maghanap ng panloob para sa mga tao na makatrabaho ang Hadoop. Mayroong malinaw na mga pahiwatig na ang YARN ay tumataas at sa huli ay hahalili sa pangangailangan para sa kasanayan sa MapReduce.

Narito ang ilang mga pananaw sa kasalukuyan at inaasahang pangangailangan para sa mga kasanayan sa Hadoop:

  • Ayon sa mga analista mula sa Gartner, ang Hadoop 2 ay isang mahalagang pag-unlad dahil natagpuan ng mga malalaking negosyo sa buong mundo ang Hadoop na isang changer ng laro sa kanilang pamamahala sa Big Data.

  • Ayon kay Eric Kavanagh, mula sa Bloor group, ang Hadoop 2.0 ay nakakuha ng traksyon sa mga manggagawa sa impormasyon na naghahangad na makitungo sa Big Data.

  • Ang pag-aampon ng Hadoop 2.0 ay patuloy na tumataas at pumapasok ngayon sa yugto ng kapanahunan.

  • May kamalayan ang mga organisasyon sa mga pakinabang ng YARN at nasasabik dito.

Narito ang isang snapshot ng mga bakanteng trabaho para sa Hadoop 2.0 / YARN sa Sa katunayan.com

Sino ang lilipat sa Hadoop 2 o mayroon na?

Yahoo:

Ang Yahoo! , ang nangunguna sa lahat ng bagay na ipinalabas ng Hadoop ang YARN (0.23.x). Ayon kay Murthy, ang 35,000-node cluster ng Yahoo ay nagpoproseso ngayon ng 130-150 na mga trabaho bawat araw kumpara sa 50-60 bago ang YARN.

Kapag pinag-uusapan ang tungkol sa mahusay na pagganap, sinabi ni Murthy, 'Kapag nakakuha ka ng 2x higit sa 35,000 hanggang 40,000 mga node, phenomenal iyon'. Idinagdag din niya, 'Ito ay isang napakahusay na kwento upang sabihin sa isang CIO na kung i-upgrade mo lang ang iyong software mula sa Hadoop 1 hanggang Hadoop 2, makakakita ka ng 2 beses na mga pagpapahusay sa throughput sa iyong mga trabaho.'

eBay:

Ang eBay ay may isa sa pinakamalaking mga kumpol ng Hadoop sa industriya, kung saan ang data ay nasa petabytes. Inilipat din nila ang kanilang mga kumpol sa Hadoop 2.

Konklusyon:

Sa Hadoop 2 na maging matanda at mas madaling ipatupad, nakakumbinsi pa nila ang mga nagdududa at dumarami ang mga samahang lumilipat sa Hadoop 2.0. Mayroong mga wastong dahilan upang maiwasan ang mga bersyon ng 1.x. Ngunit sa Hadoop 2, kahit na ang mga hindi naniniwala ay isinasaalang-alang ito dahil maaari itong magamit para sa isang malawak na hanay ng mga gamit. Ang pag-aaral ng Hadoop 2.0 at pagpapatupad nito upang maisagawa ang mga pagkalkula sa Malaking Data, bubuksan mo ang mga pintuang-daan sa isang advanced na pang-teknikal at may kakayahang pampinansyal na karera.

May tanong ba sa amin? Mangyaring banggitin ang mga ito sa seksyon ng mga komento at babalikan ka namin.

Mga Kaugnay na Post:

Gaano kahalaga ang pagsasanay sa Hadoop?