Kung galing ka na sa Industriya ng IT , dapat mong magkaroon ng kamalayan na Malaking Data ang usapan ng araw. Maging ito, mga bagong pagsisimula na nagmumula sa mga makabagong mga modelo ng negosyo, o ang iyong mga kasamahan na lumilipas upang sumali sa mga pagsisimula, sa ilang kadahilanan, ngayon mga berdeng pastulan parang ang Malaking Data industriya.
Kung nagtataka ka kung bakit, inirerekumenda kong basahin mo ito hanggang sa wakas dahil maaari itong maging isang self-exploring na blog, na hahantong sa kung saan ka nakalaan.
Kaya, bakit ang lahat ng itoHYPEnakapaligid MALAKING DATA?
Ito ba ay isa pang domain na kung saan ay makakakuha ng mga refugee mula sa lahat ng iba pang mga domain sa isang pansamantalang batayan? O, makakarating ba ito para sa mahabang panahon?
Kung kukuha ako ng hula, sasabihin ko iyon, hindi lamang ito naririto para sa pangmatagalan, ngunit ang industriya ng Big Data ay magiging sentro ng pagsulong sa teknolohikal.
Dahil ang lahat ay tungkol saDATA!
Katulad ng Arawtumataasgaling saSilanganatsetnasaKanluran, ang patuloy na paggamit ng mga aparatong computing / di-computing ay magreresulta sa isang pagsabog ng hindi mapamamahalaang data.
Kapag ang data na ito ay tumatawid sa threshold, ng paghawak ng Excel o anumang Database Management System, tinawag namin ito MALAKING DATA .
Isipin, alin ang huling produktong binili mo mula sa Amazon? Alin ang maaaring maging susunod na produkto na maaari mong bilhin batay sa nakaraang aktibidad? Ang mga sagot sa mga nasabing katanungan ay nakaimbak sa Big Data.
Mayroon bang lumalaking kalakaran sa likod ng isang produkto? O, may bumababang kalakaran? Bibili ba ng isang kostumer ang isang 'Stockings' kapag bumili siya ng 'Sapatos'? Ito ang mga katanungan sa paglutas ng problema sa negosyo.
At, ang mga katanungang ito ay maaaring madali sinagot sa pamamagitan ng paggamit Malaking Data Analytics .
Pagkatapos ng lahat, ano ang silbi ng data, kung wala ka pagsusuri ito
Kaya, ay Malaking Dataganap na tungkol saAnalytics?Hindi kumpleto, ngunit ang Analytics ang Ultimate Prize.
Ang iba pang pangunahing mga stream sa Big Data ayImbakanatPamamahala.
Dito ka maaaring magbigay ng kontribusyon bilang isang propesyonal. Maaari mong isipin ang papel na ginagampanan ng alinman:
- Malaking Data Engineer
- Malaking Data Solution Architect
At tiyaking ang malaking data na nabuo, ay laging magagamit at maaari itong magamit para sa analytics sa ibang oras ng oras. Kaya't dinadala tayo nito sa tanong at hellip
Saan nakaimbak ng Big Data?
Maaari ba itong itago sa isangExcel file? Maaari ba itong itago sa akaugnay na sistema ng database?
Impiyerno, HINDI!
Kung ito ay maaaring naging, pagkatapos ito ay magiging!
At tawaging isang bagay na magkakaiba. Siguro may katuladExcel-DataoRDBMS-Data: D
At babalikan tayo nito HAKBANG1 : - Bakit hindi mapamamahalaan ang Big Data gamit ang Excel? KasiAng Big Data ay masyadong mainit para hawakan ng Excel. At kahit na ang iba pang mga sistema ng pamamahala ng database para sa isang bagay ng katotohanan.
Kaya, ano ang kahalili?
Para sa paghawak ng Malaking Data, mayroon kaming HADOOP . Maaari mo ring magkaroon ng kamalayan ng salitang ito rin. Ngunit, maaaring nagtataka ka, kung paano talaga ito gumagana?
Para sa mga nagsisimula, ang HADOOP ay isang produkto ngFoundation ng APACHE. Ang Apache ay isang samahang non-profit na Amerikano na sumusuporta sa pagbuo ng open-source software.
Ang Hadoop ay tinukoy bilang isang bukas na mapagkukunan ng programa na nakabatay sa Java na sumusuporta sa pagproseso at pag-iimbak ng napakalaking mga hanay ng data sa isang ipinamamahaging kapaligiran sa computing.
Ano ang magagawa ng Hadoop, ngunit hindi magagawa ng Excel?
Iproseso at maunawaan ang hindi nakaayos na data!Ang nakaayos na data na nasa format na tabular o kung hindi man ay madaling makitungo. Ang Excel ay maaaring gawin ito, at sa gayon ay maaaring ang anumang iba pang RDBMS.
Ngunit kapag ang kakayahang mabasa ay mabawasan, at ang data ay hindi nakaayos, doon ang Big Datamga tool tulad ng Hadooppuntos Ang isang halimbawa ng hindi nakaayos na data ay syslog . Ang isang sample na imahe ay nasa ibaba.
Ang mga nasabing log ay tiyak na hindi maaring magtanong gamit ang Excel.
Ang Hadoop, tulad ng mga tool sa Big Data, ay maaaring maunawaan ang data tulad nito, sa pamamagitan ng paghuhukay ng mga pattern at pagbubuo ng mga ugnayan sa pagitan ng iba't ibang larangan. At sa sandaling ang data ay may isang ugnayan na ugnayan, ito ayHanda na sa Analytics.
Ang Analytics ang makakaapekto sa isang negosyo sa isang organisasyon! Higit na makikinabang ang iyong karera sa pamamagitan ng paglahok nito sa domain ng Big Data.
' Maaari ko ba itong gawin bilang isang Hadoop-er? '
... maaaring ang susunod na tanong sa iyong isipan. At wastong naisip, ang Big Data ay isang merkado na kung saan ay kasing init ng dati, at kasing kahalagahan ng dati.
Nang walang Hadoop, ang mga kumpanya ay magkakaroon ng isang matigas na oras sa pagharap sa Big Data. At walang mga dalubhasang propesyonal na tulad mo, ang mga kumpanya ay magkakaroon ng isang matigas na oras sa pagharap sa Hadoop.
Mayroong isang ulat na nagsasabing, mayroong isang kakulangan sa talento sa domain na ito. Ang ibig sabihin ng deficit na talento, mas mababa ang mga propesyonal ngunit mataas ang demand. At ito ay nasa isang pandaigdigang saklaw at hindi limitado sa isang partikular na heograpiya.
Gusto mo ba ng mga numero?
SA McKinsey Global Institute Sinasabi ng pag-aaral na ang US ay haharap sa kakulangan ng halos 190,000 mga siyentipiko ng data at 1.5 milyong mga tagapamahala at analista na maaaring maunawaan at makagawa ng mga desisyon gamit ang Big Data sa pamamagitan ng 2018.
Payo sa iyo ng karera? Mag-surf kapag mababa ang alon!
Ngunit ikaw ba pinaghihigpitan sa lamang Hadoop ?
Hindi naman. Mayroong isang bilang ng mga tool para sa pagproseso ng Big Data, at ang Hadoop ay isinasaalang-alang bilang isa sa mga pinakamahusay. Ngunit, hindi sa bawat oras!
May mga oras na ang Hadoop ay hindi pinakamahusay na akma. Halimbawa, kung ikaw ay isang hindi pang-teknikal na tao na hindi masyadong magaling sa pagsusulat ng mga programa ng MapReduce.
Sa mga ganitong kaso, maaari mong gamitinTALEND, na nagbibigay sa iyo ng isang graphic na interface ng gumagamit upang gawin ang anumang nais mong gawin sa MapReduce.
Para sa pagsulat ng mas simpleng mga Java code, maaari mong gamitinPIG.
uri ng data ng petsa sa sql
Kung nais mong patakbuhin ang mga query na tulad ng SQL sa Big Data, kung gayonPUGADmaaaring magamit.
Kung nais mong gumamit ng data na nakaimbak sa isang database ng NoSQL, kung gayonHBasemaaaring magamit.
Para sa pagsasagawa ng analytics sa real-time, maaari mong gamitinSPARK.
Ito ang mga tool sa Big Data, na magkakasabay sa Hadoop, ngunit hindi nila pinalitan ang Hadoop kung anupaman. Ang mga ito ay Mga Karagdagang Hadoop para sa Malaking Data.
Bukod, mayroong isang pares ng higit pang mga tool tulad ng SQOOP, FLUME, OOZIE, atbp na maaaring isama sa balangkas ng Hadoop para sa paglutas ng iba't ibang mga problema sa negosyo.
Ano ang inaasahan ng industriya sa iyo bilang isang Big Data Expert?
Ang industriya ay lubhang nangangailangan MALAKING ARCHITECT NG DATA na maaaring bumuo ng isang end-to-end na malaking solusyon sa data para sa kanilang mga samahan. Ang Big Data Architects ay ang mga may kadalubhasaan sa lahat ng mga tool na naunang nabanggit.
Narito ang isang patotoo ng isang nag-aaral sa Edureka sa kurso:
Naging isang simula sa pagsasanay sa sertipikasyon ng Big Data And Hadoop ng Edureka na tumutulong sa mga mag-aaral na maging dalubhasa sa HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume at Sqoop gamit ang mga kaso ng paggamit ng real-time sa Retail, Social Media, Aviation, Turismo, Pananalapi domain .