Sa pagtaas ng dami ng BigData at napakalaking paglago ng cloud computing, ang cutting edge Ang Mga Tool ng Analytics ay naging susi upang makamit ang isang makabuluhang pagsusuri ng data. Sa artikulong ito, tatalakayin namin ang nangungunang mga tool sa BigData Analytics at ang kanilang pangunahing mga tampok.
- Apache Storm
- Talend
- CouchDB
- Apache Spark
- Splice Machine
- Plotly
- Azure HDInsight
- R
- Skytree
- Lumify
- Apache Hadoop
- Qubole
Mga Tool sa Big Data Analytics
Apache Storm: Ang Apache Storm ay isang bukas na mapagkukunan at libreng malaking sistema ng pagkalkula ng data. Ang Apache Storm din ay isang produkto ng Apache na may isang real-time na balangkas para sa pagproseso ng stream ng data para sa mga sumusuporta sa anumang wika ng programa. Nag-aalok ito ng ipinamamahagi na real-time, sistemang pagproseso ng mapagparaya sa kasalanan. Na may mga kakayahan sa pagkalkula ng real-time. Namamahala ang tagapag-iskedyul ng bagyo ng workload na may maraming mga node na may sanggunian sa pagsasaayos ng topology at gumagana nang maayos sa The Hadoop Distraced File System (HDFS).
Mga Tampok:
kung paano gamitin ang mga scanner sa java
- Ito ay nai-benchmark bilang pagproseso ng isang milyong 100 byte na mensahe bawat segundo bawat node
- Tinitiyak ng bagyo para sa yunit ng data na iproseso nang minimum kahit isang beses.
- Mahusay na pahalang na kakayahang sukatin
- Built-in na pagpapaubaya sa kasalanan
- Awtomatikong pag-restart sa mga pag-crash
- Nakasulat sa Clojure
- Gumagawa sa topology ng Direct Acyclic Graph (DAG)
- Ang mga file ng output ay nasa format na JSON
- Mayroon itong maraming mga kaso ng paggamit - real-time analytics, pagproseso ng log, ETL, tuluy-tuloy na pagkalkula, ipinamahagi na RPC, pag-aaral ng makina.
Talend: Ang Talend ay isang malaking tool ng data na nagpapasimple at nag-o-automate ng malaking pagsasama-sama ng data. Ang graphic wizard nito ay bumubuo ng katutubong code. Pinapayagan din nito ang malaking pagsasama ng data, pamamahala ng data ng master at pagsuri sa kalidad ng data.
Mga Tampok:
- Nag-streamline ng ETL at ELT para sa Malaking data.
- Tapusin ang bilis at sukat ng spark.
- Pinapabilis ang iyong paglipat sa real-time.
- Humahawak ng maraming mga mapagkukunan ng data.
- Nagbibigay ng maraming mga konektor sa ilalim ng isang bubong, na kung saan ay magpapahintulot sa iyo na ipasadya ang solusyon ayon sa iyong pangangailangan.
- Pinapasimple ng Talend Big Data Platform gamit ang MapReduce at Spark sa pamamagitan ng pagbuo ng katutubong code
- Mas matalinong kalidad ng data sa pag-aaral ng makina at pagproseso ng natural na wika
- Agile DevOps upang mapabilis ang mga malalaking proyekto sa data
- I-streamline ang lahat ng proseso ng DevOps
Apache CouchDB: Ito ay isang open-source, cross-platform, oriented na dokumento na NoSQL database na naglalayon sa madaling paggamit at paghawak ng isang nasusukat na arkitektura. Ito ay nakasulat sa kasabay na oriented na wika na Erlang. Nag-iimbak ang Couch DB ng data sa mga dokumento ng JSON na maaaring ma-access sa web o query gamit ang JavaScript. Nag-aalok ito ng ipinamamahagi na pag-scale na may imbakan na mapagparaya sa kasalanan. Pinapayagan nitong ma-access ang data sa pamamagitan ng pagtukoy sa Couch Replication Protocol.
Mga Tampok:
- Ang CouchDB ay isang database ng solong node na gumagana tulad ng anumang iba pang database
- Pinapayagan nito ang pagpapatakbo ng isang solong lohikal na database server sa anumang bilang ng mga server
- Ginagamit nito ang lahat ng nasa lahat ng lugar sa HTTP protocol at format ng data ng JSON
- pagpapasok ng dokumento, mga pag-update, pagkuha, at pagtanggal ay medyo madali
- Ang format ng JavaScript Object Notation (JSON) ay maaaring isalin sa iba't ibang mga wika
Apache Spark: Ang Spark ay isa ring napakapopular at bukas na mapagkukunan ng malaking tool sa analytics ng data. Ang Spark ay may higit sa 80 mga operator na may mataas na antas para sa madaling paggawa ng mga parallel app. Ginagamit ito sa isang malawak na hanay ng mga samahan upang maproseso ang malalaking mga database.
Mga Tampok:
- Nakatutulong ito upang magpatakbo ng isang application sa Hadoop cluster, hanggang sa 100 beses na mas mabilis sa memorya, at sampung beses na mas mabilis sa disk
- Nag-aalok ito ng pag-iilaw ng Mabilis na Pagproseso
- Suporta para sa Sopistikadong Analytics
- Kakayahang upang Isama sa Hadoop at umiiral na Data ng Hadoop
- Nagbibigay ito ng mga built-in na API sa Java, Scala, o Python
- Nagbibigay ang Spark ng mga kakayahan sa pagpoproseso ng data na nasa memorya, na kung saan ay mas mabilis kaysa sa pagpoproseso ng disk na magagamit ng MapReduce.
- Bilang karagdagan, gumagana ang Spark sa HDFS, OpenStack at Apache Cassandra, kapwa sa cloud at on-prem, na nagdaragdag ng isa pang layer ng kagalingan sa maraming operasyon ng datapara sa iyong negosyo.
Splice Machine: Ito ay isang malaking tool sa analytics ng data. Ang kanilang arkitektura ay portable sa mga pampublikong ulap tulad ng AWS, Azure, at Google .
Mga Tampok:
- Maaari itong pabagu-bago ng sukat mula sa ilan hanggang sa libu-libong mga node upang paganahin ang mga application sa bawat scale
- Awtomatikong sinusuri ng optimizer ng Splice Machine ang bawat query sa mga ibinahaging rehiyon ng HBase
- Bawasan ang pamamahala, lumawak nang mas mabilis, at mabawasan ang panganib
- Naubos ang mabilis na data ng streaming, bumuo, sumubok at mag-deploy ng mga modelo ng pag-aaral ng machine
Plotly: Ang Plotly ay isang tool sa analytics na hinahayaan ang mga gumagamit na lumikha ng mga tsart at dashboard upang ibahagi online.
Mga Tampok:
- Madaling gawing nakakaakit at nakakaalam na mga graphic ang anumang data
- Nagbibigay ito ng mga na-audit na industriya na may mahusay na grained na impormasyon tungkol sa datos ng data
- Plotly ay nag-aalok ng walang limitasyong pag-host ng pampublikong file sa pamamagitan ng libreng plano sa pamayanan
Azure HDInsight: Ito ay isang serbisyo ng Spark at Hadoop sa cloud. Nagbibigay ito ng malaking alok ng cloud data sa dalawang kategorya, Standard at Premium. Nagbibigay ito ng isang kumprehensibong antas ng enterprise para sa samahan na patakbuhin ang kanilang malaking mga workload ng data.
Mga Tampok:
- Maaasahang analytics na may isang nangungunang industriya na SLA
- Nag-aalok ito ng seguridad at pagsubaybay sa antas ng enterprise
- Protektahan ang mga assets ng data at palawakin ang cloud on security at mga kontrol sa pamamahala sa cloud
- Isang mataas na platform ng pagiging produktibo para sa mga developer at syentista
- Pagsasama sa mga nangungunang application ng pagiging produktibo
- I-deploy ang Hadoop sa cloud nang hindi bumili ng bagong hardware o pagbabayad ng iba pang mga gastos sa pauna
R: Ang R ay isang wika sa pagprograma at libreng software at Ito ay Compute statistic at graphics. Ang wikang R ay popular sa pagitan ng mga statistician at data miner para sa pagbuo ng statistic software at pagtatasa ng data. Nagbibigay ang R Wika ng isang Malaking Bilang ng mga pagsusuri sa istatistika.
Mga Tampok:
- Karamihan ay ginagamit ang R kasama ang JupyteR stack (Julia, Python, R) para sa pagpapagana ng malawak na pagsusuri ng istatistika at visualization ng data. Kabilang sa 4 na malawak na ginamit na mga tool sa Pagguhit ng Big Data, ang JupyteR ay isa sa mga ito, 9,000 plus ang CRAN (Comprehensive R Archive Network) na mga algorithm at module na pinapayagan ang pagbuo ng anumang modelo ng analytical na nagpapatakbo nito sa isang maginhawang kapaligiran, inaayos ito on the go at siyasatin ang mga resulta ng pagsusuri sabay sabay Ang wika ng R ay tulad ng sumusunod:
- Maaaring tumakbo ang R sa loob ng SQL server
- Tumatakbo ang R sa parehong mga server ng Windows at Linux
- Sinusuportahan ng R ang Apache Hadoop at Spark
- Ang R ay lubos na portable
- Madaling sukatin ang R mula sa isang solong test machine hanggang sa malawak na mga lawa ng data ng Hadoop
- Mabisang pamamahala ng data at pasilidad sa pag-iimbak,
- Nagbibigay ito ng isang suite ng mga operator para sa mga kalkulasyon sa mga arrays, lalo na, mga matrice,
- Nagbibigay ito ng isang coherent, integrated na koleksyon ng mga malalaking tool ng data para sa pagtatasa ng data
- Nagbibigay ito ng mga graphic na pasilidad para sa pagtatasa ng data na nagpapakita ng alinman sa-screen o sa hardcopy
Skytree: Ang Skytree ay isang malaking tool ng data analytics na nagbibigay kapangyarihan sa mga siyentipiko ng data upang makabuo ng mas tumpak na mga modelo. Nag-aalok ito ng tumpak na mga modelo ng pag-aaral ng nahulaan na machine na madaling gamitin.
Mga Tampok:
- Mataas na Nasusukat na Mga Algorithm
- Artipisyal na Katalinuhan para sa Data Scientists
- Pinapayagan nitong makita ang mga siyentipiko ng data at maunawaan ang lohika sa likod ng mga pagpapasya ng ML
- Ang madaling gamitin na GUI o programmatically sa Java sa pamamagitan ng. Skytree
- Model Interpretability
- Ito ay dinisenyo upang malutas ang matatag na mga problemang mahuhulaan sa mga kakayahan sa paghahanda ng data
- Programmatic at Access sa GUI
Lumify: Ang Lumify ay itinuturing na isang platform ng Paggunita, malaking pagsasama ng data at tool sa Pagsusuri. Tinutulungan nito ang mga gumagamit na matuklasan ang mga koneksyon at galugarin ang mga ugnayan sa kanilang data sa pamamagitan ng isang suite ng mga pagpipilian na analitiko.
Mga Tampok:
- Nagbibigay ito ng parehong mga visualization ng 2D at 3D na grap na may iba't ibang mga awtomatikong layout
- Pag-aaral ng link sa pagitan ng mga entity ng grap, pagsasama sa mga sistema ng pagmamapa, pagsusuri sa geospatial, pagsusuri sa multimedia, pakikipagtulungan sa real-time sa pamamagitan ng isang hanay ng mga proyekto o workspace.
- Ito ay mayroong tiyak na pag-ingest sa pagpoproseso at mga elemento ng interface para sa nilalamang pangkonteksto, mga imahe, at video
- Pinapayagan ka ng tampok na puwang na ito upang ayusin ang trabaho sa isang hanay ng mga proyekto, o mga workspace
- Ito ay binuo sa napatunayan, nasusukat na malalaking mga teknolohiya ng data
- Sinusuportahan ang cloud-based na kapaligiran. Gumagana nang maayos sa AWS ng Amazon.
Hadoop: Ang matagal nang kampeon sa larangan ng pagpoproseso ng Big Data, kilalang-kilala sa mga kakayahan para sa napakalaking pagproseso ng data. Ito ay may mababang kinakailangan sa hardware dahil sa bukas na mapagkukunan ng Big Data framework na maaaring tumakbo on-prem o sa cloud. Pangunahing Hadoop ang mga benepisyo at tampok ay ang mga sumusunod:
- Ipinamahagi ang Hadoop File System, nakatuon sa pagtatrabaho sa napakalaking bandwidth - (HDFS)
- Isang modelo na lubos na mai-configure para sa pagpoproseso ng Big Data - (MapReduce)
- Isang tagapag-iskedyul ng mapagkukunan para sa pamamahala ng mapagkukunan ng Hadoop - (YARN)
- Ang kinakailangang pandikit para sa pagpapagana ng mga module ng third-party na gumana kasama ang Hadoop - (Hadoop Library)
Dinisenyo ito upang maiangat mula sa Apache Hadoop ay isang balangkas ng software na ginagamit para sa clustered file system at paghawak ng malaking data. Pinoproseso nito ang mga dataset ng malaking data na gumagamit ng modelo ng programa ng MapReduce. Ang Hadoop ay isang open-source framework na nakasulat sa Java at nagbibigay ito ng suporta sa cross-platform. Walang alinlangan, ito ang pinakamataas na malaking tool sa data. Mahigit sa kalahati ng Fortune 50 na mga kumpanya ang gumagamit ng Hadoop. Ang ilan sa mga Malaking pangalan ay may kasamang mga serbisyo sa Amazon Web, Hortonworks, IBM, Intel, Microsoft, Facebook, atbp. Solong mga server sa libu-libong mga machine.
Mga Tampok:
- Mga pagpapabuti sa pagpapatotoo kapag gumagamit ng HTTP proxy server
- Pagtutukoy para sa pagsisikap ng Hadoop Compatible File system
- Ang suporta para sa istilo ng file na istilong POSIX ay pinalawig na mga katangian
- Nag-aalok ito ng isang matatag na ecosystem na angkop sa iyo upang matugunan ang mga kinakailangang pampanalikal ng isang developer
- Nagdadala ito ng kakayahang umangkop sa Pagproseso ng Data
- Pinapayagan nito para sa mas mabilis na Pagproseso ng data
Qubole: Ang serbisyo ng data ng Qubole ay isang malaya at all-inclusive malaking data platform na namamahala, natututo at na-optimize sa sarili nitong mula sa iyong paggamit. Pinapayagan nitong magtuon ang koponan ng data sa mga kinalabasan ng negosyo sa halip na pamahalaan ang platform. Sa maraming, ilang mga kilalang pangalan na gumagamit ng Qubole ay nagsasama sa pangkat ng musika ng Warner, Adobe, at Gannett. Ang pinakamalapit na kakumpitensya sa Qubole ay Revulytic.
Sa pamamagitan nito, natapos na kami sa artikulong ito . Inaasahan kong nagtapon ako ng kaunting ilaw sa iyong kaalaman sa Mga tool ng Big Data Analytics.
Ngayon na naintindihan mo ang Malaking dataMga tool sa Analytics atang kanilang Pangunahing Mga Tampok, suriin ang ' ni Edureka, isang pinagkakatiwalaang kumpanya sa pag-aaral sa online na may isang network na higit sa 250,000 nasiyahan na mga nag-aaral na kumalat sa buong mundo. Ang kurso sa Edureka Big Data Hadoop Certification Training ay tumutulong sa mga nag-aaral na maging dalubhasa sa HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume at Sqoop na gumagamit ng mga kaso ng paggamit ng real-time sa Retail, Social Media, Aviation, Turismo, Pananalapi domain.