Apache Falcon: Bagong Platform ng Pamamahala ng Data Para sa The Hadoop Ecosystem



Ang Apache Falcon ay isang bagong platform ng pamamahala ng data para sa ecosystem ng Hadoop na pinapasimple ang onboarding feed processing at feed management sa mga hadoop cluster. Alamin kung paano ito i-set up.

Ang Apache Falcon ay isang balangkas para sa pamamahala ng siklo ng buhay ng data sa mga kumpol ng Hadoop. Itinataguyod nito ang ugnayan sa pagitan ng iba't ibang mga elemento ng data at pagproseso sa isang kapaligiran ng Hadoop, at nagbibigay din ng mga serbisyo sa pamamahala ng feed tulad ng pagpapanatili ng feed, mga pagtitiklop sa mga kumpol, archival atbp.





Talakayin muna natin kung paano i-setup ang Apache Falcon. Patakbuhin ang ibinigay na utos sa ibaba upang mag-download ng git repository ng Falcon:

Utos: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Upang magpatakbo ng falcon, kailangan mo munang itayo ito.

Utos: cd falcon



Utos: i-export ang MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn malinis na pag-install -DskipTests

Utos: mvn malinis na pagpupulong: pagpupulong -DskipTests -DskipITs

Kapag nakagawa ka na ng falcon, makakakita ka ng isang pakete ng falcon sa loob ng / falcon / distro / target / direktoryo.

Ang mga utos para sa pagbuo ng falcon ay mukhang napakadali, ngunit mahaharap ka sa maraming mga isyu bago mo makita ang mensahe ng Tagumpay sa Build. Naharap ko ang maraming mga isyu habang itinatayo ito para sa Hadoop-2.2.0

Kaya upang laktawan ang sakit ng pagbuo ng Falcon, bibigyan kita ng isang matagumpay na binuo na pakete ng falcon, na maaari mong i-download gamit ang link sa ibaba.

https://edureka.wistia.com/ Medias/xw5cfzqmho/download?media_file_id=124642564

I-zip ang file upang makakuha ng direktoryo ng falcon-0.10.

Utos: unzip falcon-0.10-SNAPSHOT.zip

Itakda ang mga variable ng kapaligiran ng flacon sa .bashrc file.

Utos: sudo gedit .bashrc

Utos: pinagmulan .bashrc

Maaari kang pumunta sa direktoryo ng falcon at makita ang mga file at direktoryo sa loob nito.

Utos: cd falcon-0.10-SNAPSHOT /

Utos: ls

Maaari kang makahanap ng mga script ng falcon sa loob ng direktoryo ng bin.

Patakbuhin sa ibaba ang utos upang simulan ang Falcon.

Utos: ./bin/falcon-start

Makakakita ka ng isang bagong daemon FalconServer na tumatakbo ngayon.

Utos: jps

utos ng goto c ++

Utos: ./bin/falcon admin -versi

Buksan ang iyong browser, at pumunta sa localhost: 15000 . Maaari mong makita ang Falcon web ui.

May tanong ba sa amin? Nabanggit ang mga ito sa seksyon ng komento at babalikan ka namin.

Mga Kaugnay na Post:

Pagbabarena sa Apache Drill