Sa post na ito, pag-uusapan ko Pag-install ng Apache Pig sa Linux . Magsimula tayo sa pangunahing kahulugan ng Apache Pig at Pig Latin.
Apache Pig ay isang tool / platform para sa paglikha at pagpapatupad ng programang Map Reduce na ginamit sa Hadoop. Ito ay isang tool / platform para sa pagsusuri ng malalaking hanay ng data. Maaari mong sabihin, ang Apache Pig ay isang abstraction sa MapReduce. Ang mga programmer na hindi gaanong mahusay sa Java ay nakikipaglaban sa pagtatrabaho sa Hadoop, pangunahin habang nagsusulat ng mga trabaho sa MapReduce.Kaya, ito ay isang mahalagang paksa upang matuto at makabisado .Ang Apache Pig ay may sariling wika Baboy Latin na kung saan ay biyaya para sa mga mahihirap na programmer.
Ang isang pangunahing pagpapakilala sa Pig Latin ay makakatulong sa iyo na higit na maunawaan:
Ang mataas na antas na wikang pamproseso na ginamit sa platform ng Apache Pig ay tinawag Baboy Latin . Nagtatampok ang Apache Pig ng 'Pig Latin' na kung saan ay isang mas simpleng wika na maaaring tumakbo sa ibinahagi na mga dataset sa Hadoop File System (HDFS). Sa Apache Pig, kailangan mong magsulat ng mga script ng Baboy gamit ang Pig Latin na wika, na na-convert sa MapReduce na trabaho kapag pinatakbo mo ang Pig script. Ang Apache Pig ay may iba't ibang mga operator na ginagamit upang maisagawa ang mga gawain tulad ng pagbabasa, pagsusulat, pagproseso ng data. Upang malaman ang tungkol sa mga operator ng Apache Pig, pumunta sa aming blog na ' Mga Operator sa Apache Pig: Bahagi 1- Mga Kaugnay na Operator '.
Ngayon na mayroon kang pangunahing pag-unawa sa Apache Pig, magsimula tayo sa Pag-install ng Apache Pig sa Linux.
Pag-install ng Apache Pig sa Linux:
Nasa ibaba ang mga hakbang para sa Pag-install ng Apache Pig sa Linux (ubuntu / centos / windows gamit ang Linux VM). Gumagamit ako ng Ubuntu 16.04 sa ibaba na pag-setup.
Hakbang 1: Mag-download Baboy alkitran file
Utos: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Hakbang 2: Kinuha ang alkitran file gamit ang utos ng alkitran. Sa ilalim ng utos ng alkitran, x nangangahulugang kumuha ng isang file ng archive, kasama si nangangahulugang salain ang isang archive sa pamamagitan ng gzip, f nangangahulugang filename ng isang archive file.
Utos: tar -xzf baboy-0.16.0.tar.gz
Utos: ls
Hakbang 3: I-edit ang “ .bashrc ”File upang mai-update ang mga variable ng kapaligiran ng Apache Pig. Itinatakda namin ito upang ma-access namin ang baboy mula sa anumang direktoryo, hindi namin kailangang pumunta sa direktoryo ng baboy upang magpatupad ng mga utos ng baboy. Gayundin, kung ang anumang iba pang application ay naghahanap para sa Pig, makikilala nito ang landas ng Apache Pig mula sa file na ito.
Utos: sudo gedit .bashrc
gumamit ng sawa sa visual studio
Idagdag ang sumusunod sa dulo ng file:
# Itakda ang PIG_HOME
i-export ang PIG_HOME = / home / edureka / pig-0.16.0
i-export ang PATH = $ PATH: /home/edureka/pig-0.16.0/bin
i-export ang PIG_CLASSPATH = $ HADOOP_CONF_DIR
Gayundin, tiyakin na ang hadoop path ay naka-set din.
Patakbuhin sa ibaba ang utos upang ma-update ang mga pagbabago sa parehong terminal.
Utos: pinagmulan .bashrc
Hakbang 4: Suriin ang bersyon ng baboy. Ito ay upang subukan na ang Apache Pig ay nai-install nang tama. Kung sakali, hindi mo nakuha ang bersyon ng Apache Pig, kailangan mong i-verify kung nasunod mo nang tama ang mga hakbang sa itaas.
Utos: baboy -versi
Hakbang 5 :Suriin ang tulong ng baboy upang makita ang lahat ng mga pagpipilian sa utos ng baboy.
Utos: baboy -help
Hakbang 6 :Patakbuhin ang Pig upang simulan ang ungol na shell. Ginagamit ang grunt shell upang magpatakbo ng mga script ng Pig Latin.
Utos: baboy
Kung titingnan mo nang tama ang imahe sa itaas, ang Apache Pig ay may dalawang mga mode kung saan ito maaaring tumakbo, bilang default pipiliin nito ang MapReduce mode. Ang iba pang mode kung saan maaari mong patakbuhin ang Pig ay Local mode. Hayaan mong sabihin ko sa iyo ang tungkol dito.
Mga mode ng pagpapatupad sa Apache Pig:
- MapReduce Mode - Ito ang default mode, na nangangailangan ng pag-access sa isang Hadoop cluster at pag-install ng HDFS. Dahil, ito ay isang default mode, hindi kinakailangan na tukuyin ang -x flag (maaari kang magpatupad baboy O kaya baboy -x mapreduce ). Ang input at output sa mode na ito ay naroroon sa HDFS.
- Lokal na Mode - Sa pag-access sa isang solong makina, ang lahat ng mga file ay naka-install at tumatakbo gamit ang isang lokal na host at file system. Dito tinukoy ang lokal na mode gamit ang '-x flag' ( baboy -x local ). Ang input at output sa mode na ito ay naroroon sa lokal na file system.
Utos: baboy -x local
pagkakaiba sa pagitan ng konektado at hindi konektadong pagtingin
Maaari kang dumaan sa ibaba ng video upang panoorin ang Pag-install ng Apache Pig sa Linux:
Pag-install ng Apache Pig | Pag-install ng Baboy sa Linux | Edureka
Ngayon na tapos ka na sa Pag-install ng Apache Pig sa Linux, ang susunod na hakbang na pasulong ay upang subukan ang ilang mga kaugnay na operator ng Pig sa Pig Grunt shell. Samakatuwid, ang susunod na blog na ' Mga Operator sa Apache Pig: Bahagi 1- Mga Kaugnay na Operator 'Ay makakatulong sa iyo upang makabisado ang mga operator ng Baboy.
Ngayon na na-install mo ang Apache Pig sa Linux, tingnan ang ni Edureka, isang pinagkakatiwalaang kumpanya sa pag-aaral sa online na may isang network na higit sa 250,000 nasiyahan na mga nag-aaral na kumalat sa buong mundo. Ang kurso sa Edureka Big Data Hadoop Certification Training ay tumutulong sa mga nag-aaral na maging dalubhasa sa HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume at Sqoop na gumagamit ng mga kaso ng paggamit ng real-time sa Retail, Social Media, Aviation, Turismo, Pananalapi domain.
May tanong ba sa amin? Mangyaring banggitin ito sa seksyon ng mga komento at babalikan ka namin.