Sa blog na ito, tingnan natin kung paano bumuo ng Spark para sa isang tukoy na bersyon ng Hadoop.
Malalaman din natin kung paano bumuo ng Spark gamit ang HIVE at YARN.
logistic regression sa halimbawa ng sawa
Isinasaalang-alang na mayroon ka Hadoop, jdk, mvn at punta ka na paunang naka-install at paunang naka-configure sa iyong system.
Buksan Mozilla browser at Mag-download Spark gamit ang link sa ibaba.
https://edureka.wistia.com/ Medias/k14eamzaza/
Buksan ang terminal.
Command: tar -xvf Mga Pag-download / spark-1.1.1.tgz
Utos: ls
Buksan ang direktoryo ng spark-1.1.1.
Maaari kang magbukas pom.xml file Binibigyan ka ng file na ito ng impormasyon tungkol sa lahat ng mga pagtitiwala kailangan mo.
Huwag i-edit ito upang maiwasan ang problema.
Command: cd spark-1.1.1 /
Command: sudo gedit sbt / sbt-launch-lib.bash
I-edit ang file bilang snapshot sa ibaba, i-save ito at isara ito.
Binabawasan namin ang memorya upang maiwasan ang isyu ng space heap space tulad ng nabanggit sa snapshot sa ibaba.
Ngayon, patakbuhin ang utos sa ibaba sa terminal upang makabuo ng spark para sa Hadoop 2.2.0 gamit ang HIVE at YARN.
Panuto: ./sbt/sbt -P sinulid -P pugad -Phadoop-2.2 -D hadoop.versi = 2.2.0 -D laktawan ang Mga Pagsubok pagpupulong
Tandaan: Ang aking bersyon ng Hadoop ay 2.2.0, maaari mo itong palitan alinsunod sa iyong bersyon ng Hadoop.
Para sa iba pang mga bersyon ng Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Magtatagal ng ilang oras para sa pag-iipon at pag-iimpake, mangyaring maghintay hanggang sa makumpleto ito.
Dalawang garapon spark-Assembly-1.1.1-hadoop2.2.0.jar at spark-halimbawa-1.1.1-hadoop2.2.0.jar nalikha.
Landas ng spark-Assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/ass Assembly/target/scala-2.10/spark-ass Assembly-1.1.1-hadoop2.2.0.jar
Landas ng spark-halimbawa-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Binabati kita, matagumpay mong naitayo ang Spark for Hive & Yarn.
May tanong ba sa amin? Mangyaring banggitin ang mga ito sa seksyon ng mga komento at babalikan ka namin.
Mga Kaugnay na Post:
Apache Spark with Hadoop-Bakit mahalaga ito?