Natutunan namin kung paano Bumuo ng Hive at Yarn sa Spark . Ngayon ay subukan natin ang mga halimbawa ng Hive at Yarn sa Spark.
Hive Halimbawa sa Spark
Tatakbo kami ng isang halimbawa ng Hive on Spark. Lilikha kami ng isang talahanayan, maglo-load ng data sa talahanayan na iyon at magpatupad ng isang simpleng query. Kapag nagtatrabaho sa Hive, dapat bumuo ng isang HiveContext na nagmamana sa SQLContext .
Utos: cd spark-1.1.1
Utos: ./bin/spark-shell
Lumikha ng isang file ng pag-input 'Sample' sa iyong direktoryo sa bahay tulad ng nasa ibaba snapshot (hiwalay na tab).
Utos: val sqlContext = bagong org.apache.spark.sql.hive.HiveContext (sc)
Utos: sqlContext.sql ('LILIKHA ANG TABLE KUNG HINDI Umiiral na pagsubok (pangalang STRING, ranggo INT) ROW FORMAT Tinanggal na mga FIELDS NA Natapos NG '' LINES NA Natapos NG '
‘”)
Utos: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' SA TABLE test')
Utos: sqlContext.sql ('PUMILI * MULA sa pagsubok KUNG SAAN ang ranggo<5”).collect().foreach(println)
mga tutorial sa visual studio para sa mga nagsisimula
Halimbawa ng Sinulid sa Spark
Tatakbo kami ng halimbawa ng SparkPi sa Yarn. Maaari naming i-deploy ang Yarn sa Spark sa dalawang mga mode: cluster mode at client mode. Sa mode ng yarn-cluster, tumatakbo ang driver ng Spark sa loob ng isang proseso ng master application na pinamamahalaan ng Yarn sa cluster, at maaaring mawala ang kliyente pagkatapos na simulan ang aplikasyon. Sa mode ng yarn-client, tumatakbo ang driver sa proseso ng client, at ginagamit lamang ang application master para sa paghingi ng mga mapagkukunan mula sa Yarn.
Utos: cd spark-1.1.1
Utos: SPARK_JAR =. / Pagpupulong / target / scala-2.10 / spark-assemble-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executive 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 mga halimbawa / target / scala-2.10 / spark-halimbawa-1.1.1-hadoop2.2.0.jar
Pagkatapos mong maipatupad ang utos sa itaas, mangyaring maghintay para sa anumang oras hanggang sa makuha mo NAGTAGUMPAY mensahe
Mag-browse localhost: 8088 / kumpol at mag-click sa Spark application.
aktibo at passive transformation sa informatica
Mag-click sa mga troso .
Mag-click sa stdout upang suriin ang output.
Para sa pag-deploy ng Yarn sa Spark sa client mode, gumawa lang –Deploy-mode bilang 'Kliyente'. Ngayon, alam mo kung paano bumuo ng Hive at Yarn sa Spark. Nagpraktikal din kami sa kanila.
May tanong ba sa amin? Mangyaring banggitin ang mga ito sa seksyon ng mga komento at babalikan ka namin.
Mga Kaugnay na Post
Apache Spark with Hadoop-Bakit mahalaga ito?
Ang pugad at sinulid makakuha ng elektrisidad sa pamamagitan ng Spark