아파치 스파크

스파크 설정- 설정파일 변경

 

~/. bashc

Spark-env.sh

Slaves

 

Spark-env.sh

 

Spark-defaults.conf

 

스파크 설정-jar 파일 적재

 

Hadoop fs -ls /jar-spark-jars

 

네임노드 웹 접속하여 파일 복사 확인

 

http://192.168.0.1:50070

하둡실행하고 jps 실행하였을 때 namenode가 안나타나서 namenode-format을 하였어서 초기화 된 상태에서 했으므로 jar 파일 하나만 존재.

 

스파크 실행 및 동작 확인- jps

 

스파크 실행

Master노드와 Worker 노드 정상 작동

스파크 실행 및 동작 확인 - 마스터 웹 접속

 

192.168.0.1:8080

 

스파크 쉘 실행