BigData8 아파치 스파크 스파크 설정- 설정파일 변경 ~/. bashc Spark-env.sh Slaves Spark-env.sh Spark-defaults.conf 스파크 설정-jar 파일 적재 Hadoop fs -ls /jar-spark-jars 네임노드 웹 접속하여 파일 복사 확인 http://192.168.0.1:50070 하둡실행하고 jps 실행하였을 때 namenode가 안나타나서 namenode-format을 하였어서 초기화 된 상태에서 했으므로 jar 파일 하나만 존재. 스파크 실행 및 동작 확인- jps 스파크 실행 스파크 실행 및 동작 확인 - 마스터 웹 접속 192.168.0.1:8080 스파크 쉘 실행 2020. 9. 24. 하둡에서 datenode가 실행되지 않는경우 1. 하둡의 hdfs-site.xml 설정파일 확인 hdfs-site.xml > dfs.date.dir 프로퍼티의 값 확인 -> data 저장경로 2. 저장 경로의 /current 디렉터리 유/무 확인 dfs.data.dir/current가 있을 경우 해당 디렉터리 삭제 3. hadoop stop -> 삭제 -> start 2020. 9. 24. 하둡 실행 및 동작 확인 하둡 실행 및 동작 확인 start-all.sh : 모든 하둡 클러스터의 HDFS 시작, YARN 데몬 실행 hadoop namenode -format : 처음 실행 시에 한번만 마스터에서 네임노드를 포맷 hdfs version : 하둡 버전 확인 jps : 프로세스 확인 클러스터 동작 확인, 네임노드 웹 하둡 실행 테스트 Root 디렉터리 밑에꺼를 보여준다 파일 시스템은 하둡 분산파일 시스템 input 디렉터리를 만든다 hadoop fs -put /home/bigdata/hadoop-2.7.7/README.txt /input : 로컬파일시스템의 README.txt을 하둡 파일 시스템 input 디렉터리로 copy 하둡 실행 테스트 - wordcount README.txt 파일의 단어 개수들을 세는 프로.. 2020. 9. 24. 리눅스 명령어, putty, notepad++ 리눅스 명령어 ls 명령어 기능 : 파일 및 디렉터리의 목록을 출력한다 형식 : ls[옵션] [ {디렉터리 | 파일} ] 옵션: -l : 파일 크기, 저장 날짜, 허가권, 소유권 등을 포함하여 자세히 보기 -a : 마침표로 시작하는 숨겨진 파일을 포함한 모든 파일 보여주기 -t : 시간 순서대로 정렬해서 보기 -R : 하위 디렉터리의 파일까지 재귀적으로 보여주기 cd 명령어 기능 : 디렉터리를 이동한다 형식 : cd[디렉터리명] 디렉터리명 -> ~ : 자신의 홈 디렉터리 디렉터리명-> ~(계정이름) : 다른사용자의 홈 디렉터리, 예를들어 cd ~embed일 결우 embed의 홈 데릭터리 . : 현재 디렉터리 .. : 상위 디렉터리 파일의 생성 및 보기 파일 새로 만들기/덮어쓰기 : $cat > test... 2020. 9. 24. 이전 1 2 다음
