celina의 이것저것
Spark 클러스터 구축 본문
반응형
1. xshell 깔아서 컴퓨터8개 연결한다
2. /usr/local 경로에 spark깔려있음 (진우가 미리 깔아둠)
3. 버전 바꿔야하니까 기존 spark삭제
sudo rm -rf spark
rm -rf spark/*
sudo rmdir spark
삭제 완료
3. 다시 설치
sudo wget 링크
4. 환경변수 이미 되어있어서 이름만 바꾸면 끝
sudo mv 기존 spark
버전 바꿔서 전부 완료
웹사이트 띄워서 클러스터 현황파악 완료
worker7개 잘 실행중
'Data Engineering > Spark' 카테고리의 다른 글
Apache Spark란? (1) | 2024.02.15 |
---|
Comments