celina의 이것저것

Spark 클러스터 구축 본문

Data Engineering/Spark

Spark 클러스터 구축

celinayk 2024. 2. 16. 15:00
반응형

1. xshell 깔아서 컴퓨터8개 연결한다

2. /usr/local 경로에 spark깔려있음 (진우가 미리 깔아둠)

3. 버전 바꿔야하니까 기존 spark삭제 

sudo rm -rf spark

rm -rf spark/*

sudo rmdir spark

삭제 완료

3. 다시 설치

sudo wget 링크

4. 환경변수 이미 되어있어서 이름만 바꾸면 끝

sudo mv 기존 spark

버전 바꿔서 전부 완료

 

 

웹사이트 띄워서 클러스터 현황파악 완료

worker7개 잘 실행중

'Data Engineering > Spark' 카테고리의 다른 글

Apache Spark란?  (1) 2024.02.15
Comments