우당탕탕 토이 프로젝트

개요지난 포스팅에 GCP 에서 쿠버네티스를 실행하는 실습을 진행했습니다.이번엔 구축한 클러스터를 MAC에서 접근해서 이것저것 기본 정보를 확인해보려합니다. CLI 설치1. gcloud 커맨드 설치 각 플랫폼에 맞춰 패키지를 다운로드 합니다. 직접 다운받은 파일을 클릭하여 압축을 풀거나, 아래 커맨드로 압축을 풉니다. # 파일명은 각자 다운받은 파일명에 맞춰 변경tar xvf google-cloud-cli-darwin-arm.tar.gz 다운받은 폴더에 가서 아래 커맨드를 입력합니다../google-cloud-sdk/install.sh y/n 응답에 Y로 입력하면 커맨드는 설치가 됩니다.  2. gcloud 커맨드 초기설정설치한 디렉토리에 이동하여 아래 커맨드를 입력 후 구글 창이 뜨면 로그인합니다../b..

개요K8s를 사용하여 웹서버 배포 및 helm에 대한 복기가 필요한 상황이 생겨 개인적으로 공부하고자 했으나AWS EKS 등의 과금은 꽤 부담되는 터라, 무료로 사용할 수 있는 GCP 를 사용하고자 한다. GCP 란?Google Cloud Platform 의 약자로, AWS와 더불어 현업에서 많이 사용하는 Cloud 플랫폼이다계정 당 1회 300$ 의 크레딧을 최대 3개월까지 사용가능하도록 제공해 줘 학습 및 추후 GCP로 운영 전환 하기에도많은 도움을 준다. GCP에서 K8s 무료 사용해보기 1. GCP에 접속하여 무료로 시작하기 클릭 (사전 구글 계정 로그인 필요) 2. 계정 설정하기  3. 결제 정보 입력직접 따로 결제를 하겠다고 설정하지 않는 한 실수로 과금될 일이 없다 4. K8s 활성화개인정보..

Spark 구성Spark는 Drvier 프로세스 1개와 다수의 Executor, 그리고 1개의 Cluster Manager로 구성된다.  Spark 구성 별 역할SparkDriver - 유저의 진입점이다. SparkSession or SparkContext를 초기화하고, 각 작업을 Executor에게 분배한다.- 사용자의 실행 코드를 실행 계획(DAG) 로 변환한다.- Cluster Manger 와 통신하여 Executor를 할당받는다.- Driver가 Cluster에서 실행되면 Cluster 모드, 외부에서 실행하면 Client 모드라고 한다. Cluster Manager- 리소스 매니저, SparkDriver에게 리소스를 요청받으면 가용 Executor를 할당해 준다.- Yarn, mesos, kub..