01. 작업환경 만들기 (GCP Compute Engine 만들어보기)

• 실무로 배우는 빅데이터 기술 책을 참고하여 데이터 파이프라인의 환경을 구성하고자 한다.

우선 내가 생각하는 하둡, 스파크, 카프카를 구현하기 전에
어떠한 환경에서 작업환경을 셋팅하고 구현할 지를 고민하였다.

1. 장비 사기
2. Vmware
3. 클라우드 (GCP)

3가지 환경중에 나는 3. 클라우드를 선택했다. (관련 내용은 후에 포스팅)
클라우드와 함께 내가 또 갖춰야 할 환경은 바로 '도커(docker)에서 컨테이너로 OS 구현하기' 였다.

 

• 진행할 Step

1. GCP 환경 구성 
2. Docker 설치
3. CentOS 설치
4. 하둡 설치

1. GCP 환경구성하기

( 위에서는 GCP에서만 한다고 했는데, 내가 사용해볼 수 있는 모든 것을 한번 해보려 한다. 클라우드도 비용의 한계가;;;)

• 환경을 구성하기 위해서는 최소한의 비용이 들게 하고자,  GCP 서버 1대와 도커 컨테이너 두개와 PC 1대 하여 총 4대의 환경을 구성하고자 한다.

머신을 설정하다보면 맨 오른쪽에 크래딧 사용관련 문구가 없어질 수 있다. 처음에는 그냥 다 공짜 인가? 했는데, 실제로 결제가 되는 부분이니 조심해야 한다.

 

GCP는 크레딧을 부여해준다.
300$의 크레딧 안에서 자신이 원하는 사양을 선택하면 된다.

GCP무료 정책

나 같은 경우, AWS에서 몇번 과금에 데였기 때문에, 무료 사용에 대한 정책도 참고하여서,
스토리지는 무료정책에서 보면 HDD/월30GB까지 이다.
 

GCP compute engine 사양:

• 머신유형 : f1-micro VM(vCPU 1개, 614MB메모리)
• 스토리지 : 30GB
   

 

그리고, Container-Optimized OS를 부팅디스크로 하여, 도커를 설치할 준비를 한다.

*( Container-Optimized OS는 Docker 컨테이너를 실행하는 데 최적화된 Compute Engine VM용 운영체제 이미지입니다. Container-Optimized OS는 Google이 유지관리하며 오픈소스 Chromium OS 프로젝트를 기반으로 합니다. Container-Optimized OS를 사용하면 Google Cloud Platform에서 Docker 컨테이너를 빠르고 효율적으로 안전하게 가져올 수 있습니다.)

그리고 만들면 끝

 

Ping 을 날려보자

CMD 창에서 telnet 기능이 없다면 여기 참고

 

외부IP에 ping을 보내 본다.

 

이렇게 PING을 날려봐서 되면 OK