본문 바로가기
반응형

전체 글123

01-2. 프로젝트 시작 하루는 친구가 물었다. 빅데이터에서 제일 중요한게 뭐야? 여러 관점에서 생각할 수 있겠지만, 내가 생각하기로는 결국엔 가치를 창출하는게 가장 핵심이지 않을까 싶었다. 사실 가치 없는 데이터들이 아무리 좋다고 하더라도 쓰레기에 불과하기 때문이다. 그러한 가치를 창출해내고 발견하는 것이 빅데이터 분석가의 역할이라고 생각했다. 내가 이 글을 쓰는 이유는 프로젝트가 어느 방향과 목적을 가지고 하는지가 중요하다고 생각하기 때문이다. 책에서는 '파일럿 프로젝트' (사전 프로젝트) 라고 한다. 프로젝트의 목적은 "스마트카의 빅데이터 분석" 우리가 프로젝트를 진행하기에 앞서 point를 잡아야 하는 데 바로 - 무엇을 위한 시스템인가? - 어떤 프로세스를 통해 사용자에게 가치를 만들어내는가? 에 초점을 두고 프로젝트를.. 2020. 7. 9.
01-1. 작업환경만들기 - (고민편) 지난 포스팅에서.. https://cloud.google.com/container-optimized-os?hl=ko 하면서,,, 이것저것 해보았지만,, 꽤나 많은 지식이 필요해 보였다. 우선은 책을 따라 하면서 구현해보기로 했다. 2020. 7. 9.
01. 작업환경 만들기 (GCP Compute Engine 만들어보기) 실무로 배우는 빅데이터 기술 책을 참고하여 데이터 파이프라인의 환경을 구성하고자 한다. 우선 내가 생각하는 하둡, 스파크, 카프카를 구현하기 전에 어떠한 환경에서 작업환경을 셋팅하고 구현할 지를 고민하였다. 장비 사기 Vmware 클라우드 (GCP) 3가지 환경중에 나는 3. 클라우드를 선택했다. (관련 내용은 후에 포스팅) 클라우드와 함께 내가 또 갖춰야 할 환경은 바로 '도커(docker)에서 컨테이너로 OS 구현하기' 였다. 진행할 Step GCP 환경 구성 Docker 설치 CentOS 설치 하둡 설치 1. GCP 환경구성하기 ( 위에서는 GCP에서만 한다고 했는데, 내가 사용해볼 수 있는 모든 것을 한번 해보려 한다. 클라우드도 비용의 한계가;;;) 환경을 구성하기 위해서는 최소한의 비용이 들게.. 2020. 7. 7.
7월 5일 Review 한 일 - 프로젝트 진행사항 발표 1. 오류 해결 : test코드의 버전이 맞지 않음 2. 부족한 점 : 웹의 프로세스에 대한 전반적인 이해 부족 3. 느낀 점 : 오늘 내가 발표한 것에 대해 지식의 차이가 많이 부족해서 나한테 들이는 시간이 많았음. 따로 스프링과 웹의 공부가 필요 개선 사항 1. 나쁜 습관 : 밤에 게임 - 개선한 점 : 앱에 제한시간을 걸었고, 하고 싶은 마음이 생길 때는 우선 곰곰히 생각 후 다른 일을 진행 2. 미래 방향 - 자의적으로 해야하는 것들 VS 타의적으로 해야하는 것들 - 개선 방법 : 진로에 대해 이야기 후에 협의점을 만듦. (현재 진행하는 프로젝트의 상당 부분을 다른 사람이 담당하고 내가 공부해야 하는 것에 대해 정리 및 실습 및 발표를 하기로 함)앞으로의 방향 1.. 2020. 7. 5.
반응형

티스토리툴바