[견고한 데이터 엔지니어링] 데이터 엔지니어링 수명 주기 - 1 : 데이터 수명주기 ? 데이터 엔지니어링 수명주기 ?

이 책은, 데이터 엔지너링에 대해 특정 기술의 집합으로 보는 관점에서 벗어나도록 장려하려고 한다. 

추상화 수준과 사용 편의성이 계속 높아지는데, 기술적인 추상화가 확대됨에 따라
점저 데이터 수명주기 관리 원칙의 관점에서 사고하고 운용하는 데이터 수명 주기 엔지니어가 될 것이다. 

 

데이터 엔지니어링 수명주기 ?

 

데이터 엔지니어링 수명 주기는 원시 데이터의 요소를 분석가, 데이터 과학자, ML엔지니어 등이 사용할 수 있는 유용한 최종 제품으로 전환하는 단계로 구성된다 ( 생성부터 소멸까지 데이터 엔지니어링을 설명하는 프레임워크다. )

데이터 엔지니어링 수명주기는 5단계로 나뉜다. 

- 데이터 생성
- 데이터 저장
- 데이터 수집
- 데이터 변환
- 데이터 서빙 

데이터 엔지니어링 수명 주기의 컴포넌트

드러나지 않는요소들 
 : 보안, 데이터 관리, 데이터옵스, 데이터 아키텍처, 오케스트레이션 및 소프트웨어 엔지니어링 

 

데이터 수명주기 vs 데이터 엔지니어링 수명 주기 

데이터 엔지니어링 수명 주기는 전체 데이터 수명 주기의 하위집합이다.
전체 데이터 수명 주기는 데이터의 전체수명을 포괄한다.
데이터 엔지니어링 수명 주기는 데이터 엔지니어가 제어하는 단계에 초점을 맞춘다.

 

 

다시 책을 읽으면서 프로젝트 진행(데이터 엔지니어링)에 대한 전반적인 내용을 이해하면서
어떠한 부분이 내가 더 파악해야 하는지에 대해서 다시 생각하게 되었다. 

이러한 이론적인 내용에 대해 알고 그것을 토대로 프로젝트 진행을 하면 좀 더 리스크를 줄이면서 
진행을 할 수 있을 것 같다는 생각이 들었다.