본문 바로가기
반응형

전체 글123

[Aws]Sql 시작(샘플데이터) 보호되어 있는 글 입니다. 2020. 1. 14.
Ad hoc (정보 추가,정리 필요) Ad hoc(비정규형) 분석 Data를 분석 하기위해 Ad hoc 분석까지 Data - (분석) -> Adhoc분석 ------------------------------ 이러한 분석할 환경을 구축하는 것은 필수적이다. 왜? 많은 사람들이 Data를 분석하는 것을 필요로 하기 때문이다. 이러한 Adhoc 분석하기 위해서는 자동화가 필요하다 ex) 만약 최신 data를 가져오기 위해서는 이니셜데이터(초기 적재)를 삽입해야 한다. Data Backfill을 하여 Adhoc의 Data를 가져오려면 프로세싱 시스템 구축이 필요하다. 2019. 12. 19.
데이터아키텍처-자동화란? 자동화란? 데이터 추출/수집/정체 프로세싱을 머신으로 운영하는 것. 데이터 자동화를 위해 고려해야할 사항 1) 데이터 프로세싱 스탭들 (what, how, 시각화는?) 2) 에러 핸들링 및 모니터링 (에러가 났을 때 조치방법은, performance는 어떻게 나는지?) 3) 트리거 / 스케쥴링 2019. 12. 19.
데이터 파이프라인 데이터 파이프라인은 단순히 생각한다면 데이터를 이동시킬 수 있는 통로를 만드는 것이다. 예를 들면 API -----> DB DB'' ------> DB' DB ------> BI Tool 이런 식으로 데이터를 옮길 수 있게 만들어주는 것이 데이터 파이프 라인이다. 데이터 파이프라인의 필요성은? 1. Data의 생성과 저장을 위해서 필요하다. => 데이터 활용 혹은 보관 목적 2. 데이터사일로 현상 : 조직별로 데이터가 고립이 되어 활용을 못하게 됨 => Data Intergration(데이터 통합) 을 하기 위해 데이터 파이프라인이 필요 데이터 파이프라인 구축시 고려사항 1. scalability - 데이터가 기하급수적으로 늘어났을 때 작동하는가? 2. stability - 에러, dataflow -> .. 2019. 12. 18.
반응형

티스토리툴바