반응형 일상 기술노트/BI,ETL,OLAP6 데이터 파이프라인 데이터 파이프라인은 단순히 생각한다면 데이터를 이동시킬 수 있는 통로를 만드는 것이다. 예를 들면 API -----> DB DB'' ------> DB' DB ------> BI Tool 이런 식으로 데이터를 옮길 수 있게 만들어주는 것이 데이터 파이프 라인이다. 데이터 파이프라인의 필요성은? 1. Data의 생성과 저장을 위해서 필요하다. => 데이터 활용 혹은 보관 목적 2. 데이터사일로 현상 : 조직별로 데이터가 고립이 되어 활용을 못하게 됨 => Data Intergration(데이터 통합) 을 하기 위해 데이터 파이프라인이 필요 데이터 파이프라인 구축시 고려사항 1. scalability - 데이터가 기하급수적으로 늘어났을 때 작동하는가? 2. stability - 에러, dataflow -> .. 2019. 12. 18. 2019년을 돌아보면서 (BI가 뭐죠 ?) 회사를 들어온지 벌써 10개월이 흘렀다. 10개월이라는 시간동안 많은 경험 + 방황 을 했다. 많은 경험 같은 경우, 많은 컨퍼런스나 IT행사를 다니면서 '나도 직장인이구나'라는 것을 느꼈고 방황을 한 이유는 생소한 BI, ETL, OLAP, 빅데이터 등등 생소한 용어들과 나의 진로 방향은 어디로 가야하는 의구심이 많이 들었기 때문이다. 9개월 간의 방황을 한 끝에 어느 정도 안정을 찾았고 , 2020년은 실천의 해로 그동안 모아왔던 정보들을 실제로 해보는 경험을 해보려고 한다. 그래서 BI가 뭐냐고 ? 오늘은 알려줄 수 없다. 오늘은 INTRO 컨셉이니까. 2019. 12. 14. 이전 1 2 다음 반응형