반응형 전체 글123 [일상생각] 조금 더 성숙한 2024로 조급한 마음은 2023년에.. 2023년이 정말 순식간에 흘렀다. 다사다난 했다. 가족과의 갈등, 회사에서 고생도 하고, 재테크도 했다. 메스컴에는 매일매일 시끄러웠고 나는 그것들을 보고 '해야지 해야지..' 하면서 2024년을 맞이하게 되었다. 사람들과 이야기를 나누고 되돌아 봤을 때 나에게 남은 것이 무엇이 있나 생각이 되었다. 비교는 좋지 않다고 하지만 비교를 어느정도는 해야 객관화가 되는것 같다. 회고를 하자면 건강하게 무탈하게(?) 2023년을 보내서 감사하다. 큰 일이 나지 않는다면 감사하다고 어디선가 들은 것 같다. 그랬다, 2023년엔 정말 무탈했던것 같다. 하지만 심경의 변화는 있다. 또한 반성할 점은 행하지 않고, 한탄만 했다는 점. 게으르게 하루하루 보냈다는 점 이다. 왜 반성이 되냐.. 2023. 12. 29. [python] import 와 from ... import 차이 Python 에서 모듈 경로를 찾는 방법에 대해 이해 Python 모듈 경로를 찾는 방법 : import 하는 문법을 이해. python은 sys.path 변수에서 모듈의 위치를 검색함. >>> import sys >>> from pprint import pprint >>> pprint(sys.path) ['', 'C:\\Program Files\\Python38\\python38.zip', 'C:\\Program Files\\Python38\\DLLs', 'C:\\Program Files\\Python38\\lib', 'C:\\Program Files\\Python38', '...PythonWorkspace\\venv', '...PythonWorkspace\\venv\\lib\\site-packages.. 2023. 12. 29. [견고한 데이터 엔지니어링] 데이터 엔지니어링 수명 주기 - 1 : 데이터 수명주기 ? 데이터 엔지니어링 수명주기 ? 이 책은, 데이터 엔지너링에 대해 특정 기술의 집합으로 보는 관점에서 벗어나도록 장려하려고 한다. 추상화 수준과 사용 편의성이 계속 높아지는데, 기술적인 추상화가 확대됨에 따라 점저 데이터 수명주기 관리 원칙의 관점에서 사고하고 운용하는 데이터 수명 주기 엔지니어가 될 것이다. 데이터 엔지니어링 수명주기 ? 데이터 엔지니어링 수명 주기는 원시 데이터의 요소를 분석가, 데이터 과학자, ML엔지니어 등이 사용할 수 있는 유용한 최종 제품으로 전환하는 단계로 구성된다 ( 생성부터 소멸까지 데이터 엔지니어링을 설명하는 프레임워크다. ) 데이터 엔지니어링 수명주기는 5단계로 나뉜다. - 데이터 생성 - 데이터 저장 - 데이터 수집 - 데이터 변환 - 데이터 서빙 드러나지 않는요소들 : 보안, 데이터 관리, 데이터.. 2023. 11. 12. [경험] 다시 만드는 환경 구축 .. 기존 환경의 경우, WSL 을 기반으로 프로젝트를 진행하였다. WSL 을 사용하게 된 계기는, 우분투 환경에서 프로젝트를 진행하고 싶었기 때문이다. WSL을 하면서 몇가지 수행 착오들이 많았다. 예를들면, 1) WSL 연결이 될때 ip 가 변경이 되는 이슈 --> WSL에 고정 IP를 설정하는 방법을 찾아서 해결 2) Local PC WSL 간 통신이슈 --> 별도의 로직이 필요. (ssh 통신) 3) Grafana 설치시 일부 명령어가 안되는이슈 --> 해결못함.. ㅠㅠ 등등.. 여러가지 이슈들이 있었고 프로젝트를 진행하는데에 있어서 여러 불편함이 WSL에 관한 것인지 아니면 그 tool 혹은 program 때문인지 따라가는데 어려움이 있었다. 또한, 클러스터 구성을 위해 여러개의 서버가 필요한데 클라.. 2023. 10. 3. 이전 1 2 3 4 5 ··· 31 다음 반응형
