반응형 storm2 [클라우데라 프로젝트] storm 설정 (error) strom 을 설정을 할때는 "storm.yaml" 파일을 설정해줘야 한다. storm의 host와 seeds, ui 포트 등 을 설정을 해서 storm의 연결정보를 설정/확인 할 수 있다. 하지만 나는 연결이 되지 않았다. 예전에는 검색해도 안나왔는데, 검색 방법이 잘못되었는지 storm 설정 만 검색해도 많이 나왔다. (검색) 현재 나온 에러는 "No nimbus leader participant host found, have you started your nimbus hosts? " 이고 storm.2.x 부터는 nimbus.host를 설정하지 않는것으로 보인다. 한 블로그에서 nimbus.host를 설정을 해보았더니 BlobStoreUtils timer [ERROR] Could not downlo.. 2020. 12. 17. [클라우데라 프로젝트] storm 설치(1) 책 : 실무로 배우는 빅데이터 기술 책을 따라하면서 데이터 플로우의 흐름과 동작을 이해하고 있다. 오늘은 storm 설치를 하였다. 사실 storm 서비스를 훨씬 이전에 설치했지만, zookeeper에서 storm과 연결이 안되고 hbase와도 연결이 되지 않아서 삭제 후 다시 설치를 하였다. 1.2.3 버전을 사용한다. 2.x 버전을 사용하고 싶지만 우선 동작하는 것을 먼저 보자는 취지에서 버전을 낮췄다. 그리고 내가 삭제를 한 이유는 storm을 동작시키고 나면 이전의 storm에 대한 로그/기타 내가 모르는 기록 때문에 버전 전환이 제대로 이뤄지지 않은것으로 보여졌다. (1.x 사용 -> 2.x -> 에러 -> 1.x 다시 설치) 빅데이터 관련 프로젝트를 뛰고 싶지만 자리가 없으니 혼자서라도 해봐야.. 2020. 12. 14. 이전 1 다음 반응형
