Sunnyside

spark streaming 환경 구축 spark 설치 심볼릭 링크 걸기 주피터 설치 .bash_profile에 정보 추가하기 사용할 패키지 의존성 주입하기 방화벽 끄기 ip에 해당 아이피 적어주기 포트 열기 실행 nohup pyspark & 으로 백그라운드 실행하기

해당 서비스를 만드는 것에 대해 전부 다 이해하고 넘어가는 방식이 아닌 일단 손으로 해본다. 그리고 그 다음에 하나하나씩 이해하는 방법으로 진행한다. 토픽이 뭔진 몰라도 뭐 어쩌란 건진 몰라도 일단 내 손으로 해본다.가 핵심이다. 1. 토픽 생성하기 무슨 이유인지는 모르겠는데 토픽을 생성하니 네트워크 설정이 빠져버렸다. 뭔지는 모르겠지만 일단 생성된 토픽을 확인하니 제대로 생성된 걸 확인 할 수 있다. 2. 컨슈머와 프로듀서를 먼저 실행하기 앞서 일단 이게 뭔지에 대해 설명을 더 붙이겠다. 맞는지 틀린지는 모르겠지만 일단 이런식으로 생각한다면 대충 뭔 말인지는 이해 할 수 있을 것 같다. 물론 무조건 정확하지 않다. 이제부터 터미널이 2개 필요하다. 프로듀서 터미널 컨슈머 터미널 PUTTY로 터미널을 2..

1. 서버 시작 Note : Your local envirenment must have Java *+ Installed. vm에 8 버전 이상의 자바가 설치되어 있어야 한다. 현재 설치되어 있지 않다. zetawiki.com/wiki/CentOS_JDK_%EC%84%A4%EC%B9%98 CentOS JDK 설치 - 제타위키 zetawiki.com 해당 링크를 따라 Java를 설치한다. yum으로 설치가능한 리스트를 검색하고 java-1.8.0-openjdk-devel.x86_64이 걸 더블 클릭하여 복사한다. putty는 저렇게 드래그 하는 것만으로도 복사가 가능하다. (붙여넣기는 우클릭) yum -y install java-1.8.0-openjdk-devel.x86_64 를 입력한다. -y 는 중간에 ..

1. 링크 열기 kafka.apache.org/quickstart Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 2. 패키지 다운로드하기 Download 클릭 Ctrl+c 설치 4. quick start 예제대로 시작 아래 명령어대로 입력 이대로면 설치 끝 이제부터는 서버를 켜는 방법 그리고 토픽에 대해 퀵스타트 따라가면서 알아보자.

1. putty로 실행 연결 2. 필요 패키지 다운로드 자주 사용하는 명령어이 net-tools 패키지를 다운로드 받기 위한 wget net-tools 설치 wget 다운로드 kafka 설치하기 아주 기초적인 것부터 할 거기 때문에 kafka에서 quickstart를 참고로 시작한다. kafka.apache.org/quickstart Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org

1. ovf 파일 찾기 2. Open a Virtual Machine 3. 설치 중.. 4. vm 시작 1. 로그인 2. 네트워크 확인 ip a 인터넷에서 여러가지 패키지를 받아야하므로 인터넷을 연결해야 한다. 3. 4. 네트워크 재시작 service network restart 5. 이제부터 사용하기 어려운 workstation 말고 복사 붙여넣기를 사용할 수 있는 putty 를 사용하자.