전체 글 (28) 썸네일형 리스트형 운영체제 종류, 입출력 방법 운영체제 종류 1. 일괄처리 시스템:모아두었다가 한꺼번에 처리 2. 다중 프로그래밍:하나의 CPU에 다중 작업(multi-job) 처리 3. 시분할 프로그래밍:CPU에 일정 시간 할당하여 처리. Round-Robin 방식이 대표적. 4. 다중처리 시스템:여러 개의 CPU에 다중 작업(multi-job) 처리 5. 실시간 시스템:자료 발생할 때마다 즉시 처리 6. 분산 시스템:분산된 미니 컴퓨터에 통신망 연결하여 상호간 통신, 처리 입출력 방식 버퍼링스풀링위치주기억장치디스크구현HWSW작업 형태한 작업에 대해 입출력 및 계산 중복 작업여러 작업에 대해 입출력 및 계산 중복 작업 입출력스택 or 큐큐사용자단일다중공통점임시 기억 장치, 입출력 장치와 CPU 간의 속도 차이 개선 Sqoop sqoop을 이용하여 DB와 HDFS 사이 데이터 이동 실습 1. Sqoop 설치 Mirror Site에서 bigpi1으로 설치하면 된다. sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 으로 다운 받으면 된다. $ wget http://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz Sqoop 설치 파일 압축 해제 및 설정 $ sudo tar –xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz –C /opt/ $ rm sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz $ cd /opt $ sudo mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop.. Apache Flume Flume -NG * Event : flume에서 전달하는 데이터 단위 * Source - 웹 서버 같은 외부 소스에 의해 전달되는 이벤트 수집 - 외부 소스는 Flume이 인식하는 형태로 이벤트를 전달 * Channel - 소스가 이벤트를 수신하면 채널에 임시 저장 - 채널은 싱크가 이벤트를 다른 목적지로 전달할 때까지 파일이나 메모리 등에 이벤트를 보관 * Sink - 채널에 저장된 이벤트를 외부 저장소, 다른 flume agent로 전달 - 소스와 싱크는 비동기적으로 진행 Flume workflow 1. Config - Fulme 작업 파일을 읽고 channel, source, sink를 설정함 - 내부적으로 30초마다 Configuration 파일 로드함. Flume 재시작하지 않아도 workfl.. [Django] 3 - 11. views.py 파일 분리 이전포스트 [Django] 1. 개발 환경 설정 https://wroni.tistory.com/4 [Django] 2 - 1. URL과 View https://wroni.tistory.com/5 [Django] 2 - 2. 모델 https://wroni.tistory.com/6 [Django] 2 - 3. 장고 관리자 https://wroni.tistory.com/7 [Django] 2 - 4. 조회와 템플릿 https://wroni.tistory.com/8 [Django] 2 - 5. URL과 네임스페이스, 2 - 6. 데이터 저장 https://wroni.tistory.com/9 [Django] 2 - 7. 스태틱 https://wroni.tistory.com/10 [Django] 2 - 8. 부트스.. HDFS Cluster 설정 1. Hadoop 파일 복사 디렉터리 구성 cluster 구성 위해 master 뿐 아니라 worker node에 hadoop 파일 복사 및 설정 필요 - master : bigpi1 - worker node : bigpi2, bigpi3, bigpi4 clutser 내의 다른 서버에 관련 디렉터리 생성 및 권한 설정 $ cluster_run sudo mkdir –p /opt/hadoop_tmp/hdfs $ cluster_run sudo chown pi:pi –R /opt/hadoop_tmp $ cluster_run sudo mkdir –p /opt/hadoop $ cluster_run sudo chown pi:pi –R /opt/hadoop bigpi1에서 /opt/hadoop 내의 모든 파일들을 다른.. Single Node 설정 1. hadoop 설치 Mirror Site에서 bigpi1으로 설치 파일 다운 받으면 된다. 버전은 3.2.2로 하였고, 파일은 맨 마지막 hadoop-3.2.2.tar.gz로 하면 된다. $ wget http://mirror.navercorp.com/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz Hadoop 설치 파일 압축 해제 및 설정 $ sudo tar -xvf hadoop-3.2.2.tar.gz -C /opt/ $ rm hadoop-3.2.2.tar.gz $ cd /opt $ sudo mv hadoop-3.2.2 hadoop $ sudo chwon pi:pi -R /opt/hadoop ~/.bashrc 파일에 환경변수 추가 $ cd ~ $ nan.. Cluster 설정 1. SSH 구성 기본적인 SSH 연결 bigpi1 에서 bigpi2 으로 연결하려면 초기에 설정한 비밀번호 bigdata 필요 $ ssh 10.0.2.101 bigpi1 -> bigpi2 로 연결 Cluster 내에서 여러 서버에 자주 접속할 것이므로 SSH의 alias를 지정하고, 서버 간 공개키를 사용해서 비밀번호 없이 접속이 가능하도록 설정 SSH 연결 간편화 1 cluster에 있는 모든 서버에서 SSH alias 설정 $ nano ~/.ssh/config Host bigpi1 User pi Hostname 10.0.2.100 Host bigpi2 User pi Hostname 10.0.2.101 Host bigpi3 User pi Hostname 10.0.2.102 Host bigpi4 Use.. 가상환경 설치(virtual hadoop cluster 구성) 1. virtualbox와 extension pack 설치 https://www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By downloading, you agree to the terms and conditions of the respective license. If you're looking for the latest VirtualBox 6.0 packages, see Virt www.virtualbox.org virtualbox를 다운.. 이전 1 2 3 4 다음
