HDFS (6) 썸네일형 리스트형 Sqoop sqoop을 이용하여 DB와 HDFS 사이 데이터 이동 실습 1. Sqoop 설치 Mirror Site에서 bigpi1으로 설치하면 된다. sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 으로 다운 받으면 된다. $ wget http://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz Sqoop 설치 파일 압축 해제 및 설정 $ sudo tar –xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz –C /opt/ $ rm sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz $ cd /opt $ sudo mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop.. Apache Flume Flume -NG * Event : flume에서 전달하는 데이터 단위 * Source - 웹 서버 같은 외부 소스에 의해 전달되는 이벤트 수집 - 외부 소스는 Flume이 인식하는 형태로 이벤트를 전달 * Channel - 소스가 이벤트를 수신하면 채널에 임시 저장 - 채널은 싱크가 이벤트를 다른 목적지로 전달할 때까지 파일이나 메모리 등에 이벤트를 보관 * Sink - 채널에 저장된 이벤트를 외부 저장소, 다른 flume agent로 전달 - 소스와 싱크는 비동기적으로 진행 Flume workflow 1. Config - Fulme 작업 파일을 읽고 channel, source, sink를 설정함 - 내부적으로 30초마다 Configuration 파일 로드함. Flume 재시작하지 않아도 workfl.. HDFS Cluster 설정 1. Hadoop 파일 복사 디렉터리 구성 cluster 구성 위해 master 뿐 아니라 worker node에 hadoop 파일 복사 및 설정 필요 - master : bigpi1 - worker node : bigpi2, bigpi3, bigpi4 clutser 내의 다른 서버에 관련 디렉터리 생성 및 권한 설정 $ cluster_run sudo mkdir –p /opt/hadoop_tmp/hdfs $ cluster_run sudo chown pi:pi –R /opt/hadoop_tmp $ cluster_run sudo mkdir –p /opt/hadoop $ cluster_run sudo chown pi:pi –R /opt/hadoop bigpi1에서 /opt/hadoop 내의 모든 파일들을 다른.. Single Node 설정 1. hadoop 설치 Mirror Site에서 bigpi1으로 설치 파일 다운 받으면 된다. 버전은 3.2.2로 하였고, 파일은 맨 마지막 hadoop-3.2.2.tar.gz로 하면 된다. $ wget http://mirror.navercorp.com/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz Hadoop 설치 파일 압축 해제 및 설정 $ sudo tar -xvf hadoop-3.2.2.tar.gz -C /opt/ $ rm hadoop-3.2.2.tar.gz $ cd /opt $ sudo mv hadoop-3.2.2 hadoop $ sudo chwon pi:pi -R /opt/hadoop ~/.bashrc 파일에 환경변수 추가 $ cd ~ $ nan.. Cluster 설정 1. SSH 구성 기본적인 SSH 연결 bigpi1 에서 bigpi2 으로 연결하려면 초기에 설정한 비밀번호 bigdata 필요 $ ssh 10.0.2.101 bigpi1 -> bigpi2 로 연결 Cluster 내에서 여러 서버에 자주 접속할 것이므로 SSH의 alias를 지정하고, 서버 간 공개키를 사용해서 비밀번호 없이 접속이 가능하도록 설정 SSH 연결 간편화 1 cluster에 있는 모든 서버에서 SSH alias 설정 $ nano ~/.ssh/config Host bigpi1 User pi Hostname 10.0.2.100 Host bigpi2 User pi Hostname 10.0.2.101 Host bigpi3 User pi Hostname 10.0.2.102 Host bigpi4 Use.. 가상환경 설치(virtual hadoop cluster 구성) 1. virtualbox와 extension pack 설치 https://www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By downloading, you agree to the terms and conditions of the respective license. If you're looking for the latest VirtualBox 6.0 packages, see Virt www.virtualbox.org virtualbox를 다운.. 이전 1 다음
