실무 프로젝트로 배우는 빅데이터 기술 을 읽고 좀 더 실무 환경에 가깝게 실습해 볼 수 있는 방법에 대해 적어 보았습니다. 빅데이터 기술에 관심이 있다면 실무 프로젝트로 배우는 빅데이터 기술 을 읽어보시길 꼭 추천 드립니다 ^^ 01. Google Cloud Platform으로 작업 환경 구성 node 로 사용할 VM 생성하기 Google Cloud Platform 사용하기 Cloudera Manager 설치 Cloudera Manager 설치 Cloudera Manager 설치 스크립트 Local PC에서 각 노드에 접속하기 위한 host 파일 설정 (Mac OS 기준) # 각 노드(VM) IP 설정 $> sudo vi /private/etc/hosts ... 35.xxx.xxx.59 node1 35...
IP만 달려있는 Linux 서버(CentOS 6.7)들이 있을 때, Cloudera 설치를 쉽게 할 수 있는 스크립트를 만들어 보았습니다 ^^ IP만 있는 CentOS 서버 만들기 VirtualBox와 Vagrant 조합으로 4대의 가상머신을 생성 (메모리 여유가 된다면 가상머신을 더 만들어도 됨) node1 에 cloudera-manager-server와 cloudera manager용 db(mysql)가 설치될 예정Vagrant.configure("2") do |config| # Define base image config.vm.box = "bento/centos-6.7" # Manage /etc/hosts on host and VMs config.hostmanager.enabled = false c..
Vagrant 란?Vagrant is a tool for building and managing virtual machine environments in a single workflow. With an easy-to-use workflow and focus on automation, Vagrant lowers development environment setup time, increases production parity, and makes the "works on my machine" excuse a relic of the past.단일 workflow에서 가상머신 환경들을 만들고 관리하는 Tool사용하기 쉬운 workflow와 자동화에 초점을 맞췄고, 개발 환경 셋팅 시간을 줄여줌Vagrant 설치아..
Cloudera Manager 설치
Vagrant를 활용하여 Cloudera Manager 설치하기 를 참고해서 설치하는 것을 권장 드립니다 ^^ Cloudera Manager란? Automated deployment and configuration. The fastest way to get up and running with Hadoop and Cloudera Enterprise. Hadoop 및 Hadoop Eco System을 직접 설치할 수도 있지만 Cluster상의 수많은 머신에 일일이 설치하고 환경 구성을 하려면 매우 복잡한 일이 될 수 있기 때문에 이런 작업을 편하게 해주는 도구라고 생각하면 될 듯 하다. Cluster환경에서 CDH 설치 (with. Virtual Box) Cloudera Manager를 설치하는 방법은 크게..
Hadoop 정리
Hadoop이란? The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to det..