IT&코딩/국비지원 (40) 썸네일형 리스트형 빅데이터 - 5 (R 실습) ■ 실습 console 창에 iris 입력 - R은 데이터를 이미 가지고 있는 게 있다. str(iris) : 요약정보를 알려줌 ls() : 변수목록 > ls() character(0) > x y print(x) [1] 3 > print(y) [1] 7 > z = 100 > ls() [1] "x" "y" "z" x HTML 삽입 미리보기할 수 없는 소스 1+10 # [1] 11 (34-23+78*23)/5 # [1] 361 # 자바처럼 몫, 나머지 구해보자 10%/%3 # [1] 3 몫 10%%3 # [1] 1 나머지 3**5 # [1] 243 제곱 sqrt(2) # [1] 1.414214 루트 # random number 0-1 사이이 값 10개 runif(10)# random number 0-1 사이.. 빅데이터 - 4 (R 설치) ■ 설치 □ R 설치 구글에서 R 홈페이지 검색 https://www.r-project.org/ 클릭 보이는 CRAN Mirrors 페이지에서 아래로 내려가 KOREA를 찾고 임의dml url 클릭 # Download R for Windows 클릭하고 보이는 install R for the first time을 클릭한 후 Download R-4.x.x for Windows을 클릭하여 다운로드 # 다운받은 파일 설치(다음. 다음으로 완료)하면 바탕화면에 바로가기 생성 RGui console은 단순한 코드 입력하고 결과 보고자 하는 경우 사용 □ RStudio 설치 대화식 R로 코드를 저장 https://posit.co/download/rstudio-desktop/#download Posit The best.. 빅데이터 - 3 (하둡을 이용한 워드카운팅) ■ 워드카운팅 su - hadoop [hadoop@localhost ~]$ cd $HADOOP_HOME/etc/hadoop [hadoop@localhost hadoop]$ ls -al [hadoop@localhost hadoop]$ mapred-site.xml vi로 다음과 같은 코드를 추가한다 vi ./mapred-site.xml yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME} 다른 xml들은 확인만 이제 [hadoop@localhost hadoop]$ c.. 빅데이터 - 2 (하둡 & winscp) ■ 하둡 □ 하둡이란? - 빅데이터의 실질적인 시작이 Hadoop (High Availability Distributed Object-Oriented Platform) - 자바기반 sw framework - 오픈소스 - 대용량의 데이터를 낮은 비용을 들여 정형, 반정형, 비정형 데이터 등으로부터 정보를 추출 - 하나의 smart한 서버보다는 몇십대 이상의 plain 서버(GFS, HDPS) + 병렬처리 - 확장성 : 용량 필요시 추가로 서버를 연결하면 됨 □ 왜 하둡인가? - 2008년 뉴욕타임즈 100년도 넘는 분량의 신문기사(1000만 이상의 페이지)를 하둡을 이용해 하루만에 PDF로 변환 - 200만원 정도의 비용. 만일 일반 서버로 하면 10년 이상이 요구됨 # 국내외 하둡 사용 - 아마존, 이베.. 빅데이터 - 1 ■ 이론 □ 빅데이터 속성(특징) 3요소(3V) --> 5요소(5V) 3V는 by Gartner(미국의 it 자문회사) 정의됨 4,5V는 by IBM 1) Volume(크기) - 말 그대로 빅데이터 (이전 방식으로의 처리로는 안되는 데이터 양) - 지금은 전세계 data양이 zb 시대 - 확장 가능한 방식으로 데이터를 저장하고 분석하는 분산 컴퓨팅 기법으로 접근. # 바이트 크기 1byte = 8bit 1kb = 1024byte = 2^10byte 1mb = 1024kb = 2^20 1gb = 1024mb = 2^30 1tb(terabyte) = 1024gb = 2^40 1pb(petabyte) = 1024tb = 2^50 1eb(exabyte) = 1024pb =2^60 1zb(zetabyte) = 1.. 리눅스 - 4 (실습) ■ 실습 [root@localhost ondal]# cd /home/ondal/eebang [root@localhost eebang]# ls [root@localhost eebang]# touch aa.txt [root@localhost eebang]# vi aa.txt [root@localhost eebang]# cd .. [root@localhost ondal]# ls [root@localhost ondal]# cp -r eebang imsi 디렉토리 복사 # cp -r eebang imsi - eebang 안에 있는 모든 폴더 및 파일이 imsi 폴더가 생성되면서 복사된다. - 즉 -r 하위 디렉토리까지 모두 복사 # cp의 기본형은 -i 옵션 즉, cp -i - i는 overwrite 할지를 확인.. 리눅스 - 3 (tera term 사용) ■ tera term # open source ssh/telnet 터미널 접속 프로그램 # 윈도우 vs 리눅스 간 text 복사 붙여넣기 가능 (파일전송도 된다) ■ 설치 (teraterm - 4.106.exe) # https://osdn.net/projects/ttssh2/releases/로 가서 4.106.exe 다운 # 가동 후- accept - 경로 정하고 -next - korean 선택 - next - next - install - finish ■ tera term으로 리눅스 연결설정 및 접속하기 # tera term 실행 후 호스트 화면에 리눅스 ifconfig해서 나온 192.168.x.xxx 입력 - 확인 # 보안경고 뜨면 sha256 선택 및 계속 클릭 # 사용자 이름에 root, 암호에.. 리눅스 - 1 (centos, 설치) ■ centos-7 다운받기 https://www.centos.org/download/ 로 이동 7-2009 아래 x86_64 클릭 mirror에서 kaist 정도 클릭 (예) 만일 kaist를 활용해본다면 (ftp: file transfer protocol, 규약) http://ftp.kaist.ac.kr/CentOS/7.9.xxxxx/isos/x86_64 등을 클릭하여 CentOS-7x86_64-Minimal-2009.iso (이건 나중에 받음) or CentOS-7x86_64-DVD-2009.iso (2020-Nov) 등을 다운 ■ Virtualbox 다운받기 https://www.virtualbox.org/ 위의 url로 이동한 다음 왼쪽 메뉴에서 Downloads - VirtualBox olde.. 이전 1 2 3 4 5 다음
