IT&코딩 (152) 썸네일형 리스트형 구글 클라우드 플랫폼(GCP) 버킷 구글 클라우드 플랫폼의 버킷과 Fuction은 기본적으로 AWS에서 제공하는 S3 Bucket, Lambda 와 동일하다고 볼 수 있다. 계정 생성 및 크레딧이 존재해야 한다.처음 가입할 때 특정 기간 무료로 사용할 수 있다. ■ 버킷 생성 - 상단의 콘솔 버튼 클릭 - 좌측 메뉴에서 Cloud Storage -> 버킷 클릭 - 상단 만들기 버튼 클릭 - 버킷의 이름은 고유해야 한다. 타인이 쓰고 있는 버킷 이름은 사용할 수 없다. 이름을 작성한 후 계속 버튼을 클릭하면 추가 설정을 진행할 수 있다. - 데이터 저장 위치 선택 -> 위치 유형은 [Reogion], asia-northeast3 (서울) 이후 나머지는 기본값을 선택했다. - 만들기 버튼을 클릭한다. - 버킷 생성 후에는 폴더를 만들.. S3 bucket에 파일 업로드 테스트하기 1. requirements.txt에 boto3 추가 및 설치 boto3 == 1.34.34pip3 install -r requirements.txt 2. Django에 아래와 같은 python 코드와 png 파일을 추가 import osimport calendarimport timeimport boto3data_file = "test.png" # 업로드하려는 디렉터리 경로filename = "test.png"s3_path = ""# s3 정보ACCESS_KEY_ID = "키 ID"ACCESS_SECRET_KEY = "시크릿 키"BUCKET_NAME = "버킷 이름"s3_client = boto3.client( "s3", aws_access_key_id=ACCESS_KEY_ID, aws.. 가상환경 설치 (venv) Django 프로젝트를 위해서는 가상환경을 설치해줘야 한다.명령어는 다음과 같다. 1. 가상환경을 만들 파일 디렉토리로 이동 2. 가상환경 만들기 $ python3 -m venv ./{your venv name} 3. 가상환경 활성화 $ source {your venv name}/bin/activate Git 간단 사용 요약 (Django) 특정 프로젝트의 소스를 가져오려고 할 때gitlab에서 해당 프로젝트를 찾아서 들어간다. 0) init git init 그리고 특정 프로젝트의 브랜치를 확인한다 (main / master) 로컬에서 터미널로 프로젝트를 clone하고 싶은 폴더로 이동한 후 다음과 같은 명령어를 사용한다. 1) 클론 git clone -b master master 브랜치에 있는 소스코드를 clone할 수 있다. 1-1) 원격저장소 등록 git remote add origin 참고: origin도 다른 이름으로 사용 가능. 로컬에서는 기본적으로 원격 브랜치와 동일한 이름의 로컬 브랜치가 존재.브랜치 목록을 보고 싶다면 2) 브랜치 목록보기 git branch 3) 새 브랜치 만들기 git branch (브랜치명) 4) 브.. 빅데이터 - 5 (R 실습) ■ 실습 console 창에 iris 입력 - R은 데이터를 이미 가지고 있는 게 있다. str(iris) : 요약정보를 알려줌 ls() : 변수목록 > ls() character(0) > x y print(x) [1] 3 > print(y) [1] 7 > z = 100 > ls() [1] "x" "y" "z" x HTML 삽입 미리보기할 수 없는 소스 1+10 # [1] 11 (34-23+78*23)/5 # [1] 361 # 자바처럼 몫, 나머지 구해보자 10%/%3 # [1] 3 몫 10%%3 # [1] 1 나머지 3**5 # [1] 243 제곱 sqrt(2) # [1] 1.414214 루트 # random number 0-1 사이이 값 10개 runif(10)# random number 0-1 사이.. 빅데이터 - 4 (R 설치) ■ 설치 □ R 설치 구글에서 R 홈페이지 검색 https://www.r-project.org/ 클릭 보이는 CRAN Mirrors 페이지에서 아래로 내려가 KOREA를 찾고 임의dml url 클릭 # Download R for Windows 클릭하고 보이는 install R for the first time을 클릭한 후 Download R-4.x.x for Windows을 클릭하여 다운로드 # 다운받은 파일 설치(다음. 다음으로 완료)하면 바탕화면에 바로가기 생성 RGui console은 단순한 코드 입력하고 결과 보고자 하는 경우 사용 □ RStudio 설치 대화식 R로 코드를 저장 https://posit.co/download/rstudio-desktop/#download Posit The best.. 빅데이터 - 3 (하둡을 이용한 워드카운팅) ■ 워드카운팅 su - hadoop [hadoop@localhost ~]$ cd $HADOOP_HOME/etc/hadoop [hadoop@localhost hadoop]$ ls -al [hadoop@localhost hadoop]$ mapred-site.xml vi로 다음과 같은 코드를 추가한다 vi ./mapred-site.xml yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME} 다른 xml들은 확인만 이제 [hadoop@localhost hadoop]$ c.. 빅데이터 - 2 (하둡 & winscp) ■ 하둡 □ 하둡이란? - 빅데이터의 실질적인 시작이 Hadoop (High Availability Distributed Object-Oriented Platform) - 자바기반 sw framework - 오픈소스 - 대용량의 데이터를 낮은 비용을 들여 정형, 반정형, 비정형 데이터 등으로부터 정보를 추출 - 하나의 smart한 서버보다는 몇십대 이상의 plain 서버(GFS, HDPS) + 병렬처리 - 확장성 : 용량 필요시 추가로 서버를 연결하면 됨 □ 왜 하둡인가? - 2008년 뉴욕타임즈 100년도 넘는 분량의 신문기사(1000만 이상의 페이지)를 하둡을 이용해 하루만에 PDF로 변환 - 200만원 정도의 비용. 만일 일반 서버로 하면 10년 이상이 요구됨 # 국내외 하둡 사용 - 아마존, 이베.. 이전 1 2 3 4 ··· 19 다음
