일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- selenium
- PYTHON
- 불확실성
- R
- 리눅스
- 우분투
- 파이썬
- 데이터분석
- AI
- 논문리뷰
- YarinGal
- Graph
- 코딩테스트
- DATA
- 텍스트분석
- 크롤링
- 강화학습
- 알고리즘
- pandas
- 빅데이터
- 백준
- 베이지안
- bayesian
- Crawling
- 텍스트마이닝
- GNN
- uncertainty
- dropout
- pytorch
- VAE
- Today
- Total
끄적거림
[GCP] 데이터 엔지니어링 - 01.프로젝트(project) 만들기 본문
GCP(Google Cloud Platform)에서는 여러가지 서비스를 제공한다.
그 중 가장 많이 사용하는 것은 클라우드 형태의 DB이다.
기존의 아마존(AWS)이 사실 가장 대표적이고 강력한 클라우드 서비스르 제공하지만 그럼에도 불구하고 GCP를 사용하는 것은 아마도 접근하기 쉽다는 것에 있다.
본 글은 GCP 안에 있는 서비스 중 다음과 같은 순서로 데이터 엔지니어링(여기서 말하는 데이터 엔지니어링은 storage를 만들고 api로 자동으로 storage에 적재한 다음, 이 작업을 스케쥴링하여 자동으로 쌓일 수 있는 과정을 의미한다.)을 작업하려 한다.
01. 프로젝트(project) 만들기
02. 버킷 만들기
03. 스케쥴링 만들기
04. 스토리지(Storage) 만들어 API와 연동하기
05. BigQuery로 연동하여 데이터 추출하기
GCP를 이용하기 위해선 당연히 구글 계정이 있어야 한다. 구글 계정 생성은 skip~
1. GCP 접속
구글 계정을 만들고, 아래의 URL로 접속하고, "Console로 이동" 버튼을 클릭하여 접속한다.
GCP URL : https://cloud.google.com/
접속하면 그림과 같은 GCP 홈페이지가 뜨는데, 사실 여기 있는 모든 서비스는 유료라고 볼 수 있다.
하지만 google에서는 첫 1년간 $300 정도 되는 credit을 주기 때문에 그 비용 안에서 마음껏 사용할 수 있다.
다행히 1년이 지나도 자동 결제가 이루어지지 않는다.
(반면 AWS도 1년은 무료로 지원해주지만 그 이후엔 자동 결제가 되어 요금 폭탄을 맞는 경우가 빈번하다.. 조심하자..)
2. 프로젝트 생성
1번의 사진에서 빨간색 표시를 클릭하면 아래와 같은 창이 뜨고, "새 프로젝트" 버튼을 눌러준다.
프로젝트 이름을 적어준다.
위의 주의 표시는 한 계정당 프로젝트 생성량이 25개까지 제한되기 때문이다.
나는 이미 기존에 3개의 프로젝트를 연습삼아 만들었다가 삭제했다.
"위치" 같은 경우는 회사 전체가 Gsuit를 사용할 경우로 알고있다. 회사가 Gsuit를 갖고 그 하위 구조로 직원이 속해 있을 경우 따로 설정해두면 좋아보인다.
그리고 만들기를 클릭하면 아래와 같은 사진이 나온다.
여기까지가 프로젝트 만들기였다.
'Google' 카테고리의 다른 글
[GCP] 파이썬에서 빅쿼리 사용하기 Bigquery in python (0) | 2020.06.22 |
---|---|
[GCP] 데이터 엔지니어링 - 03.스케쥴링 만들기 (3) | 2020.03.01 |
[GCP] 데이터 엔지니어링 - 02.버킷(Bucket) 만들기 (0) | 2020.02.27 |