반응형
250x250
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- 강화학습
- dropout
- R
- uncertainty
- DATA
- 알고리즘
- 리눅스
- pandas
- VAE
- 빅데이터
- YarinGal
- 베이지안
- bayesian
- selenium
- 텍스트분석
- Graph
- AI
- 파이썬
- 논문리뷰
- Crawling
- 데이터분석
- pytorch
- PYTHON
- 코딩테스트
- GNN
- 불확실성
- 크롤링
- 백준
- 텍스트마이닝
- 우분투
Archives
- Today
- Total
끄적거림
[GCP] 데이터 엔지니어링 - 03.스케쥴링 만들기 본문
728x90
반응형
GCP(Google Cloud Platform)에서는 여러가지 서비스를 제공한다.
그 중 가장 많이 사용하는 것은 클라우드 형태의 DB이다.
기존의 아마존(AWS)이 사실 가장 대표적이고 강력한 클라우드 서비스르 제공하지만 그럼에도 불구하고 GCP를 사용하는 것은 아마도 접근하기 쉽다는 것에 있다.
본 글은 GCP 안에 있는 서비스 중 다음과 같은 순서로 데이터 엔지니어링(여기서 말하는 데이터 엔지니어링은 storage를 만들고 api로 자동으로 storage에 적재한 다음, 이 작업을 스케쥴링하여 자동으로 쌓일 수 있는 과정을 의미한다.)을 작업하려 한다.
01. 프로젝트(project) 만들기 - 2020/02/26 - [Google] - [GCP] 데이터 엔지니어링 - 01.프로젝트(project) 만들기
02. 버킷 만들기 - 2020/02/27 - [Google] - [GCP] 데이터 엔지니어링 - 02.버킷(Bucket) 만들기
03. 스케쥴링 만들기
04. 스토리지(Storage) 만들어 API와 연동하기
05. BigQuery로 연동하여 데이터 추출하기
GCP를 이용하기 위해선 당연히 구글 계정이 있어야 한다. 구글 계정 생성은 skip~
728x90
반응형
'Google' 카테고리의 다른 글
[GCP] 파이썬에서 빅쿼리 사용하기 Bigquery in python (0) | 2020.06.22 |
---|---|
[GCP] 데이터 엔지니어링 - 02.버킷(Bucket) 만들기 (0) | 2020.02.27 |
[GCP] 데이터 엔지니어링 - 01.프로젝트(project) 만들기 (0) | 2020.02.26 |
Comments