목록전체 글 (154)

끄적거림

(수정중)Colab 시작하기 feat. Google Drive 마운트

코랩은 학생분들이나 직장인분들이 다루기 좋은 아이다. 웹기반의 코드 작업 환경이며, 대학생분들은 goorm과 같은 IDE라고 보면 되겠다. 인터넷만 연결된다면 어디서든 접속하여 나의 작업을 진행할 수 있다. 당연히 저장도 자동 저장이 되기 때문에 코딩을 하기 매우 좋은 환경이며, jupyter notebook과 거의 유사한 플랫폼이라 볼 수 있다. 더불어서 거의 모든 세팅이 되어있다. 가령 pytorch, anaconda, tensorflow 등과 같은 프레임워크들이 다 준비가 되어 있다. 가장 좋은 장점은 GPU, TPU 코딩이 가능하다는 것과 구글 드라이브, 깃헙 등과 같은 어플리케이션과 연동이 된다는 점이다. 구글의 좋은 하드웨어를 무료로 사용할 수 있다니 매우 좋은 IDE라 볼 수 있다. 너무 좋..
Python 2020. 12. 14. 23:16
(수정중)[pytorch] 나만의 이미지 데이터 로딩 in Colab

[데이터셋] PHD08 한글 손글씨 이미지 데이터 [데이터셋] PHD08 한글 손글씨 이미지 데이터 딥러닝, 특히 CNN에서 가장 먼저 접하는 데이터셋이 바로 MNIST일거라 생각된다. MNIST는 0~9까지의 숫자에 대한 손글씨 이미지 데이터이다. 해외에서 공인된 데이터인만큼 데이터를 얻기도 매우 수 signing.tistory.com 예전 포스팅으로 한글 손글씨 이미지 데이터인 PHD08 데이터 셋에 대한 소개를 한 적이 있다. 이 데이터 셋을 가지고 이제 대학원 과제로 하게된 한글 손글씨 인식 모델링을 진행하고자 한다. 일단 전의 포스팅을 참고하여 데이터셋을 준비해야한다. 시간이 매우 오래 걸리니 원하는 파일만 가져다가 데이터를 준비하길 바란다. 그 다음으로 데이터를 가지고 모델링을 해야하는데 내 ..
Python/pytorch 2020. 12. 13. 16:42
data.table 패키지 유용하게 사용하기 2편

data.table 패키지 유용하게 사용하기 1편 data.table 패키지 유용하게 사용하기 1편 나는 원래 R 사용자였으며, 나름 학부시절 잘하는 쪽에 속한다고 생각했다. 그것이 가능했던 것이 data.table 패키지를 어느정도 잘 사용하고 나서부터라고 생각한다. 그동안 내가 알고 있던 꿀팁 signing.tistory.com 지난 번 포스팅 이후로 오랜만에 data.table package에 대해 남은 얘기를 해보도록 하겠다. 3. Channing data.table 패키지는 chaining을 지원한다. 여기서 chaining이란 전 포스팅에서 봤던 조건, 연산, 그루핑 등을 연쇄적으로 붙여서 사용할 수 있음을 의미한다. iris[Species == 'setosa'][Sepal.Width > 3]..
R쓸신잡 2020. 12. 8. 16:25
[문자열 다루기] 긴 공백을 하나의 공백으로 바꾸기 in python

[문자열 다루기] 문자(한글, 영문)와 숫자만 남기고 특수문자 제거하기 in python
Python/Data Handling 2020. 12. 7. 15:57
[Naver News Crawling] 네이버 뉴스 기사와 댓글 크롤링 in python(feat.selenium)

[API] Naver 뉴스 API로 데이터 받아오기 in python [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 1(feat. selenium) 최근 크롤링 관련하여 이것저것 진행하다보니 모든 플랫폼에 대해서 크롤링을 진행하는 듯하다. 이번에는 네이버 뉴스 기사 원문과 그에 달린 댓글을 가져오려 한다. 이번 포스팅은 사실 네이버 뉴스를 API로 받아온 결과를 바탕으로 수집할 예정이다. 그러니 위의 포스팅을 한 번씩 읽어보고 오면 좋을 듯하다. 위의 포스팅의 결과로 다음과 같은 결과물을 얻었다. 보면 다음과 같은 항목들을 얻을 수 있다. title : 기사의 제목 originallink : 기사의 원문의 링킁(신문사에서 온라인으로 발간한 신문사의 뉴스 링크) link : 해당 기사..
Python/Crawling 2020. 11. 30. 17:22
[API] Naver 뉴스 API로 데이터 받아오기 in python

[API]네이버데이터랩 api로 데이터 가져오기 in Python [API]네이버데이터랩 api로 데이터 가져오기2 in Python 오랜만에 네이버 API 관련한 업무를 하다가 새로운 API 하게 되어 글을 쓰게 되었다. 먼저, 네이버의 API로 데이터를 받아오기 전 알아야할 주의사항이 있다. 검색 API를 사용 검색 결과로부터 최대 1000개까지의 결과만 가져옴 뉴스기사의 본문을 전부 가져오지는 못함. 대략 초입 3줄 정도? 일 최대 25,000번의 호출 가능 한 번 API 호출시 최대 100개의 결과값 수집 가능 최대로 수집해봤자 일부 중복되는 결과 발생 위의 주의사항을 먼저 알고 데이터를 수집하면 목적에 맞게 활용할 수 있을 것으로 생각한다. 1. API 신청하기 가장 먼저 할 것은 API를 신청..
Python/Crawling 2020. 11. 27. 17:29
Prev 1 ··· 11 12 13 14 15 16 17 ··· 26 Next