끄적거림

실무에서 데이터분석을 하다보면 필요한 데이터를 DB에서 수시로 내려받아야할 순간이 온다. 하지만 언제까지 DB 툴에서 Excel로 내려 받을 수는 없으니 DB와 직접 연결하여 R 자체에서 데이터를 불러와보자. 본 코드와 내용은 Oracle 기준이고 Oracle DB와 연동할 수 있는 방법은 총 3가지(패키지)가 있다. 1) RJDBC 2) RODBC 3) ROracle 대망의 마지막 ROracle package!! ROracle의 경우 해당 document는 아래 url로 확인하면 된다. ROracle document: https://cran.r-project.org/web/packages/ROracle/ROracle.pdf ROracle은 설치가 굉장히 힘들고 그 과정에서 에러도 많이 발생하는 것으로 ..

실무에서 데이터분석을 하다보면 필요한 데이터를 DB에서 수시로 내려받아야할 순간이 온다. 하지만 언제까지 DB 툴에서 Excel로 내려 받을 수는 없으니 DB와 직접 연결하여 R 자체에서 데이터를 불러와보자. 본 코드와 내용은 Oracle 기준이고 Oracle DB와 연동할 수 있는 방법은 총 3가지(패키지)가 있다. 1) RJDBC 2) RODBC 3) ROracle 1. Setting DB 당연하겠지만 DB가 설치가 잘 되어있어야한다. ODBC를 이용한 DB 연결은 별다른 코딩이 없기 때문에 DB와 ODBC 설정이 잘 되어 있어야한다. 2. Install package RODBC와 DBI 패키지를 인스톨하고 임포트한다. install.packages(c("DBI", "RODBC")) library(D..

실무에서 데이터분석을 하다보면 필요한 데이터를 DB에서 수시로 내려받아야할 순간이 온다. 하지만 언제까지 DB 툴에서 Excel로 내려 받을 수는 없으니 DB와 직접 연결하여 R 자체에서 데이터를 불러와보자. 본 코드와 내용은 Oracle 기준이고 Oracle DB와 연동할 수 있는 방법은 총 3가지(패키지)가 있다. 1) RJDBC 2) RODBC 3) ROracle 1. install and download java 가장 먼저 해야할 일은 Java를 설치하는 것이다. 아마 대부분 설치가 되어있겠지만, 자바를 잘 설치하고 환경변수에 자바의 위치를 잘 설정해야지 DB와의 연동이 가능하다. 2. Set Environment variable 위에서 말했던 것처럼 환경변수를 세팅해줘야하는데 이때는 R에서 직접..

최근 공부하다 한가지 꿀팁을 알게되어 공유하고자한다. 주피터 노트북(이하 노트북)을 사용하다보면, 굉장히 오래 걸리는 코드들이 있다. 그러면 현재 진행상황이 어느정도고 얼마나 더 걸리는지 따로 print를 하지 않는 이상 알기 힘들다. 이럴 때, 가시적으로 현재 진행 상황을 나타내주는 좋은 모듈이 있다. 바로, tqdm 이라는 패키지다. !pip install tqdm from tqdm import trange, notebook # show progress-bar 노트북에서 위의 코드를 실행시켜 tqdm 패키지를 인스톨한다. 아래의 코드는 네이버 주식 데이터를 크롤링하는 일부의 코드다. 여기서 포인트는 for loop를 돌때 그냥 range 대신에 notebook.tqdm(range()) 를 사용하는 것..

XML은 가장 잘 알려진 markup 형식의 데이터이다. 데이터를 구분하기 위해 tag라는 개념을 사용하는데 이는 html과 비슷하다고 생각하면 된다. 1. XML 접근 아래 간단한 xml 파일을 하나 가져왔다. 샘플 xml데이터를 보면서 그 특징을 알아보자. 만약 큰 xml 파일(예를 들어 GB단위의 큰 데이터)을 찾아봐야할 경우가 생기면 이 사이트에서 gvim 프로그램을 다운 받아 사용해보자. 시간이 다소 걸리긴 하지만 그래도 다른 에디터에 비해 빠른 편이고 유용한 편이다. 인코딩 문제가 있다면, 프로그램을 실행시키고 :set encoding=utf8 1 2008 141100 4 2011 59900 68 2011 13600 일반적으로 , 와 같은 테그를 시작(start), 끝(end) 테그라고 하며 ..

문제는 다음과 같다. 들어가서 확인해보시길.. 문제 : 백준 1463번 1463번: 1로 만들기 첫째 줄에 1보다 크거나 같고, 106보다 작거나 같은 정수 N이 주어진다. www.acmicpc.net 알고리즘 중에서 DP, Dynamic Program를 사용하는 문제이다. DP는 DC(Divied and Conquer)와 어찌보면 비슷하지만 확연한 차이가 있다. DP의 핵심은 문제를 세부 문제로 쪼개고 그 세부 문제들을 기억하고 있다는 점이다. 세부 문제로 쪼갠다는 것은 세분 문제들을 반복적으로 이용한다는 점에서 재귀 혹은 반복문이 사용된다는 점을 미리 인식하고 있어야한다. 또한, 기억한다는 것은 메모리 할당량이 그만큼 높아진다는 것을 의미하기 때문에 메모리 관리도 신경써야하는 부분이다. 이를 유념하지..