끄적거림

[리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 1(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 2(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 3(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 4(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 5(feat. selenium) 안드로이드 Google Play Store에서 특정 앱에 달린 리뷰들을 크롤링하여 텍스트 분석을 하고자 한다. 일단 먼저 리뷰 데이터가 필요하므로 데이터 수집을 해야겠다. 찾아보니, 셀리니움(selenium)이라..

분석을 처음 임하기 전에 가장 먼저 설정하는 것이 바로 작업환경 설정이다. R은 다른 언어에 비해 작업환경 경로를 세팅하여 작업하는 활용도가 높다. 작업환경을 설정하는 방법에 대해 몇 가지 방법을 설명하겠다. 1. 하드코딩 가장 쉬운 방법이자 가장 위험한 방법이다. 코드와 같이 원하는 경로를 직접 입력하는 방법이다. path

실무에서 데이터분석을 하다보면 필요한 데이터를 DB에서 수시로 내려받아야할 순간이 온다. 하지만 언제까지 DB 툴에서 Excel로 내려 받을 수는 없으니 DB와 직접 연결하여 R 자체에서 데이터를 불러와보자. 본 코드와 내용은 Oracle 기준이고 Oracle DB와 연동할 수 있는 방법은 총 3가지(패키지)가 있다. 1) RJDBC 2) RODBC 3) ROracle 대망의 마지막 ROracle package!! ROracle의 경우 해당 document는 아래 url로 확인하면 된다. ROracle document: https://cran.r-project.org/web/packages/ROracle/ROracle.pdf ROracle은 설치가 굉장히 힘들고 그 과정에서 에러도 많이 발생하는 것으로 ..

실무에서 데이터분석을 하다보면 필요한 데이터를 DB에서 수시로 내려받아야할 순간이 온다. 하지만 언제까지 DB 툴에서 Excel로 내려 받을 수는 없으니 DB와 직접 연결하여 R 자체에서 데이터를 불러와보자. 본 코드와 내용은 Oracle 기준이고 Oracle DB와 연동할 수 있는 방법은 총 3가지(패키지)가 있다. 1) RJDBC 2) RODBC 3) ROracle 1. Setting DB 당연하겠지만 DB가 설치가 잘 되어있어야한다. ODBC를 이용한 DB 연결은 별다른 코딩이 없기 때문에 DB와 ODBC 설정이 잘 되어 있어야한다. 2. Install package RODBC와 DBI 패키지를 인스톨하고 임포트한다. install.packages(c("DBI", "RODBC")) library(D..

실무에서 데이터분석을 하다보면 필요한 데이터를 DB에서 수시로 내려받아야할 순간이 온다. 하지만 언제까지 DB 툴에서 Excel로 내려 받을 수는 없으니 DB와 직접 연결하여 R 자체에서 데이터를 불러와보자. 본 코드와 내용은 Oracle 기준이고 Oracle DB와 연동할 수 있는 방법은 총 3가지(패키지)가 있다. 1) RJDBC 2) RODBC 3) ROracle 1. install and download java 가장 먼저 해야할 일은 Java를 설치하는 것이다. 아마 대부분 설치가 되어있겠지만, 자바를 잘 설치하고 환경변수에 자바의 위치를 잘 설정해야지 DB와의 연동이 가능하다. 2. Set Environment variable 위에서 말했던 것처럼 환경변수를 세팅해줘야하는데 이때는 R에서 직접..

XML은 가장 잘 알려진 markup 형식의 데이터이다. 데이터를 구분하기 위해 tag라는 개념을 사용하는데 이는 html과 비슷하다고 생각하면 된다. 1. XML 접근 아래 간단한 xml 파일을 하나 가져왔다. 샘플 xml데이터를 보면서 그 특징을 알아보자. 만약 큰 xml 파일(예를 들어 GB단위의 큰 데이터)을 찾아봐야할 경우가 생기면 이 사이트에서 gvim 프로그램을 다운 받아 사용해보자. 시간이 다소 걸리긴 하지만 그래도 다른 에디터에 비해 빠른 편이고 유용한 편이다. 인코딩 문제가 있다면, 프로그램을 실행시키고 :set encoding=utf8 1 2008 141100 4 2011 59900 68 2011 13600 일반적으로 , 와 같은 테그를 시작(start), 끝(end) 테그라고 하며 ..