목록Python/Crawling (11)

끄적거림

[리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 5(feat. selenium)

[리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 1(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 2(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 3(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 4(feat. selenium) [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 5(feat. selenium) 예전에 포스팅했던 글들인데, 많은 사람들이 찾게되면서 여러가지 문의를 남기셨다. 그중에서 가장 많은 문의를 받은 것이 총 자동화된 코드를 알고싶으시다는 요청이어서 이렇게 간단하게나마 글을 끄적여본다. 일단 내 블..
Python/Crawling 2021. 2. 5. 11:04
[Naver News Crawling] 네이버 뉴스 기사와 댓글 크롤링 in python(feat.selenium)

[API] Naver 뉴스 API로 데이터 받아오기 in python [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 1(feat. selenium) 최근 크롤링 관련하여 이것저것 진행하다보니 모든 플랫폼에 대해서 크롤링을 진행하는 듯하다. 이번에는 네이버 뉴스 기사 원문과 그에 달린 댓글을 가져오려 한다. 이번 포스팅은 사실 네이버 뉴스를 API로 받아온 결과를 바탕으로 수집할 예정이다. 그러니 위의 포스팅을 한 번씩 읽어보고 오면 좋을 듯하다. 위의 포스팅의 결과로 다음과 같은 결과물을 얻었다. 보면 다음과 같은 항목들을 얻을 수 있다. title : 기사의 제목 originallink : 기사의 원문의 링킁(신문사에서 온라인으로 발간한 신문사의 뉴스 링크) link : 해당 기사..
Python/Crawling 2020. 11. 30. 17:22
[API] Naver 뉴스 API로 데이터 받아오기 in python

[API]네이버데이터랩 api로 데이터 가져오기 in Python [API]네이버데이터랩 api로 데이터 가져오기2 in Python 오랜만에 네이버 API 관련한 업무를 하다가 새로운 API 하게 되어 글을 쓰게 되었다. 먼저, 네이버의 API로 데이터를 받아오기 전 알아야할 주의사항이 있다. 검색 API를 사용 검색 결과로부터 최대 1000개까지의 결과만 가져옴 뉴스기사의 본문을 전부 가져오지는 못함. 대략 초입 3줄 정도? 일 최대 25,000번의 호출 가능 한 번 API 호출시 최대 100개의 결과값 수집 가능 최대로 수집해봤자 일부 중복되는 결과 발생 위의 주의사항을 먼저 알고 데이터를 수집하면 목적에 맞게 활용할 수 있을 것으로 생각한다. 1. API 신청하기 가장 먼저 할 것은 API를 신청..
Python/Crawling 2020. 11. 27. 17:29
[리뷰 크롤링] 어플 버전 history 정보 가져오기

2020/07/23 - [Python] - [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 1(feat. selenium) 2020/07/25 - [Python] - [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 2(feat. selenium) 2020/07/27 - [Python] - [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 3(feat. selenium) 2020/07/28 - [Python] - [리뷰 크롤링] PlayStore 댓글 크롤링하기 in python 4(feat. selenium) 2020/07/29 - [Python] - [리뷰 크롤링] AppStore 어플 리뷰 가져오기 1(feat. cURL) 2020/07/30 ..
Python/Crawling 2020. 8. 4. 14:08
[리뷰 크롤링] AppStore 어플 리뷰 가져오기 3 in python(feat.RSS)

2020/07/29 - [Python] - [리뷰 크롤링] AppStore 어플 리뷰 가져오기 1(feat. cURL) 2020/07/30 - [Python] - [리뷰 크롤링] AppStore 어플 리뷰 가져오기 2 in python(feat. cURL) 1. Trouble Shooting 지난 시간들에서는 appTweak이라는 사이트에서 무료로 제공하는 API를 cURL을 사용하여 app store에서의 어플에 대한 리뷰 데이터를 가져오는 작업을 진행했었다. 그러던 중 만난 이슈는 더 많은 리뷰 데이터를 가져올 수 없다는 것! (내가 그냥 실패한 것일 수도 있지만 그래도 내가 노력하고 찾아본바에 의하면 안되는 걸로 마무리 지었다..ㅠㅠ 해결책을 아시는 분이 있다면 댓글로라도..) 2. RSS 그렇게 ..
Python/Crawling 2020. 7. 31. 14:46
[리뷰 크롤링] AppStore 어플 리뷰 가져오기 2 in python(feat. cURL)

2020/07/29 - [Python] - [리뷰 크롤링] AppStore 어플 리뷰 가져오기 1(feat. cURL) 지난 시간엔 apptweak이라는 사이트에서 제공하는 api를 이용해 앱 리뷰 데이터를 가져오는 작업을 진행했다. 단순 api 호출 성공으로 끝냈었지만, 오늘은 좀 더 내게 맞는 데이터를 이쁘게 가져올 수 있는 작업을 진행하려한다. 시작해보자! 1. Json to DataFrame 먼저, 이전시간에 test로 뽑아놓은 데이터를 활용하여 어떤 데이터를 어떤 구조로 적재할지를 생각해보고 다시 쿼리를 날릴때(데이터 수집) 어떻게 가져올지를 생각해봐야한다. 내가 한 달 안에 사용 가능한 횟수가 정해져 있기 때문에 신중해야한다. Reading Data 주어진 임시 데이터를 읽어볼 것이다. raw..
Python/Crawling 2020. 7. 30. 16:51
Prev 1 2 Next