끄적거림

일반적으로 python3의 내장함수인 open( ) 함수를 사용할 때 주의할 점이 있다. open( )함수는 기본적으로 UTF-8인코딩 방법을 사용한다. 예를 들어 다음의 코드를 실행시키려 한다. with open('C:/Users/DAL/Desktop/test.txt', 'w') as f: f.write(os.urandom(10)) (※ os.urandom( ) 함수는 원하는 길이(byte단위)의 unsigned 수치값을 만들어 준다.) 그럼 다음과 같은 에러코드가 발생한다. 왜 이런 에러가 발생할까? python3에는 크게 2가지 문자 sequence 타입이 있다. bytes : raw 8-bit(=binary) str : Unicode 좀 더 원시적인(?) 타입이 bytes가 되겠고 이를 보기 쉽게..

지난 게시물(2020/02/18 - [Python] - [API]기상청 api로 데이터 가져오기 in Python)에서 API의 대략적인 개념과 Python에서 기상공공데이터 API를 활용하여 내가 원하는 데이터를 가져와보았다. 이번에는 네이버데이터랩에서 제공하는 데이터인 통합검색어트랜드 데이터를 수집해보려한다. 다행히(?) 네이버데이터랩에서는 각 언어별로 친절한 가이드를 제공한다. https://developers.naver.com/docs/datalab/search/ 통합 검색어 트렌드 API 적용 가이드 통합 검색어 트렌드 API는 '네이버 데이터랩'의 '검색어 트렌드'를 API로 실행할 수 있게하는 RESTful API입니다. developers.naver.com 본 가이드를 따라가며 데이터 수집..

공공 데이터 중에서 가장 활용도가 높은 기상청 데이터를 사용해볼까한다. 기본적으로 기상청에서는 file(CSV), API(Json, XML) 두 형태로서 데이터를 제공한다. file형태는 원할 때마다 내려 받아서 분석에 활용하면 되지만, 분석에서 만든 모델링을 계속해서 사용하기에는 번거로움이 있다. 따라서 어떤 모델을 구축했다면, API로 데이터를 실시간으로 돌려가며 실시간 모델링을 진행할 수 있다. 그러면, 데이터를 실시간으로 가져올 수 있는 방법인 API에 대해서 알아보자. API란, Application Programming Interface의 약어로, 기기 간 통신을 통하여 데이터나 정보를 주고 받을 수 있는 것이라고 간단히 생각하면 되겠다. 데이터 전송 시, 흔히 많이 쓰이는 자료구조로는 XML..

코드 관리나 협업에 사용하기 좋은 Git을 본격적으로 사용해보려 한다. 기존의 깃 활용도는 그닥.. 그냥 로컬에 폴더 만들어서 관리하듯이 repo만들고 거기에 파일 업로드 한 정도.. 하지만, 기회가 생겨 Git을 협업 툴, 코드 형상관리 툴로써 사용해보고자 한다. 일단 기본적으로 여기서 말하는 깃은 Git Bash를 의미하며, Git Bash란 컴퓨터 OS와 상관없이 리눅스 베이스 터미널용 Git을 말한다. 덕분에 리눅스 명령어에 대한 공부도 추가적으로 해주는 것이 좋아보인다. 1. 깃 다운로드 설치 링크 : https://git-scm.com/ Git git-scm.com 위의 설치 링크에 접속하고 download - windows 를 클릭하면 자동으로 내 컴퓨터 환경에 맞게 설치 파일이 다운로드된다..

나는 원래 R 사용자였으며, 나름 학부시절 잘하는 쪽에 속한다고 생각했다. 그것이 가능했던 것이 data.table 패키지를 어느정도 잘 사용하고 나서부터라고 생각한다. 그동안 내가 알고 있던 꿀팁들을 적어볼까한다. 1. data.table 패키지 소개 여기저기 찾아보면 많은 자료들이 있으니 간단하게 소개하고 넘어가겠다. 우선 기능적으로 보았을 때, 1) 빠른 계산력을 제공한다. 가장 기본적인 매트릭스 형태로 R에서는 data.frame을 제공한다. 하지만, 사용하다보면 가독성도 떨어지고, 사용하기 불편하고, 다소 느린 단점들이 있다. 이런 부분들을 개선한 것이 data.table이다. 데이터 성격에 따라 차이가 있겠지만 대략 10~100배 정도 빠르다고 생각하면 된다. 2) 적용 범위가 넓다. data..

지난 시간에 윈도우10에서 가상머신을 띄우지 않고 컨테이너마냥 WSL(Windows Subsystem for Linux)를 이용하여 우분투를 설치해 보았다. 참고로 WSL에서는 환경은 리눅스지만 본인 로컬(윈도우)에 있는 파일들에 접근이 가능하다는 점에서 편리하다고 할 수 있겠다. 이번 시간엔 그 점을 이용하여 파이썬을 설치해보려고 한다. 1. WSL 접속하기 cmd 창 열기 - ubuntu 입력 후 WSL 접속 2. Anaconda 파일 다운로드 Anaconda 홈페이지 : https://www.anaconda.com/distribution/#download-section 위의 홈페이지 접속 후 그림과 같이 리눅스의 본인에게 맞는 파일을 다운 받는다. 3. WSL에 경로 생성 pwd# 현재 경로 보기 ..