끄적거림

데이터를 만지다보면 여러 array형 데이터(list/Series in python, vector in R)를 합쳐서 새로운 dataframe 형태로 만들 경우가 생긴다. 보통의 경우 길이가 같은 array들을 이어 붙여야 우리가 원하는 딱 맞는 이쁜 데이터프레임 객체가 생성된다. 하지만 항상 그럴 경우만 생기지는 않으니, 길이가 서로 다른 1차원 자료형을 붙여 dataframe형태로 만들때를 생각해보자! 너무도 당연한 이야기이지만 서로 다른 길이의 1차원 자료형을 붙이면 제일 긴 길이의 데이터를 가지고 데이터프레임 객체가 생성될 것이고, 빈 공간은 NA로써 혹은 Nan 혹은 Null값으로 채워지길 바란다. 우선 R이 편하니 R부터 해보자. 1. R - cbind 다음과 같은 길이가 다른 객체들이 있다. a

R에서는 대부분의 핸들링을 자유롭게 하던 나는 파이썬으로 그 작업들을 하나씩 진행하고자 한다. 분석을 진행하기 위해서 데이터를 내가 원하는 모양으로 맞춰줄 필요가 있다. 현재 내가 분석을 진행하다 막힌 부분은 이렇다. 원하는 조건에 해당하면 특정 값, 아니면 다른 값으로 주어 새로운 컬럼을 만드는 것이다. R에 익숙한 나는 다음 코드를 바로 떠올릴 수 있다. iris %>% mutate(new_column = ifelse(Sepal.Length > 4, 'Large', 'Small')) 변수를 추가하는 함수인 dplyr의 mutate함수와 조건을 걸 수 있는 ifelse함수를 사용하면 간단히 만들 수 있다. 하지만 파이썬에서 이와 같은 작업을 진행하려면 어떻게 해야할까? 다음 코드와 같다. iris['n..

XML은 가장 잘 알려진 markup 형식의 데이터이다. 데이터를 구분하기 위해 tag라는 개념을 사용하는데 이는 html과 비슷하다고 생각하면 된다. 1. XML 접근 아래 간단한 xml 파일을 하나 가져왔다. 샘플 xml데이터를 보면서 그 특징을 알아보자. 만약 큰 xml 파일(예를 들어 GB단위의 큰 데이터)을 찾아봐야할 경우가 생기면 이 사이트에서 gvim 프로그램을 다운 받아 사용해보자. 시간이 다소 걸리긴 하지만 그래도 다른 에디터에 비해 빠른 편이고 유용한 편이다. 인코딩 문제가 있다면, 프로그램을 실행시키고 :set encoding=utf8 1 2008 141100 4 2011 59900 68 2011 13600 일반적으로 , 와 같은 테그를 시작(start), 끝(end) 테그라고 하며 ..

R을 많이 사용하던 사람으로써 python의 컴프리헨션(Comprehension), 이터레이터(Iterator), 제너레이터(Generator)와 같은 개념들이 다소 생소했다. 먼저 각 개념부터 알아보자. 컴프리헨션(Comprehension) : 주로 리스트 타입에서 많이 사용하기 때문에 리스트 컴프리헨션이라고도 한다. 반복되는 작업을 간결한 표시로 동작하는 것을 List Comprehension이라고 한다. 예를 보며 확인해보자. # 1. Comprehension a = [x**2 for x in range(5)] print(a) # 2. Normal for loop a = [] for i in range(5): a.append(i**2) print(a) 1번 코드는 컴프리헨션을 이용한 반복 작업이고,..

지난 시간에 윈도우10에서 가상머신을 띄우지 않고 컨테이너마냥 WSL(Windows Subsystem for Linux)를 이용하여 우분투를 설치해 보았다. 참고로 WSL에서는 환경은 리눅스지만 본인 로컬(윈도우)에 있는 파일들에 접근이 가능하다는 점에서 편리하다고 할 수 있겠다. 이번 시간엔 그 점을 이용하여 파이썬을 설치해보려고 한다. 1. WSL 접속하기 cmd 창 열기 - ubuntu 입력 후 WSL 접속 2. Anaconda 파일 다운로드 Anaconda 홈페이지 : https://www.anaconda.com/distribution/#download-section 위의 홈페이지 접속 후 그림과 같이 리눅스의 본인에게 맞는 파일을 다운 받는다. 3. WSL에 경로 생성 pwd# 현재 경로 보기 ..

여러 패키지(모듈)을 사용할 수 있는 아나콘다를 설치하려한다. 01. 아나콘다 .sh파일 다운로드 해당 사이트에 접속하여 리눅스 버전 중 python 3.7 64-Bit (x86) Installer 버전을 다운로드 받는다. 아나콘다 사이트 : https://www.anaconda.com/distribution/#linux Anaconda Python/R Distribution - Free Download Anaconda Distribution is the world's most popular Python data science platform. Download the free version to access over 1500 data science packages and manage libraries a..