[TIL] python Lv2 전처리, 결측치 평균값, 보간법

파이썬을 통해 데이터를 전처리하는 과정에서 데이터 결측치(missing data)를 만났을때 해결방법 2가지를 소개한다.

첫번째는 결측치에 대해 데이터의 평균값으로 메꾸는 방법

두번재는 보간법을 사용하는 방법이다.

먼저 결측치의 개념을 다시 짚어보자면 missing data 즉, 잃어버린 데이터, 데이터가 담긴 표에서,

행에 대해 데이터 값을 넣는 열이 비어있다고 생각하면 된다.

예를 들어, 학생들의 학번이라는 행에서 특정 학생의 학번 칸이 비어져 있다고 생각하면 된다.

이름	학번
홍길동	21900123
심청이	(missing data)
로빈훗	21500321

위 표에서는 심청이의 학번에서 데이터 missing이 발생한다.

이런 빈 데이터가 있을가봐 데이터 전처리 과정을 거치는 것이다.

프로그래머는 이런 빈 데이터를 융통성 있게 메꿔줘야하는데, 오늘 소개할 방법 중 첫번째로 평균값으로 메꾸기를 살펴보자.

평균값을 찾는 함수 mean()과 데이터 결측치가 일어나는지 확인하는 fillna(

어쩌고

, inplace=True)만 알면 된다.

풀코드는 아래와 같다

 

df.fillna({'Column name' : int(df[Column name'].mean()}, inplace=True)

 

코드를 해석하자면 df는 데이터프레임으로 데이터가 담겨있는 객체(데이터 객체)

fillna함수는 fill null arg라고 생각하면 바로 이해가 간다, null을 내가 지정한 arg로 채워라!

Column name은 missing data가 발생하는 행의 이름 

int(df[Column name'].mean()부분은 데이터 객체가 일단 당연히 배열로 표현할 수 있고(데이터 안에 다양한 행이 있을테니)

그 배열중 내가 채우고자 하는 행의 이름을 찾아서 그 행의 평균(-mean함수 사용)으로 바꾸고 그 값을 정수(-int함수 사용)로 형변환을 해준다는 뜻 

inplace=True는 데이터 결측치가 발생하는 것이 맞는지 확인하는 용도 

 

아이고 데이터 전처리 쉽다 쉬워!! 

 

두번째 방법은 데이터를 평균값이 아니라 좀더 융통성 있게 채우는 방법이다. 

일단 보간법의 의미부터 알고가자. 네이버 수학백과에서 설명하기를,,

보간법이란 알고 있는 데이터 값들을 이용하여 모르는 값을 추정하는 방법의 한 종류이다.

 

즉 우리가 시도한 첫번째 방법 평균값으로 채우기도 당연히 보간법 중 하나다. 

 

그런데, 왜 두번째 보간법을 따로 설명하느냐, 그 이유는 빈 데이터에 대해서 어떤 방식을 통해 어떻게 데이터를 넣을지는 프로그래머의 결정에 달렸기 때문이다. 채우고자 하는 데이터가 시간 데이터인지 날짜 데이터인지 온도 데이터인지 속도 데이터인지 성적 데이터에 따라 이 각각의 데이터들을 채우는 방식이 다 다르다! 무조건 평균값으로 채우는게 정답이 아니라는 말. 

 

이제 보간법의 예제를 살펴보자.

결측치를 처리해야하는 데이터가 기상 정보라고 하자, 이때 데이터의 순서는 시간 순서다. 

ex.

날짜	기상 정보
2023.02.06 11:00	0도
2023.02.06 12:00	(missing data)
2023.02.06 13:00	4도

따라서, 결측치에 대해서는 직전 시간과 직후시간의 평균값으로 보간하는 것이 합리적일 것이다. 

오늘 사용할 아래의 코드는 존재하는 앞의 값과 존재하는 뒤의 값 사이의 빈 값을 조금씩 변화시켜가며 채워가는 방식이다.

다른 코드 필요없이 본 코드만 사용하면 되고, 보간법 이후 null 유무 결과를 확인하고 싶다면 그 아래 print문을 통해 확인할 수 있다. 

df.interpolate(inplace=True)

print(df.isnull().sum())

 

 

다양한 보간법에 대해 더 많이 알고싶다면 아래 블로그 사이트에 잘 정리되어 있어서 추천한다! 

https://rfriend.tistory.com/264