[R] 이상치(outlier)와 결측치(missing value) 처리하기

안녕하세요!

 

오늘은 데이터를 받아보면 이상치와 결측치가 종종 존재하는 경우를 볼 수 있는데요,,

 

이때 어떻게 처리해야 하는지를 알려드리겠습니다!

 

그럼 시작하겠습니다.

 

이상치(outlier) 란?

- 통계적 자료 분석의 결과를 왜곡시키거나, 자료 분석의 적절성을 위협하는 변숫값

 

# 이상치(outlier) 정제하기 - NA 처리하기
outlier <- data.frame(height = c(159, 171, 175, 181, 168),
                      weight = c(72, 81, 210, 102, 0))
outlier

이때 outlier 자료의 weight열을 보면 상식적으로 몸무게 값이 0과 210은 존재하기 어렵다는 생각이 들 것입니다.

 

이를 좀 더 통계적으로 판단하려면 저번 시간에 배운 boxplot을 살펴보면 됩니다.

 

boxplot(outlier$weight)$stats # 이상치 2개 존재

 

저번 시간에 배운 ggplot2 패키지가 아닌 내장 함수 boxplot을 사용한 결과

여기서 1행 보다 작고 5행 보다 큰 값이 이상치라고 볼 수 있습니다.

 

outlier$weight <- ifelse(outlier$weight < 72 | outlier$weight >102, 
                         NA, outlier$weight)
outlier

sum(is.na(outlier$weight)) # 결측치 갯수 찾기

그럼 이제 이상치를 결측치로 바꿔줬으니 결측치를 처리하는 방법을 알아볼까요?

 

 

결측치(missing value) 란?

 - 손실되거나 적절하지 못하거나 믿을 수 없기 때문에, 속성에 대한 산술적 계산에서 배제되는 값

 

위에 이상치를 결측치로 바꿔준 outlier 자료를 활용할게요!

 

1. 결측치 제거하기

# 결측치(Missing value) 확인하기
sum(is.na(outlier$height)) #0개
sum(is.na(outlier$weight)) #2개

new_outlier <- outlier %>% filter(!is.na(weight)) #weight 결측치 제거

new_outlier

mean(new_outlier$weight) #결측치 제외하고 평균

>>> 85

만약 결측치 제외한 평균값만 구하고 싶다면?

mean(outlier$weight, na.rm=T) #결측치 제외하는 함수 쓰고 평균

>>> 85

all.equal(mean(new_outlier$weight), mean(outlier$weight, na.rm=T)) #같은지 확인

>>> True

 

2. 결측치 대체하기(평균, 최빈값 등등)

#결측치 대체하기
#대푯값으로 대체 - 평균, 최빈수 등등
outlier$weight <- ifelse(is.na(outlier$weight),
                         mean(outlier$weight, na.rm=T), 
                         outlier$weight)
outlier

이때 결측치를 평균이 아닌 중위수, 최빈수와 같은 값으로 변경하고 싶으면

 

mean대신 median 등으로 바꿔주면 됩니다!

 

여기까지 이상치와 결측치가 존재하는 데이터를 받았을 때 처리하는 방법을 공부해봤습니다!

 

그럼 20000