[시계열] 시계열 데이터의 특징들 -1. 자기상관성, 정상성, 등분산성

시계열 데이터라 함은 단순히 시간 순으로 나누어진 데이터다. 그런데, 시게열 데이터에는 계절성이라던가, 반복성, 순환성, 추세성 같은 특징들이 있다. 저런 특이한 성질들이나 추세 때문에 시계열 데이터에서는 저 성질을 제외하고 머신러닝에 넣어주는 작업이 굉장히 중요하다. 

 

 

 

 

왜일까? 예를 들어 보겠다. 

 

자 가장 쉬운 예시를 가져왔다. 다음은 우유 생산량으로 시계열 데이터의 계절성 (seasonality) 를 확인할 수 있는 그래프다. 부패하기 쉬운 여름에 생산량이 확 줄었다가 봄가을에 다시 많아지는 계절성을 보인다. 이런 데이터의 range 의 variousity 를 머신러닝에 집어넣으면 머신러닝은 이를 포착하지 못하기 때문에 어느정도의 bias 가 생기기 마련이다. 

 

@ google

 

 

위 그래프는 전반적으로 우상향 그래프를 그리고 있으나 이 안에는 random 하게 분포되어있는게 아니라 그 안에서 어떤 특정한 패턴을 가지고 있다. 그래서 데이터 통계의 가장 기본적인 원칙인 "자기상관성" 에 어긋나기 때문에 패턴을 없애주는 것이 선실행 되어야 한다는 것이다. 

 

 

 

기본적인 원칙? 

데이터를 다룰 때 우리가 기본적으로 인지해야하는 데이터들의 가정에 대해 먼저 한번 짚고 넘어가보자

 

 

 

 

 

 

1. 자기상관성 (Autocorelation) : 횡단면 데이터는 기본적으로 각각 독립적이라는 가정을 가진다 

-> 내가 가져온 데이터셋에 "아파트 가격" 에 대한 열과 "주택 가격" 에 대한 열 두 가지가 있는 경우, 그래 우리는 직관적으로 저 둘이 어떤 상관성을 가진다는걸 알겠지만 숫자만 놓고 봤을때는 두 데이터는 독립적이라는 가정 하에 분석을 진행해야 한다 

 

그런데 시계열 데이터는 이 자기상관성을 파괴시켜버린다! 기본적으로 시계열 데이터는 데이터 포인트 하나하나가 앞 뒤 포인트의 데이터에 매우 밀접한 영향을 주기 때문이다. 

 

즉, 데이터가 독립적이지 않고 상관성이 뚜렷하게 드러나기 때문에 바로 일반적인 모델 안에 넣어주면 안되는 것이다. 

 

 

 

 

 

 

 

 

2. 정상성 (stationary)  : 늘 한결같고 일정한 데이터가 정상성을 띈 데이터다

-> 특정한 주기에 따라 움직이는 계절성도 있으면 안되고, 우상향 하는 추세성도 있으면 안된다, 또한 분산도 일정해야 한다. 

 

 

그렇다면 위 그래프 중 어떤 데이터가 정상성을 띈 데이터일까? 

 

@assaeunji

 

 

위 그림에서는 b 와 g 가 정상성을 띈 데이터다. 

 

i 는 계속해서 분산이 커지기 때문에, a,c, f,e 는 추세성이 있기 때문에, h 와 d 는 계절성이 있기 때문에 정상성이 없는 데이터이다. 

 

 

 

 

뭐 여하튼! 그래프를 봐서 알겠지만 대부분의 시계열 데이터는 이 정상성 역시 따르지 않는다! 시간에 따라 너무 많은 random 한 사건들이 일어나고, 데이터가 변화할 위험이 너무 크기 때문이다. 때문에 우리는 비정상성을띈 데이터를 정상성을 띈 데이터로 바꿔주어야 한다 

 

 

 

 

 

 

3. 등분산성 (Homoscedasticy)  : 등분산성은 분산이 비슷비슷한 성질을 말한다

 

-> 변수의 variation 이 점점 커지거나 작아지거나 random 한 경우가 등분산성을 띄지 않는 경우다. 

 

 

 

위 그림에서 왼쪽은 등분산성을 띈 경우, 오른쪽은 그렇지 않은 경우다. 오른쪽 데이터들이 시간에 따라 더 널리 퍼지는 모습을 보이며 분산이 커진다. 

 

 

 

 

 

 

 

따라서... 시계열 데이터는 이래서 어려운 것이다. 

 

자기상관성도, 정상성도, 등분산성도 만족하지 못하는, 데이터 통계에서 기본적으로 만족해야 하는 세 가지 속성을 모두 파괴해버리는 데이터를 만나기 때문에, 이 성질을 바꿔줄 수 있는 뭔가의 작업 (차분 혹은 log 치기) 를 해 주어야 하는 것이다 

 

 

 

 

그래서! 이 모든 변동성들을 제거하고 나면, 

아무런 구조적인 패턴이 보이지 않는, 그저 변화들이 백색소음의 우연변동이라고 말할 수 있는 데이터로 바꿔줄 수 있게 된다 

 

 

 

이렇게 데이터를 바꿔주고 나서 머신러닝에 넣어주는 것이 시계열 데이터에서 높은 예측률을 위해 반드시 해야 하는 전처리 작업이다 

 

 

 

다음 시간에는 데이터에 로그를 치고 차분을 하는 방법들에 대해 알아보겠다

 

 

 

 

참조 : https://assaeunji.github.io/statistics/2021-08-08-stationarity/

패스트캠퍼스 기업강의