우리가 지난 포스팅에서 살펴본 AR, MA, ARMA 모델은 안정 시계열이었으나, 대부분의 시계열 모델은 정상성 등을 파괴해버리는 특성을 가지는 불안정 시계열인 경우가 크다. 따라서 차분이나 로그 변환을 통해 해결할 수 있는 불안정 시계열 모델을 이용하는게 일반적이다. 게 중 ARIMA 모델은 가장 기본적이고도 유명한 시계열 모델인데,, 오늘은 이 ARIMA 모델의 내부를 들여다 보고 간단한 실습까지 해보도록 하겠다. 앞선 포스팅을 보지 않았다면 꼭 보고 와주시길! 1. ARIMA 모델 설명 ARIMA(p, d, q) : d차 차분한 데이터에 AR(p) 모형과 MA(q) 모형을 합친 모형 ARIMA 모델은 이름에서도 알 수 있듯 AR 모델의 파라미터 p 와 MA 모델의 파라미터 q 를 Inetegrate..

왕바보같은 첫 코드 그냥 문제 보고 차집합인 줄 알았음 def solution(participant, completion): str_list = [x for x in participant if x not in completion] answer = str_list return answer 그랬더니 테스트케이스 3번에서 걸리더라 ㅇㅎ 그래 맞아 동명이인이 있을 수 있지 하고 예전 문제들 뒤적거리다 생각난게 파이썬 집합 패키지.. Counter 가 있었다 Counter 는 이렇게 쓰는 애다 from collections import Counter #중복이 있는 리스트를 만듬 fruits = ['apple', 'banana', 'orange', 'apple', 'banana', 'apple'] #카운더에 담음 ..

union 을 쓰는 방법도 있지만 rank 가 가장 직관적인 듯 하다 chatbot_name 별로 sum_heart_price가 가장 높은 유저 5개를 고를 것임 편의를 위해 먼저 FROM 절을 이용해 heart_price 의 합계별로 랭킹이 계산된 ranked_data 를 생성한 뒤 SELECT 절을 이용해 출력에 필요한 것들을 선택해 주고 5개 출력 랭킹 조건을 추가합니다 SELECT chatbot_name, user_seq, sum_heart_price, rank FROM ( SELECT chatbot_name, user_seq, SUM(heart_price) AS sum_heart_price, RANK() OVER (PARTITION BY chatbot_name ORDER BY SUM(heart_..

머신러닝에서 수학은 곧 모델의 설명력과 같으나, 모두 이해하기엔 너무 많은 리소스가 드는 관계로 수학은 최소화하여 이해할 수 있는 수준으로 세상에서 가장 쉬운 버젼으로 AR 모델, MA 모델, 둘의 결합인 ARMA 모델의 원리를 공부해 보겠다. 0. Intro 시계열 모델의 기본인 AR, MA, ARMA 모델은 기본적으로 안정시계열 모델이다. 대부분의 데이터는 불안정시계열이기 때문에 이를 쉽게 적용할 수 없어 추가적인 가정이 있는 ARIMA, SARIMA, VARMA 등을 이용하게 되지만, 기본적인 원리를 이해하기 위해 해당 게시글을 작성하였다. 1. AR 모델 AR 모델은 자기회귀 (Autoregressive Model) 의 약어로, 자기 자신의 과거 데이터를 이용해 미래를 예측하는 모델이라고 쉽게 이..

우선 시계열 모델들은 이렇게 크게 세 가지 유형의 모델들로 분류될 수 있다. 모델링이 원래 그렇듯, 우리 데이터에 가장 적합할 것으로 예상되는 모델을 이용하면 되는데, 이를 위해 나누어진 모델들의 대분류는 각각 어떤 특징들을 가지는지 먼저 알아보고, 가장 전통적인 모델들부터 하나씩 소개해 보도록 하겠다. 1. 시간 영역의 시계열 모델 시간 영역의 시계열 모델들은 AR, MA 모델들, 그리고 가장 유명하고 전통적인 ARIMA 모델들의 파생 모델로부터 나온 모델들이다. 이들은 시간 변동의 폭이 discrete 하지 않고 이상적일 때 쓴다. 계량통계학, 계량경제학으로부터 생겨난 모델이며, 따라서 차후의 모델들과는 다르게 조금 더 variation 이 작고 인간이 이해할 수 있는 데이터에 주로 적용한다. 2. ..

앞선 글에서 살펴본 시계열 데이터는 데이터 통계의 가장 기본적인 가정인 등분산성도, 자기상관성도, 정상성도 파괴해 버리는 특이한 데이터라는 점을 알 수 있다. 이런 데이터들의 경우 전통적인 머신러닝 기법들인 ARIMA 시리즈에 데이터를 집어넣기 어렵기 때문에 우리는 이 데이터들의 특수성을 제거해준 뒤 머신러닝에 넣어줄 필요가 있는데, 이때 주로 사용하는 방법들은 다음과 같다 1. 차분 (differencing) 데이터를 차분한다는것은 t 시점과 t-1 시점의 값의 차이를 구하는 것이다 쉽게 말하면, 데이터를 차분하면 우리는 데이터의 변동값을 알게 되어 데이터의 앞뒤에 받았던 영향을 제거하고 랜덤한 데이터만으로 머신러닝 예측을 할 수 있는 것이다. 차분을 수학 공식으로 나타내면 다음과 같다 이때, 차분하는..