[Machine Learning] Data Leakage

✋ Data Leakage 란?

: Train Data 외의 정보가 모델을 만드는데 사용될 때 발생

  (우리가 모른다고 가정된 "정보가 누설"된 경우를 의미)

 

공모전에 참가할 때 받는 데이터 : train data  (이미 알고 있는 정보)

공모전에 제출하는데 사용하는 데이터 : test data  (모르는 정보)

 

👉 모르는 정보인 test data의 통계치가 test data 사이에서 반영될 수 없음

      train data 를 가지고 test data 를 예측하는 것이 목표

 

👉 Data Leakage : Test Data의 개수나 분포 등이 변화할 때마다 Train / Test 를 진행할 때 영향을 끼치는 요소

 

✋ Data Leakage 의 문제점

: 자신의 에측 모델을 개발할 때 문제점 발생

👉 실제로 쓸모없고 생산성 없는 지나치게 낙관적인 모델을 만들어 낼 가능성 높음 (Overfitting 발생)

 

✋ Data Leakage 가 되는 요소들

1. Test Data 노출

: 알 수 없는 정보가 예측에 반영되었을 때 나타나는 문제 

 

ex. 시간, 순서 의 개념이 도입되는 경우

- 1시간 단위로 기록된 train, test data에 "일 평균 온도"라는 Feature를 만듦

- But, Test data는 "시간"의 개념을 가지고 "연대성"을 가지고 등장하기 때문에 기초 전제부터 잘못됨

  1시간 뒤의 온도 = 알 수 없는 data    👉   일 평균 온도?   알 수 없음

 

2. Train-Test 통합해서 문제 발생

: 미래의 데이터 (Test Data) 를 알 수 없는데 현재 시점에서 함께 통계량을 반영할 때

 

3. Target 값 leakage

: 결과 값이 하나의 파생 변수로 함께 학습 되는 경우

 

✋ Data Leakage 의 예시

1. Kaggle - Bike sharing demand data 

- 워싱턴 DC의 Capital Bikeshare 프로그램에서 사용할 자전거 대여 수요량을 얼마나 잘 예측하는지 겨루는 대회

- data sets : 날짜/시간별 요일, 휴일여부, 온도, 습도 등의 날씨정보, 회원/비회원 여부에 따른 대여량 정보

[ Data Fields ]
datetime - hourly date + timestamp  
season -  1 = spring, 2 = summer, 3 = fall, 4 = winter 
holiday - whether the day is considered a holiday
workingday - whether the day is neither a weekend nor holiday
weather - 1: Clear, Few clouds, Partly cloudy, Partly cloudy
2: Mist + Cloudy, Mist + Broken clouds, Mist + Few clouds, Mist
3: Light Snow, Light Rain + Thunderstorm + Scattered clouds, Light Rain + Scattered clouds
4: Heavy Rain + Ice Pallets + Thunderstorm + Mist, Snow + Fog 
temp - temperature in Celsiusatemp - "feels like" temperature in Celsius
humidity - relative humiditywindspeed - wind speed
casual - number of non-registered user rentals initiated
registered - number of registered user rentals initiated
count - number of total rentals

- 목적 : 시간별 자전거의 총 대여량(count) 구하기

 

👀 casual, registered 두 변수 설명

casual  -   비회원의 자전거 대여량

registered  -  회원의 자전거 대여량

👉 casual + registered = count

 

📌 이를 통해 비회원/회원의 자전거 대여량(casual/registered)을 독립변수로 사용하면

      Train Data 에서 좋은 결과가 나올 수 밖에 없음

      But, 에측 모델을 활용하고자 하는 시점에는 값을 넣을 수 없어서 문제가 발생

 

2. Confirmed COVID19 Prediction data

- 다음과 같은 개인정보가 존재할 때, 코로나 확진을 받은 적이 있는지 여부를 예측한다고 가정

이름, 성별, 나이, 거주지, 직업, 백신접종여부, 코로나 검진키트 사용여부, 자가격리기간, 코로나확진자 지원금 수령여부

👉 '코로나확진자 지원금'은 확진을 받은 사람만이 받을 수 있는 값

       따라서, 이 값을 feature 로 사용하면 모델 예측도는 당연히 올라갈 수 밖에 없음

📢 확진자 중에 지원금을 받지 않은 사람이 존재할 수 있겠지만, 피처간의 인과관계를 고민해보았을 때

      이 값을 사용하는 것은 바람직하지 않음

https://www.kaggle.com/alexisbcook/data-leakage

 

✋ Preventation of Data Leakage

- 학습 진행 시 학습용 데이터와 테스트용 데이터, 검증용 데이터로 분할을 진행

- 이후에 각각에 대해서 전처리를 수행하는 것

 

📌 데이터 분할을 진행하는 이유

    : 데이터를 덩어리로 구분지어서 덩어리마다 목적을 다르게 활용하려고

     데이터 분할을 한 

 

👀 학습 모델을 실제로 활용할 시점에 어떤 형태의 데이터가 발생할지 모르기 때문에,

      일부를 뗴어서 '이건 없는거다' 생각하고 학습을 시킨다

X = scaler.fit_transform(X)
X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.3, random_state=42)

👉 문제점 : 검증용 데이터의 정보가 학습용 데이터에 스며들 수 있음 (leakage)

 

📚 train data = 0 ~ 10

     validataion data = 7 ~ 13

위의 코드에서 사용한 scaler가 MinMaxScaler라면 데이터 분할을 하고 변환을 하느냐,

분할 이후에 변환을 하느냐에 따라 결과가 달라진다

👉 데이터 분할을 한 이후에 각각에 대해서 전처리를 수행해야 데이터 누수를 예방할 수 있음

교차 검증 등의 작업을 수행하면서 다양한 경우에 대해 충분히 학습하는 기법을 활용