[Python] Pandas Data Analysis

🖐 Google Colab 을 이용해서 Python 실행

# google drive - google colab 연동
from google.colab import drive
drive.mount('/content/drive')

🖐 Pandas 파일 불러오기

import pandas as pd
print('pandas version:', pd.__version__)

# pandas version: 1.5.3

* boson.csv 파일 불러오기
DATA_PATH = '/content/drive/MyDrive/Colab Notebooks/2023/data/'
df_boston = pd.read_csv(DATA_PATH + 'boston.csv')
df_boston.head(1)

df_boston.info()   # 결측치 없음

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 506 entries, 0 to 505
Data columns (total 14 columns):dtypes: float64(14)

👀 Pandas 행 / 열 추출하기

# CRIM, ZN, INDUS 컬럼 추출
cols = ['CRIM', 'ZN', 'INDUS']
result = df_boston.loc[:,cols]   # 첫 번째 방법 : loc 이용
result = df_boston[cols]         # 두 번째 방법
result

# 행 추출, ZN = 18.0 인 값만 조회, 컬럼은 CRIM, ZN, INDUS 추출
# 나눠서 하는 방법
result = df_boston['ZN'] == 18.0
cols = ['CRIM', 'ZN', 'INDUS']
result = result[cols]
result

# 한 번에 하는 방법
df_boston.loc[df_boston['ZN'] == 18.0, ['CRIM', 'ZN', 'INDUS']]

     CRIM	  ZN 	 INDUS
0	 0.00632	18.0	2.31

# 컬럼 이름 잘못 입력 시 KeyError 발생
df_boston.loc[df_boston['ZN'] == 18.0, ['CRIm', 'ZN', 'INDUS']]

KeyError: "['CRIm'] not in index"

👀 다중 조건식

cols = ['CRIM', 'ZN', 'target']

# CRIM 1보다 작고, target이 24 이상인 값만 조회
result = df_boston.loc[(df_boston['CRIM'] < 1) & (df_boston['target'] >= 24), cols]
result

138 rows × 3 columns

# CRIM 1보다 작거나, target이 24 이상인 값만 조회
result = df_boston.loc[(df_boston['CRIM'] < 1) | (df_boston['target'] >= 24), cols]
result

351 rows × 3 columns

-> and(&) / or(|) 연산자에 따라 row 수가 달라짐을 확인!

✌ 컬럼 이름값 변경

# 컬럼 이름값 변경 : rename() --> 딕셔너리 사용
* ZN --> landZone
result = df_boston.rename(columns={'ZN' : 'landZone'})
result.head(1)

# 컬럼 이름값 변경 : AGE --> A, TAX --> T, PTRATIO --> PR
tempDict = {'AGE' : 'A',
            'TAX' : 'T',
            'PTRATIO' : 'PR'
}
result = df_boston.rename(columns=tempDict)
result.head(1)

    CRIM	 ZN	 INDUS	CHAS	NOX	 RM	    A	  DIS	  RAD	  T	   PR	   B	 LSTAT	target
0	0.00632	18.0	2.31	0.0	0.538	6.575	65.2	4.09	1.0	296.0	15.3	396.9	4.98	24.0

✌ Pandas Data 세기

# value_counts()
df_boston['RAD'].value_counts()

24.0    132
5.0     115
4.0     110
3.0      38
6.0      26
2.0      24
8.0      24
1.0      20
7.0      17
Name: RAD, dtype: int64

# value_counts(normalize = )
df_boston['RAD'].value_counts(normalize = True)   # 비율로 나옴

24.0    0.260870
5.0     0.227273
4.0     0.217391
3.0     0.075099
6.0     0.051383
2.0     0.047431
8.0     0.047431
1.0     0.039526
7.0     0.033597
Name: RAD, dtype: float64

# np.round() - numpy() 사용하여 반올림
import numpy as np
result = np.round(df_boston['RAD'].value_counts(normalize = True),2)
result

24.0    0.26
5.0     0.23
4.0     0.22
3.0     0.08
6.0     0.05
2.0     0.05
8.0     0.05
1.0     0.04
7.0     0.03
Name: RAD, dtype: float64

 

📢 시계열 데이터 (pandas.Timestamp)

# 시계열 데이터 다루기
date_string = "2023-04-13 15:52:01"
datetime_obj = pd.to_datetime(date_string)
print(datetime_obj)
print(type(datetime_obj))

2023-04-13 15:52:01
<class 'pandas._libs.tslibs.timestamps.Timestamp'>

# timestamp class
https://pandas.pydata.org/docs/reference/api/pandas.Timestamp.html

# Timestamp class

# 여러 개의 시계열 데이터
date_list = ['2023-04-12', '2023-04-13', '2023-04-14']
datetime_obj_list = pd.to_datetime(date_list)
print(datetime_obj_list)
print(type(datetime_obj_list))

DatetimeIndex(['2023-04-12', '2023-04-13', '2023-04-14'], dtype='datetime64[ns]', freq=None)
<class 'pandas.core.indexes.datetimes.DatetimeIndex'>

# DatetimeIndex class
https://pandas.pydata.org/docs/reference/api/pandas.DatetimeIndex.html

# DatetimeIndex class

👏 object - datatime class 변환  :  For using method in datetime class

# object 를 datetime class 형태로 변환
sales['datesold'] = pd.to_datetime(sales['datesold'])
sales['year'] = pd.to_datetime(sales['datesold']).dt.year
sales['month'] = pd.to_datetime(sales['datesold']).dt.month
sales['day'] = pd.to_datetime(sales['datesold']).dt.day

sales.head(1)

   datesold	postcode	price	propertyType	bedrooms	year	month	day
0	2007-02-07	2607  	525000	  house	        4	    2007	  2	   7

sales.tail(1)

       datesold	postcode	price	propertyType	bedrooms	year	month	day
29579	2019-07-26	2612	  775000	  unit	       2	     2019	  7	   26


# 데이터의 요일에 대한 구간 구하기
sales['datesold'].max() - sales['datesold'].min()

Timedelta('4553 days 00:00:00')

📅 datetime method - shift()

# shift() - 칸을 건너띄도록 설정
# Ex. 주가에서 전일/전주 대비 비교 가능
# shift(숫자, fill_value = 0) : none 으로 안나오도록 / .astype(int) : int type 설정
temp_df = sales[['datesold', 'price']].copy()
temp_df['shifted_v1'] = temp_df['price'].shift(1, fill_value = 0).astype(int)
temp_df['shifted_v2'] = temp_df['price'].shift(2, fill_value = 0).astype(int)

temp_df['차이값'] = temp_df['price'] - temp_df['shifted_v1']
temp_df.head()

    datesold	price	shifted_v1	shifted_v2	차이값
0	2007-02-07	525000   	0	           0	     25000
1	2007-02-27	290000	525000	       0	   -235000
2	2007-03-07	328000	290000	    525000	   38000
3	2007-03-09	380000	328000	    290000	   52000
4	2007-03-21	310000	380000	    328000	  -70000


# 표시형식 만들기 - 0000년 00월 00일
temp_df['한글날짜'] = temp_df['datesold'].dt.strftime('%Y년 %m월 %d일')
temp_df.head()

    datesold	price	shifted_v1	shifted_v2	차이값	   한글날짜
0	2007-02-07	525000	   0	         0	    525000	2007년 02월 07일
1	2007-02-27	290000	525000	       0	   -235000	2007년 02월 27일
2	2007-03-07	328000	290000	    525000	   38000	2007년 03월 07일
3	2007-03-09	380000	328000	    290000	   52000	2007년 03월 09일
4	2007-03-21	310000	380000	    328000	  -70000	2007년 03월 21일