본문 바로가기

전체 글

(34)

[Python]Pandas _ Merge, Concat ✅ Data Load # Data Load (df1, df2) DataUrl = 'https://raw.githubusercontent.com/Datamanim/pandas/main/mergeTEst.csv' df = pd.read_csv(DataUrl) df = df.set_index('Location') df1 = df.iloc[:4,:] df2 = df.iloc[4:,:] display(df1) display(df2) ✅ df1, df2 데이터를 하나의 데이터 프레임으로 합치기 # df1, df2 데이터를 하나의 데이터 프레임으로 합치기 total = pd.concat([df1,df2]) Ans = total Ans ✅ df3과 df4 데이터를 하나의 데이터 프레임으로 합치기 # df3과 df4 데..

[Python] Pandas _ Pivot ✅ Data Load & 컬럼 삭제 및 수정 # Data Load # Indicator을 삭제하고 First Tooltip 컬럼에서 신뢰구간에 해당하는 표현을 지우기 DataUrl = 'https://raw.githubusercontent.com/Datamanim/pandas/main/under5MortalityRate.csv' df = pd.read_csv(DataUrl) df.drop('Indicator', axis=1, inplace=True) df['First Tooltip'] = df['First Tooltip'].map(lambda x : float(x.split("[")[0])) Ans = df Ans.head(4) ✅ 특정 케이스 추출 # 년도가 2015년 이상, Dim1이 Both sex..

[Python] Pandas _ Time Series ✅ Data Load # Data Load / Data type 파악 DataUrl = 'https://raw.githubusercontent.com/Datamanim/pandas/main/timeTest.csv' df = pd.read_csv(DataUrl) Ans = df.info() RangeIndex: 6574 entries, 0 to 6573 Data columns (total 13 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 Yr_Mo_Dy 6574 non-null object 1 RPT 6568 non-null float64 2 VAL 6571 non-null float64 3 ROS 6572 non-nu..

[Python] Pandas _ Apply, Map ✅ Data Load # Data Load & 데이터 행, 열의 갯수 출력 DataUrl = 'https://raw.githubusercontent.com/Datamanim/pandas/main/BankChurnersUp.csv' df = pd.read_csv(DataUrl) Ans = df.shape Ans (10127, 19) ✅ Mapping # Income_Category의 카테고리를 map 함수를 이용하여 다음과 같이 변경하여 newIncome 컬럼에 매핑하라 # Unknown : N # Less than $40K : a # $40K - $60K : b # $60K - $80K : c # $80K - $120K : d # $120K + : e dic = { 'Unknown' : 'N', 'Les..

[Statistics] 로지스틱 회귀분석 (Logistic Regression Analysis) 🖐 로지스틱 회귀분석을 하기 위해 알아둬야 할 2가지 - 독립변수 : 연속형, 범주형 구분 - OR(Odds Ratio, 오즈비) 또는 Exp(B) : OR ≥ 1 (b=양수), OR < 1 (b=음수) 따라서, 총 4가지의 경우의 수로 해석하게 된다. ① 독립변수(연속), OR ≥ 1 (b=양수) ② 독립변수(연속), OR

[Deep Learning] 인공 신경망 🎈 인공 신경망 (artificial neural network) 🎲 사람의 뇌 속 뉴런의 작용을 본떠 패턴을 구성한 컴퓨팅 시스템의 일종 🎈 인공 신경망 뉴런 👉 생물학적인 뉴런을 수학적으로 모델링한 것 👉 여러 입력값을 받아서 일정 수준이 넘어서면 활성화되어 출력값을 내보냄 🎲 하나의 인공 뉴런(노드, node) 에서 다수의 입력 신호를 받아서 하나의 신호를 출력 🎲 뉴런의 돌기가 신호를 전달하는 역할을 하듯이 인공 뉴런에서는 가중치(weight) 가 그 역할을 함 각 입력신호에는 고유한 가중치가 부여되며 가중치가 클수록 해당 신호가 중요하다고 할 수 있음 🎈 인공 신경망의 작동 원리 👉 입력신호를 통한 출력값은 hΘ 함수 로 표현되며, 활성화 함수 (Activation Function) 라고 함 🎈..

Streamlit / BigQuery 를 활용한 배포 (API) 🎈 실습 순서 👉 서울시 부동산 실거래가 API 크롤링으로 가져오기 👉 JSON 형태의 데이터를 pandas 데이터프레임으로 변환하기 👉 데이터프레임을 BigQuery에 전체 데이터를 저장하기 👉 저장된 데이터프레임을 BigQuery에서 일부 컬럼만 불러오기 🎈 실습 1 - API 크롤링에서 BigQuery로 데이터 저장 🎲 .streamlit/secrets.toml 을 열고 아래와 같이 설정하기 🎲 seoul_api_key : 서울 열린데이터 광장 api key 를 의미 🎲 gcp_service_account 아래 내용은 api key 를 json 파일로 열면 확인 가능 # .streamlit/secrets.toml [public_data_api] seoul_api_key = 'your_api_key'..

구글 클라우드 BigQuery 활용을 위한 세팅 (API) ✋ 새 프로젝트 만들기 ✋ API 및 서비스 ✋ API 라이브러리 - Bigquery API 검색 ✋ 사용자 인증 정보 만들기 ✋ 로컬 / Streamlit 에서 사용 가능하도록 Key 받기

목록 더보기

티스토리툴바