함께하는 데이터 분석

오늘은 머신러닝에서 자주 등장하는 앙상블 기법에 대해 알아볼게요! 우선 앙상블(Ensemble)이란 여러 개의 분류기를 생성하여 예측값을 종합하여 보다 정확한 예측값을 구하고 각각의 분류기를 사용했을 때의 단점을 보완해주는 기법입니다. 앙상블 기법에는 대표적으로 Voting, Bagging, Boosting이 있습니다. 이제 각각의 기법을 간단하게 살펴보겠습니다! Voting 보팅에는 Hard Voting과 Soft Voting이 있습니다. Hard Voting은 weak learner들의 예측값을 다수결의 원칙을 사용하여 나타내는 것입니다. 위의 사진을 보면 1을 예측한 분류기가 3개, 2를 예측한 분류기가 1개 이므로 다수결의 원칙에 따라 1로 예측하는 것입니다. 최빈값으로 결정한다고 할 수 있죠. ..

안녕하세요! 오늘은 로지스틱 회귀모형을 Python으로 돌려보겠습니다. 다른 포스팅에도 개념은 설명되어 있어 간단하게 말하고 넘어갈게요. 로지스틱 회귀는 이진 분류기로 샘플이 특정 클래스에 속할 확률을 추정합니다. 추정 확률이 50%가 넘으면 그 샘플이 해당 클래스에 속한다고 예측합니다. 0 이면 음성 클래스, 1이면 양성 클래스로 보통 분류합니다. 이제 Python의 iris데이터를 활용하여 분류해볼게요! 라이브러리 불러오기 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt import sklearn import warnings warnings.filterwarnings('ignore')..

안녕하세요. 머신러닝을 돌리기 전 전처리 작업 중 하나인 인코딩에 대해 살펴볼게요. 전 포스트에서 말씀드렸기에 간단하게 설명한다면 인코딩은 문자형 변수를 수치형 변수로 변환해주는 것입니다. 저번 포스팅에서는 Label Encoding을 알아봤고 이번에는 One-Hot Encoding을 살펴볼게요. One-Hot Encoding 머신러닝을 공부하신 분들이라면 한 번씩은 들어보셨을 One-Hot Encoding입니다. One-Hot Encoding은 말 그대로 하나만 Hot하고 나머지는 Cold 한다는 뜻입니다. 새로운 칼럼을 추가하여 해당하는 칼럼에만 1을 표시하고 나머지 칼럼에는 0을 표시합니다. 이제 Python을 통해 One-Hot Encoding을 진행해보겠습니다. 라이브러리 불러오기 import ..

안녕하세요. 머신러닝을 돌리기 전 전처리 작업 중 하나인 인코딩을 살펴보겠습니다. 머신러닝 알고리즘은 대부분 문자형 데이터를 이해하지 못하므로 수치형 데이터로 인코딩하는 작업은 거의 필수적이라고 할 수 있습니다. 그래서 오늘은 사이킷런의 대표적인 두 가지 인코딩 방법 중 Label Encoding을 알아보겠습니다. Label Encoding Label Encoding은 어떤 피쳐의 n개의 범주형 데이터를 0 ~ n-1의 수치형 데이터로 변환합니다. 이때 이 변환 값이 수치적 차이를 나타내는 것은 아닙니다. 따라서 선형 회귀 등의 알고리즘에는 적용하는 것은 적합하지 않고 트리 계열의 알고리즘에는 적용해도 괜찮습니다. 이제 Python을 통해 Label Encoding을 살펴보겠습니다. 라이브러리 불러오기 ..

오늘은 마지막 스케일링인 Robust Scaling에 대해 알아보겠습니다. Robust Scaling Robust Scaling은 데이터 값에서 데이터의 중위수를 뺀 것을 IQR인 Q3 - Q1으로 나눈 것입니다. 통계를 배우다 보면 중위수가 이상치에 강하다는 특징을 배울 것입니다. 이 Robust Scaling 역시 이상치의 영향을 최소화하는 스케일링입니다. Standard Scaling에 비해 넓은 범위로 스케일링되는 특징이 있습니다. 이제 Python을 통해 Robust Scaling을 진행하겠습니다. 라이브러리 불러오기 import numpy as np import pandas as pd import seaborn as sns import sklearn 데이터 불러오기 및 정제하기 mpg = sn..

안녕하세요. 오늘은 Scaling 중 하나인 MaxAbs Scaling을 살펴보겠습니다. 바로 시작해볼게요! MaxAbs Scaling MaxAbs Scaling은 데이터의 최대 절댓값이 1, 0이 0으로 스케일링됩니다. 즉, 절댓값이 0에서 1 사이로 매핑되므로 결과적으로 -1에서 1 사이로 스케일링됩니다. Standard Scaling, Min-Max Scaling과 마찬가지로 이상치에 민감하며 앞 2개의 Scaling에 비해 상대적으로 덜 사용됩니다. 이제 Python의 Scikit Learn을 통해 스케일링을 해보겠습니다. 라이브러리 불러오기 import numpy as np import pandas as pd import seaborn as sns import sklearn 데이터 불러오기 및 ..

저번 시간에 본 Standard Scaling에 이어서 오늘은 Min-Max Scaling을 공부해보겠습니다. 스케일링을 하는 이유는 앞선 포스팅인 2022.05.10 - [데이터분석 공부/ML | DL] - [Scikit Learn] Standard Scaling [Scikit Learn] Standard Scaling 안녕하세요. 오늘은 Numerical feature를 Scaling을 해보겠습니다. Scaling의 여러 가지 방법 중 Standard Scaling을 알아보겠습니다. 우선 Scaling을 하는 이유를 말씀드리겠습니다. 예를 들어 머신러닝을 진행 tnqkrdmssjan.tistory.com 이 포스팅을 참고해주세요! 이제 본격적으로 Min-Max Scaling을 알아보겠습니다. Min-..

안녕하세요. 오늘은 Numerical feature를 Scaling을 해보겠습니다. Scaling의 여러 가지 방법 중 Standard Scaling을 알아보겠습니다. 우선 Scaling을 하는 이유를 말씀드리겠습니다. 예를 들어 머신러닝을 진행할 때 종속변수 Y가 토익점수이고 반응 변수 X1은 하루에 영어를 공부하는 시간(단위 : 분) 반응 변수 X2는 모의토익에 응시한 횟수라고 생각해볼게요. 그렇다면 토익 시험이 얼마 남지 않았을 때 하루 6시간을 공부했다고 하면 X1의 값은 360이 되고, 모의토익의 응시 횟수가 10번 정도라고 하면 값의 차이가 너무 크게 나오는 것을 볼 수 있습니다. 이럴 때 반응 변수인 토익점수는 X1인 영어를 공부한 시간에 대해 영향을 크게 받습니다. 반대로 말하면 X2인 모..