함께하는 데이터 분석

Transformer 2017 NIPS에서 Google이 소개 CNN이나 RNN이 주를 이루었던 연구들에서 벗어난 아예 새로운 모델이고 실제 적용했을 때 큰 성능 향상을 보임 multi-head self-attention을 이용해 sequential computation을 줄여 더 많은 부분을 병렬처리가 가능하며 더 많은 단어들 간의 dependency를 모델링 함 이를 하나의 black box라고 보면 어떤 한 언어로 된 하나의 문장을 입력으로 받아 다른 언어로 된 번역을 출력으로 내놓음 black box를 열어보면 우리는 인코딩 부분, 디코딩 부분 그리고 그 사이를 이어주는 connection들을 보게 됨 인코딩 부분은 여러 개의 인코더를 쌓아 올려 만든 것이고 디코딩 부분은 인코딩 부분과 동일한 개..

탈 중앙화 금융(DeFi)의 현황과 시사점 디파이란 탈 중앙화 금융의 약자로 중개기관 없이 P2P 방식으로 금융서비스를 제공하는 것 의미하며 이용자들 간의 신뢰를 보증하기 위해 블록체인 기술을 활용 디파이 플랫폼은 당사자와의 직접거래, 스마트 계약에 따른 자동화, 높은 수익률 등의 특징을 보임 디파이 서비스는 기존 금융회사가 진입할만한 시장은 아니지만, JP Morgan, 골드만삭스 등은 고객잠식을 방지하기 위해 규제기관이 허용한 가상자산 관련 비즈니스를 전개하는 전략을 추진 최근 루나사태로 인한 신뢰도 저하, 가상자산 하락으로 인해 디파이 시장은 당분간 위축될 것으로 전망 오픈 파이낸스 오픈파이낸스란? : 현재는 개발 서비스라고 볼 수 있는 오픈뱅킹, 마이데이터, 마이페이먼트를 합쳐서 종합 금융 플랫폼..

메타버스와 금융 서비스 간 연계 가능성 분석 메타버스는 이미 온라인 게임 시장을 넘어 건설, 의료, 항공 등 다양한 분야에서 활용되고 있으며 금융 부문에서도 이와 같은 사례가 다수 확인 됨 고객이 메타버스를 통해 기존 비대면 채널보다 직관적으로 금융 서비스 이용을 기대 기존 채널을 통해 확보할 수 없었던 정보들을 금융회사 및 핀테크 기업이 활용하여 신사업 추진의 원동력이 될 수 있음 금융회사가 메타버스를 자사 서비스와 연계시키고자 한다면 부동산, 매출 채권, 주식 등 각 증권의 속성을 토큰 형태로 발행하여 이의 정당한 소지인에게 배당, 의결권, 지분 등의 권리를 부여할 방법 모색해 볼 필요 있음 메타버스 체험하는데 필요한 기기, 환경 구현을 위해 필요한 인프라 확보 위해 일정 수준의 비용발생 고려 => ..

은행과 핀테크 간 새로운 상생 BaaS(Banking as a service) BaaS란? 라이선스를 가진 은행이 핀테크, 스타트업 등 제 3자에게 라이선스 없이 은행 관련 서비스를 할 수 있도록 솔루션 단위의 서비스를 제공하는 것 은행은 이를 통하여 새로운 고객, 서비스와 수익을 창출하고, 제 3자는 라이선스 없이 규제도 피하며 새로운 서비스 창출의 기회를 얻는 것 은행의 디지털 전환은 생존을 위한 필수전략이며, BaaS는 그 최전선에 있음 여전히 은행은 규제산업으로 아무나 라이센스 취득 불가하며 은행은 이러한 강점을 극대화하는 전략으로 BaaS를 적극 활용하면서, 외부의 파트너들과 제휴를 통하여 위기를 극복해야 함 자연어 처리기술 활용법 자연어 처리 기술로 AI가 작성한 블로그 게시물이 바이럴 마케팅..

노년층 디지털 격차 최근 급격한 디지털 전환에 따른 급격한 변화가 노년층에게 편리성 증가가 아니라 심리적 부담으로 이어짐 따라서 디지털 전환으로 인한 인지적 위축과 심리적 잠복을 우선적으로 해결해야 함 '가짜뉴스'와 '디지털 금융사기'에 취약하므로 연령, 특성등에 따라 세분화를 하고 차별화된 디지털 교육이 필요 즉, 이러한 인프라가 갖추어지기 전 까지는 영업점을 단순히 축소하는 것이 아니라 같이 가야 함(노인 인구 역피라미드) 대안 신용평가 모형 전통적인 신용평가 모형은 과거 재무정보를 기반으로 하므로 위험을 적시성 있게 반영하기 어려우며 차주의 재정 상태의 정보가 부족한 경우 신용도 파악이 제한적임 대안 신용평가 모형은 기존의 전통 금융시장에서 활용하지 않았던 비금융정보로 차주의 신용도를 평가 대안 신..

CatBoost CatBoost는 많은 범주형 변수로 이루어진 데이터셋에서 성능이 매우 우수하여 categorical boost라고도 불립니다 특히 CatBoost는 다른 boosting 기반 알고리즘과 달리 categorical feature를 특별하게 처리합니다 One-Hot Encoding이나 Label Encoding 등 인코딩 과정 없이 그대로 모델에 적합시킬 수 있습니다 또 categorical feature를 그대로 모델에 넣어주면 Ordered Target Encoding을 진행합니다 Target Encoding에서 발생할 수 있는 data leakage 문제를 해결하기 위해 과거의 데이터를 이용하여 현재의 데이터를 인코딩하는 원리입니다 부스팅을 할 때 일반적인 Boosting이 아닌 Or..

XGBoost XGBoost는 "eXtreme Gradient Boosting"에서 따온 이름입니다 XGBoost는 Gradient Boosting 방법 중 하나로 많은 장점이 존재합니다 장점 효율성, 유연성이 뛰어남 overfitting 방지 가능(과적합 규제) 신경망 모델에 비해 시각화와 직관적인 이해가 쉬움 cross validation을 지원 높은 성능을 나타내어 kaggle, dacon에 많이 사용 early stopping(조기종료) 기능이 있음 missing value를 내부적으로 처리 단점 하이퍼파라미터 수가 너무 많음 XGBoost는 앞선 LightGBM 포스팅에서 본 것과 같이 level-wise로 수평적으로 확장됩니다 Python 실습 import numpy as np import w..

LightGBM LightGBM은 Gradient Boosting Machine에서 Light를 추가한 것입니다 Light가 붙은 만큼 속도도 빠르고 큰 사이즈의 데이터를 다룰 수 있고 실행시킬 때 적은 메모리를 차지합니다 추가로 LightGBM은 GPU 학습을 지원하고 결과의 정확도에 초점을 맞추므로 인기 있는 모델입니다 LightGBM은 기본적으로 GBM의 학습방식의 틀린 부분에 가중치를 주며 진행하는 방식입니다 GBM에 대한 소개는 이전 포스팅을 참고하세요 2023.01.15 - [데이터분석 공부/ML | DL] - [ML] Gradient Boosting Machine [ML] Gradient Boosting Machine Gradient Boosting Machine Gradient Boosti..

머신러닝 분류 모델에서 성능 평가 지표로 Confusion Matrix를 기반으로 하여 Accuracy, Precision, Recall, F1 score 등으로 측정합니다 Confusion Matrix Prediction positive(1) negative(0) Actual positive(1) TP FN negative(0) FP TN TP(True Positive) : 실제 positive인데 예측도 positive인 경우 FN(False Negative) : 실제 positive인데 예측은 negative인 경우 - Type II error FP(False Positive) : 실제 negative인데 예측은 positive인 경우 - Type I error TN(True Negative) : ..

Gradient Boosting Machine Gradient Boosting Machine, GBM은 이름에서도 알다시피 Boosting 알고리즘입니다 앙상블과 부스팅에 관한 설명은 이전 포스팅을 참고해 주세요 2022.08.19 - [데이터분석 공부/ML | DL] - [Ensemble] 머신러닝 앙상블 기법 [Ensemble] 머신러닝 앙상블 기법 오늘은 머신러닝에서 자주 등장하는 앙상블 기법에 대해 알아볼게요! 우선 앙상블(Ensemble)이란 여러 개의 분류기를 생성하여 예측값을 종합하여 보다 정확한 예측값을 구하고 각각의 분류기를 tnqkrdmssjan.tistory.com GBM을 알기 위해서는 AdaBoost에 대해서도 알아야 하는데 AdaBoost는 오류 데이터에 가중치를 부여하면서 부스..