함께하는 데이터 분석

안녕하세요. 오늘은 토픽모델링에 대해 알아볼게요. 우선 토픽모델링이란? 토픽 모델링(Topic Modeling)은 전체 내용물에서 일정한 패턴을 발견해 내는 알고리즘 기반 텍스트 마이닝(Text Mining)의 한 형태입니다. 위의 사진을 보면 노란색 박스에 분류된 그룹은 유전과 관련된 단어 핑크색 박스에 분류된 그룹은 생명 초록색 박스는 뇌과학, 하늘색 박스는 컴퓨터과학과 관련됐다고 유추할 수 있습니다! 그렇다면 우리는 R로 구현하여 위와 같이 만들어보겠습니다. 그중 LDA(Latent Dirichlet Allocation)를 활용해볼게요! # 패키지 설치 install.packages("topicmodels") install.packages("tidytext") install.packages("tid..

안녕하세요! 오늘은 Factor Analysis의 약자인 FA에 대해 알아보겠습니다. 파일은 저번이랑 똑같은 이 파일입니다. 만약 파일 정보가 필요하시다면 2022.02.06 - [분류 전체보기] - [EDA] PCA with R [EDA] PCA with R 오늘은 Principal Component Analysis 일명 PCA에 대해 간단한 예제를 R을 통해 알아보는 시간을 갖겠습니다! 그러기에 앞서 필요한 파일을 첨부하겠습니다. 위 데이터는 주식에 관한 10개 회사의 값입니 tnqkrdmssjan.tistory.com 여기서 확인해주세요! 그럼 시작하겠습니다. ### perfrom factor analysis with 3 factors but without any rotation kval>> Loa..

오늘은 Principal Component Analysis 일명 PCA에 대해 간단한 예제를 R을 통해 알아보는 시간을 갖겠습니다! 그러기에 앞서 필요한 파일을 첨부하겠습니다. 위 데이터는 주식에 관한 10개 회사의 값입니다. 그럼 시작해볼까요? rm(list=ls()) #할당변수 모두 제거 load("stockreturns.RData") #데이터 불러오기 ls() #변수 확인 >>> [1] "stocks" head(stocks) tail(stocks) str(stocks) #구조 파악 >>> 'data.frame':100 obs. of 10 variables: $ comp1 : num 0.44781 0.98811 0.87456 0.7144 0.00535 ... $ comp2 : num 0.0673 1...

안녕하세요! 오늘은 Singular Value Decomposition의 약자인 SVD에 대해 R을 통해 알아보겠습니다. 우선 코딩에 필요한 파일을 올려놨습니다. 그럼 시작해볼게요! load("face.rda") #파일 불러오기 image(t(faceData)[, nrow(faceData):1]) svd1$d #singular value >>> [1] 1.977887e+01 1.513802e+01 1.213935e+01 8.427234e+00 6.200006e+00 [6] 4.936858e+00 4.402278e+00 3.967227e+00 3.743197e+00 3.017167e+00 [11] 2.967196e+00 2.406314e+00 1.899693e+00 1.555837e+00 1.492379e..

1과목 마지막인 3장을 공부해볼게요! 3장_1절 빅데이터 분석과 전략 인사이트 1. 빅데이터 회의론의 원인 부정적 학습효과 -> 과거의 고객관계관리(CRM) : 공포 마케팅, 투자 대비 효과 미흡 부적절한 성공사례 -> 빅데이터가 필요 없는 분석사례, 기존 CRM의 분석 성과를 빅데이터 분석 성과로 과대 포장 즉, 단순히 빅데이터에 포커스를 두지 말고, 분석을 통해 가치를 만드는 것에 집중해야 함 2. 일차원적인 분석 vs 전략 도출을 위한 가치 기반 분석 1) 산업별 분석 애플리케이션 산업 일차원적 분석 애플리케이션 금융 서비스 신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석 병원 가격 책정, 고객 로열티, 수익 관리 에너지 트레이딩, 공급, 수요 예측 정부..

ADsP 1과목 2장을 공부하고 요약했습니다. 다시 한번 이 시험의 정보는 이전 블로그에 발행한 2021.12.21 - [분류 전체보기] - [ADsP] ADsP 자격증 함께 취득해요! [ADsP] ADsP 자격증 함께 취득해요! 이번에 ADsP 2022년 첫 시험을 보려고 하는데요! 제가 보는 시험 일정입니다! 같이 신청하고 공부해요!! 이제 제가 구입한 책을 소개해드리겠습니다. 인터넷 검색했을때 가장 많이 보이는 일명 파 tnqkrdmssjan.tistory.com 여기를 참고해 주시고 이제 시작할게요! 2장_1절 빅데이터의 이해 1. 빅데이터의 정의 1) 관점에 따른 정의 Mckinsey,(2011) IDC(2011) 가트너 그룹(Gartner Group) 더그 래니(Doug Laney)의 3V 일..

오늘은 ADsP를 공부하고 요약해보는 시간을 갖겠습니다! 제가 보는 시험의 정보는 바로 2021.12.21 - [분류 전체보기] - [ADsP] ADsP 자격증 함께 취득해요! [ADsP] ADsP 자격증 함께 취득해요! 이번에 ADsP 2022년 첫 시험을 보려고 하는데요! 제가 보는 시험 일정입니다! 같이 신청하고 공부해요!! 이제 제가 구입한 책을 소개해드리겠습니다. 인터넷 검색했을때 가장 많이 보이는 일명 파 tnqkrdmssjan.tistory.com 여기에 있으니 참고해주시고 이제 시작하겠습니다. 1장_1절 데이터와 정보 1. 데이터의 유형 정성적 데이터(qualitative data) : 저장, 검색, 분석에 많은 비용이 소모되는 언어. 문자 형태의 데이터(ex : 회사 매출이 증가함) 정량..

안녕하세요! 오늘은 EDA수업에서 배우는 또 다른 Clustering 기법인 k-means clustering을 R을 통해 알아보겠습니다. 간단한 좌표 설정 set.seed(1234) #rnorm으로 생성된 값 계속쓰기 위해 고정 x >> [1] 3 3 3 3 1 1 1 1 2 2 2 2 points(x, y, col = kmeansObj$cluster, pch = 19, cex = 2) image() 이용하기 par(mfrow=c(1,2)) #그래픽 1행 2열로 보이게 image(t(dataFrame)[, nrow(dataFrame):1], yaxt = "n", main = "Original Data") image(t(dataFrame)[, order(kmeansObj$cluster)], yaxt = ..

안녕하세요! 오늘은 Exploratory Data Analysis 수업에서 배우는 Clustering종류 중 Hierarchical Clustering에 대한 간단한 예제를 R코드를 통해 알아보겠습니다! 그럼 시작해볼게요! 간단한 좌표 설정 set.seed(1234) #rnorm으로 생성된 값 계속쓰기 위해 고정 x

안녕하세요! 오늘은 Discrete Distribution의 소개에 이어서 대표적인 Continuous Distribution을 알아보겠습니다. 1. Uniform Distribution : The random variable X has a uniform distribution. 2. Exponential Distribution : In Poisson process with mean number of changes λ in the unit interval, if the random variable X denote the waiting time until the first change occurs, then distribution of X is an exponential distribution. 3. Ga..