함께하는 데이터 분석

오늘은 빅데이터분석기사 필기 합격 후기를 작성하려고 합니다 이번학기가 4학년 1학기여서 빅분기 필기 응시자격을 받았는데요 빅데이터분석기사는 이번 4월 8일 시험이 6회로 오래되진 않은 시험입니다 그래서 시험에 대한 정보가 생각보다 적어 어떤 책으로 해야 되는지 기간을 얼마나 잡아야 하는지 몰랐습니다 그러던 와중 기업은행 인턴할 당시 옆 인턴이 2022년 빅분기 수제비 책을 줘서 그것으로 준비했습니다 그럼 어떤 시험인지 조금 더 알아볼게요! 빅분기 목차 1. 빅데이터 분석 기획 2. 빅데이터 탐색 3. 빅데이터 모델링 4. 빅데이터 결과 해석 이렇게 이루어져 있는데 우선 1단원인 빅데이터 분석 기획은 쌩 암기단원입니다 ADsP를 준비하셨으면 조금 수월하실 것 같아요 2단원인 빅데이터 탐색은 통계학과를 전공..

안녕하세요! 오늘은 48회 SQLD 합격 후기를 작성하려고 합니다 이전 46회 때 총점 70점을 넘을 넘겼었는데 1과목 과락으로 인해 떨어졌습니다 그래서 이번 시험에서는 이틀 잡고 이론과 노랭이만 풀고 시험을 보려고 했는데 시험 하루 전날 몸살로 인해 이론만 한번 훑어보고 시험을 봤는데 운 좋게도 합격하게 되었습니다! 시험 전날 아파서 문제를 풀진 못했지만 침대에 누워서 유튜브로 강의를 봤는데 도움을 많이 받아서 공유하려고 합니다 https://www.youtube.com/watch?v=PC3ypt_VGWI https://www.youtube.com/watch?v=PjCSvexo3Ow 이 두 강의로 한번 쭉 다시 정리하고 시험장에 들어갔습니다 이론을 한번 훑어보고 노랭이와 기출을 풀고 나서 정리할 겸 마..

안녕하세요! 오늘은 SQL 최적화 기본 원리에 해당하는 부분을 정리해볼게요. CBO(Cost Based Optimizer) 테이블 및 인덱스 등의 통계 정보를 활용하여 소요될 처리시간 등을 계산하여 가장 효율적일 것으로 예상되는 실행계획을 선택하는 옵티마이저 실행계획 알 수 있는 정보 1) 액세스 기법 2) 질의 처리 예상 비용 3) 조인 순서 설명 1) 실행계획은 SQL 처리를 위한 실행 절차와 방법을 표현한 것 2) 실행계획은 조인 방법, 조인 순서, 액세스 기법 등이 표현됨 3) 동일 SQL문에 대해 실행계획이 다르면 실행 결과도 같음 4) CBO의 실행계획에는 단계별 예상 비용 및 건수 등이 표시 인덱스 1) 기본 인덱스(Primary key)에 중복된 키 값들이 나타날 수 없음 2) 기본 인덱스..

안녕하세요. 오랜만에 블로그에 글을 포스팅합니다! 오늘은 SQL 기본 및 활용에서 기본에 해당하는 부분의 중요한 핵심 내용을 기록해보겠습니다. DCL GRANT, REVOKE DDL CREATE, ALTER, DROP, RENAME, TRUNCATE DML INSERT, UPDATE, DELETE, SELECT TCL ROLLBACK, COMMIT, SAVE POINT UNIQUE : 테이블 내의 중복된 값 x, NULL 입력 가능 PK : 주키로 테이블 당 1개만 생성 가능(UNIQUE & NOT NULL) FK : 외래키로 테이블 당 여러 개 생성 가능(참조 무결성 제약) NOT NULL : 칼럼이 명시적으로 NULL 입력 방지 NULL이란? 모르는 값, 값의 부재, 연산시 NULL로 ON DELET..

안녕하세요! 오늘은 이번 2월 26일 날 시행된 ADsP(Advanced Data Analytics semi-Professional) 시험에 합격한 후기를 작성하려고 합니다!! 어찌 보면 나름 전공자라 당연한 건데 제가 2월 10일부터 가족의 코로나로 인해 격리가 시작됐습니다 ㅠㅠ 이후 2월 13일 저도 코로나 확진이 되고 2월 20일에 격리가 해제돼서 공부를 한 기간이 4일 정도였습니다. 그전에 뭐했냐고 하신다면... 놀았습니다 ㅠㅠ 그렇다면 어떻게 공부했는지를 말씀드리겠습니다. 우선 제가 공부한 기간 4일 동안 하루에 1시간 반 정도 투자를 했습니다. 3과목 데이터분석 쪽은 아무래도 익숙한 부분이고 배점도 가장 커서 수월했습니다. 1과목과 2과목은 완전 암기 단원이라 과락이 될까 봐 걱정됐습니다.. ..

의사결정나무 알고리즘 분류 기준 알고리즘 이산형 변수 연속형 변수 CART 지니지수 분산감소량 C5.0 엔트로피지수 CHAID 카이제곱 통계량 p-value ANOVA F-통계량 은닉층 노드가 너무 많으면 과적합 문제 은닉층 노드가 너무 적으면 의사결정 경계를 만들 수 없다 은닉층의 개수가 너무 많아 역전파 과정에서 발생하는 문제 기울기 소실 문제 Softmax() 각 범주에 속할 사후 확률을 제공하는 함수 홀드아웃방법 모형 평가 방법 중 주어진 데이터를 랜덤 하게 두 개의 데이터로 구분하여 사용하는 방법으로 주로 학습용과 시험용으로 분리하여 사용하는 방법 향상도곡선 분류 분석의 모형을 평가하는 방법으로 랜덤 모델과 비교하여 해당 모델의 성과가 얼마나 향상되었는지를 각 등급별로 파악하는 그래프 의사결정나..

분석 과제 발굴 방식 중 하향식 접근법 문제 발견 -> 문제 정의 -> 해결책 탐색 -> 데이터 분석 타당성 평가 빅데이터 분석 방법론의 분석 기획 단계 ①비즈니스 이해 및 범위 설정 ②프로젝트 정의 및 계획 수립 ③프로젝트 위험 계획 수립 분석 마스터플랜을 수립할 때 적용 범위 및 방식에 대한 고려요소 ①업무 내제화 적용 수준 ②분석 데이터 적용 수준 ③기술 적용 수준 마스터플랜 수립할 때 우선순위 고려요소 ①전략적 중요도 ②비즈니스 성과/ROI ③실행 용이성 비즈니스 모델 캔버스 업무 -> 제품 -> 고객 -> 규제&감사 -> 지원 인프라 빅데이터기획전문가 회사 내 기능 조직, 비즈니스 분석 또는 BI조직에 소속되어 있으면서 빅데이터 분석 전문 조직과 협력을 통하여 업무에 필요한 분석 모델이나 예측 ..

오늘은 간단하게 이번 2월 26일 시험인 ADsP 기출을 풀다가 틀린 문제를 제가 다시 보려고 작성하는 오답노트라고 할 수 있겠습니다. 시작해볼게요! 반정형데이터 내부에 메타 데이터 갖고 있음 메타 데이터 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명해주는 데이터 데이터 매시업(Mashup) 기존에 풀기 어려웠던 문제 해결에 도움 CRM 단순한 정보의 수집에서 탈피, 분석 중심의 시스템 구축 지향 ERP 기업 전체를 경영자원의 효과적 이용이라는 관점에서 통합적으로 관리하고 경영의 효율화를 기하기 위한 시스템 플랫폼형 비즈니스 모델 상품, 서비스, 기술 등의 기반 위에 다른 이해관계자들이 보완적인 상품, 서비스, 기술을 제공하는 생태계 구축을 목표로 하는 비즈니스 모델 데이터 난수화 사생활 침해 막..

1과목 마지막인 3장을 공부해볼게요! 3장_1절 빅데이터 분석과 전략 인사이트 1. 빅데이터 회의론의 원인 부정적 학습효과 -> 과거의 고객관계관리(CRM) : 공포 마케팅, 투자 대비 효과 미흡 부적절한 성공사례 -> 빅데이터가 필요 없는 분석사례, 기존 CRM의 분석 성과를 빅데이터 분석 성과로 과대 포장 즉, 단순히 빅데이터에 포커스를 두지 말고, 분석을 통해 가치를 만드는 것에 집중해야 함 2. 일차원적인 분석 vs 전략 도출을 위한 가치 기반 분석 1) 산업별 분석 애플리케이션 산업 일차원적 분석 애플리케이션 금융 서비스 신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석 병원 가격 책정, 고객 로열티, 수익 관리 에너지 트레이딩, 공급, 수요 예측 정부..

ADsP 1과목 2장을 공부하고 요약했습니다. 다시 한번 이 시험의 정보는 이전 블로그에 발행한 2021.12.21 - [분류 전체보기] - [ADsP] ADsP 자격증 함께 취득해요! [ADsP] ADsP 자격증 함께 취득해요! 이번에 ADsP 2022년 첫 시험을 보려고 하는데요! 제가 보는 시험 일정입니다! 같이 신청하고 공부해요!! 이제 제가 구입한 책을 소개해드리겠습니다. 인터넷 검색했을때 가장 많이 보이는 일명 파 tnqkrdmssjan.tistory.com 여기를 참고해 주시고 이제 시작할게요! 2장_1절 빅데이터의 이해 1. 빅데이터의 정의 1) 관점에 따른 정의 Mckinsey,(2011) IDC(2011) 가트너 그룹(Gartner Group) 더그 래니(Doug Laney)의 3V 일..