함께하는 데이터 분석

안녕하세요! 오늘은 SQL 최적화 기본 원리에 해당하는 부분을 정리해볼게요. CBO(Cost Based Optimizer) 테이블 및 인덱스 등의 통계 정보를 활용하여 소요될 처리시간 등을 계산하여 가장 효율적일 것으로 예상되는 실행계획을 선택하는 옵티마이저 실행계획 알 수 있는 정보 1) 액세스 기법 2) 질의 처리 예상 비용 3) 조인 순서 설명 1) 실행계획은 SQL 처리를 위한 실행 절차와 방법을 표현한 것 2) 실행계획은 조인 방법, 조인 순서, 액세스 기법 등이 표현됨 3) 동일 SQL문에 대해 실행계획이 다르면 실행 결과도 같음 4) CBO의 실행계획에는 단계별 예상 비용 및 건수 등이 표시 인덱스 1) 기본 인덱스(Primary key)에 중복된 키 값들이 나타날 수 없음 2) 기본 인덱스..

안녕하세요. 오랜만에 블로그에 글을 포스팅합니다! 오늘은 SQL 기본 및 활용에서 기본에 해당하는 부분의 중요한 핵심 내용을 기록해보겠습니다. DCL GRANT, REVOKE DDL CREATE, ALTER, DROP, RENAME, TRUNCATE DML INSERT, UPDATE, DELETE, SELECT TCL ROLLBACK, COMMIT, SAVE POINT UNIQUE : 테이블 내의 중복된 값 x, NULL 입력 가능 PK : 주키로 테이블 당 1개만 생성 가능(UNIQUE & NOT NULL) FK : 외래키로 테이블 당 여러 개 생성 가능(참조 무결성 제약) NOT NULL : 칼럼이 명시적으로 NULL 입력 방지 NULL이란? 모르는 값, 값의 부재, 연산시 NULL로 ON DELET..

의사결정나무 알고리즘 분류 기준 알고리즘 이산형 변수 연속형 변수 CART 지니지수 분산감소량 C5.0 엔트로피지수 CHAID 카이제곱 통계량 p-value ANOVA F-통계량 은닉층 노드가 너무 많으면 과적합 문제 은닉층 노드가 너무 적으면 의사결정 경계를 만들 수 없다 은닉층의 개수가 너무 많아 역전파 과정에서 발생하는 문제 기울기 소실 문제 Softmax() 각 범주에 속할 사후 확률을 제공하는 함수 홀드아웃방법 모형 평가 방법 중 주어진 데이터를 랜덤 하게 두 개의 데이터로 구분하여 사용하는 방법으로 주로 학습용과 시험용으로 분리하여 사용하는 방법 향상도곡선 분류 분석의 모형을 평가하는 방법으로 랜덤 모델과 비교하여 해당 모델의 성과가 얼마나 향상되었는지를 각 등급별로 파악하는 그래프 의사결정나..

분석 과제 발굴 방식 중 하향식 접근법 문제 발견 -> 문제 정의 -> 해결책 탐색 -> 데이터 분석 타당성 평가 빅데이터 분석 방법론의 분석 기획 단계 ①비즈니스 이해 및 범위 설정 ②프로젝트 정의 및 계획 수립 ③프로젝트 위험 계획 수립 분석 마스터플랜을 수립할 때 적용 범위 및 방식에 대한 고려요소 ①업무 내제화 적용 수준 ②분석 데이터 적용 수준 ③기술 적용 수준 마스터플랜 수립할 때 우선순위 고려요소 ①전략적 중요도 ②비즈니스 성과/ROI ③실행 용이성 비즈니스 모델 캔버스 업무 -> 제품 -> 고객 -> 규제&감사 -> 지원 인프라 빅데이터기획전문가 회사 내 기능 조직, 비즈니스 분석 또는 BI조직에 소속되어 있으면서 빅데이터 분석 전문 조직과 협력을 통하여 업무에 필요한 분석 모델이나 예측 ..

오늘은 간단하게 이번 2월 26일 시험인 ADsP 기출을 풀다가 틀린 문제를 제가 다시 보려고 작성하는 오답노트라고 할 수 있겠습니다. 시작해볼게요! 반정형데이터 내부에 메타 데이터 갖고 있음 메타 데이터 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명해주는 데이터 데이터 매시업(Mashup) 기존에 풀기 어려웠던 문제 해결에 도움 CRM 단순한 정보의 수집에서 탈피, 분석 중심의 시스템 구축 지향 ERP 기업 전체를 경영자원의 효과적 이용이라는 관점에서 통합적으로 관리하고 경영의 효율화를 기하기 위한 시스템 플랫폼형 비즈니스 모델 상품, 서비스, 기술 등의 기반 위에 다른 이해관계자들이 보완적인 상품, 서비스, 기술을 제공하는 생태계 구축을 목표로 하는 비즈니스 모델 데이터 난수화 사생활 침해 막..