빅데이터분석 필기[2과목]빅데이터 탐색 1.데이터전처리
1. 데이터 전처리
* 데이터 전처리
- 데이터 전처리에는 데이터를 정제하는 과정과 분석 변수를 처리하는 과정, 반드시 거쳐야하는과정이고 반복적인 전처리 수행이 필요, 데이터 분석단계중 가장많은 시간이 소요됨
* 데이터 전처리 순서
데이터 정제 -> 결측값 처리 -> 이상값 처리 -> 분석 변수 처리
* 데이터 정제
- 분석전단계에 수행하며 결측값, 잡음 , 이상값 등을 제거하는 것을 말함
- 결측값(Missing Value): 누락된 값(입력 X, NA, NaN, NULL, inf, 999999)
- 처리 방법: 평균값, 중앙값, 최빈값 등의 중심 경향값 넣기, 분포 기반 처리
- 노이즈(Noise): 잘못 판단된 값(입력되지 않았는데, 입력되었다고 판단됨)
- 처리 방법: 일정 간격으로 이동하면서 평균값 대체, 일정 범위 중간값 대체
- 이상값(Outlier): 범위에서 많이 벗어난 값(지나치게 작은 값 or 큰값 )
- 처리 방법: 하한보다 낮으면 하한값, 상한보다 높으면 상한값 대체
* 데이터 일관성 유지를 위한 정제
- 다른 시스템에서 들어온 데이터에 일관성 부여
* 변환(Transform): 다양한 형태로 표현된값을 일관된 형태로 변환 ex) YYYYMMDD → YY/MM/DD
* 파싱(Parsing): 유의미한 최소 단위로 분할(정제 규칙을 적용하기 위함) ex) 주민등록번호 → 생년월일, 성별
* 보강(Enhancement): 변환, 파싱, 수정, 표준화 등을 통한 추가 정보를 반영 ex) 주민등록번호 → 성별 추출 후 반영
데이터 정제 기술
* 분산 처리 시스템을 기반으로 정제
- 성능 보장을 위해 인메모리 기반 기술을 사용하기도 함, 정제된 후, 데이터 변경(분석)에 활용됨
- ETL: 데이터를 추출 → 가공 → 데이터 웨어하우스, 데이터 마트에 저장
- 맵리듀스: 대용량 데이터셋을 분산, 병렬 컴퓨팅 처리 , 모든 데이터를 키-값 쌍으로 구성, (맵: 데이터 추출) + (리듀스: 중복 없게 처리), 배치 형태 같은 많은 데이터 처리 시 성능 느림
- 스파크/스톰: 인메모리 기반 데이터 처리 방식
- 스파크: 맵리듀스 기반으로 성능 개선, 실시간, 배치 처리 둘다 가능
- CEP(Complex Event Processing): 실시간 이벤트 처리에 대한 결괏값 수집, 처리 , 실시간 데이터(IoT 센싱 데이터, 로그, 음성 데이터 등)
- 피그(Pig): 대용량 데이터 집합을 분석하기 위한 플랫폼, 피그 라틴이라는 자체 언어 제공
- 플럼(Flume): 로그 데이터를 수집, 처리하는 기법, 실시간에 근접하게 처리함
* 데이터 세분화(Data Segmentation):
- 데이터를 기준에 따라 나누고, 선택한 매개변수를 기반으로 유사한 데이터를 그룹화
- 군집화 - 이질적인 집단을 몇개의 동질적인 소집단으로 세분화 (계층적방법, 비계층적방법)
| 계층적 방법: 군집 개수 정하지 않는다 | 비 계층적 방법: 군집 개수 를 사전에 정한다 | ||
| 응집분석법 | 분할분석법 | 인공신경망 모델 | K-평균 군집화 |
| 각 객체를 하나의 소집단으로 간주→유사한소집단합침 | 전체 집단→유사성이 떨어지는 객체를 분리 | 생물학적 신경망으로 부터 영감을 받은 통계학적 학습모델 | K개 군집의걱 각 객체간 거리를 계산해서 중심좌표 업데이트 |
* 데이터 결측값 종류
1.완전무작위 결측 (MCAR) - 다른변수와 무관하게 발생한결측, 설문조사에서 특정항목에 대답을하지않음
2.무작위결측(MAR) - 다른변수와 연관 있지만 , 결과에 영향을 미치지 않는 경우 , 성별에 따라 응답확률이 달라서 생기는 결측
3.비무작위결측(MNAR) - 다른변수와 연관있고, 결과에 영향을 미치는 결측값 , 임금을 조사할때 임금이 낮은 사람이 임금에대해 응답할 확률이 낮아서 생기는 결측.
* 데이터 결측값 처리 절차
식별 - 컴퓨터가 처리 가능한 형태로 부호화 - 알고리즘을 통해 결측값 처리(대체 )
* 부호화
- NA(Not Available) - 기록되지않은값
- NAN(Not a Number) - 수학적으로 정의도지않은값
- inf (infinite)- 무한대
- NULL 값이 없음
* 데이터 결측값 처리방법
- 단순대치법 : 결측값을 그럴듯한 값으로 대체하는 통계적 기법(완전분석법, 평균대치법, 단순확률대치법)
- 다중대치법 : 단순대치법을 1번이상, N 번대치 하여 완전한 자료로 생성(대치 - 분석 - 결합 )
* 단순 대치법 종류
- 완전 분석법: 불완전 자료는 완전 무시, 완전하게 관측된 자료만 사용 → 효율성 상실, 통계적 추론의 타당성 문제 발생
- 평균 대치법: 얻어진 자료의 평균값으로 결측값을 대치
- 비 조건부 평균 대치법: 평균값으로 대치
- 조건부 평규 대치법: 회귀분석을 활용하여 결측값 대치
- 단순 활률 대치법: 확률값을 부여한 후 대치
- 핫덱 대체(Hot-Deck): 현재 진행 중인 연구에서 비슷한 성향을 가진 응답자의 자료로 무응답을 대체, 표본조사에 흔히 사용
- 골드덱 대체(Cold-Deck): 외부 출처, 이전의 비슷한 연구에서 가져온 자료로 대체
- 혼합 방법: 몇 가지 다른 방법을 혼합, 회기 대체를 이용해서 예측값을 얻고, 핫덱방법을 잉용해서 잔차를 얻어 두값을 더하는 경우
* 이상값의 원인 : 표본 추출 오류 , 고의적인 이상값, 데이터 입력오류, 실험오류, 측정오류,자연오류등
* 이상값 검출 방법
1. 통계기법
- ESD(Extreme Studentized Deviation): 평균에서 3표준편차 떨어진 값은 이상값 ⇒ μ - 3σ < data < μ + 3σ
- 기하평균 활용: 기하평균에서 2.5표준편차 떨어진 값은 이상값 ⇒ 기하평균 - 2.5σ < data < 기하평균 + 2.5σ
- 사분위 수 활용:제 1사분위, 제 3사분위 를 기준으로 사분위간 범위의 1.5배이상 떨어진 값을 이상값으로 판단 Q₁ - 1.5(Q₃ - Q₁) < data < Q₃ + 1.5(Q₃ - Q₁)
- 표준화 점수(Z-score) 활용: 정규분포를 따르는 관측치들이 평균에서 얼마나 떨어져 있는지 나타내어 이상값 검출
- 딕슨의 Q 검정: 오름차순 정렬 → 범위에 대한 관측치 간의 차이의 비율을 활용(데이터 30개 미만인 경우 적절함)
- 그럽스 T-검정: 정규분포를 만족하는 단변량 자료에서 이상값 검정
- 카이제곱 검정: 정규분포를 만족하나, 자료 수가 적은 경우
2. 개별 데이터 관찰 -전체 데이터 추이 특이사항, 무작위 추출
3. 시각화 -확률밀도 함수 , 히스토그램 ,시계열차트
* 사분위수
* 4등분하는 위치의 수
* 전체 데이터를 순위별로 4등분하는 위치의 수 3개 Q1, Q2, Q3 가 있다
* 제1 사분위수 (Q1) - 누적 백분율이 25%에 해당하는 값
* 제2 사분위수 (Q2) - 누적 백분율이 50 %에 해당하는 값 , 중위수 (Median) 과 같음
* 제3 사분위수 (Q3) - 누적 백분율이 75% 에 해당하는값
4. 데이터 군집/분류를 이용한 데이터 이상값 검출
- K - 평균 군집 (K-Means)
* 주어진 데이터를 K개의 클러스터 로 묶는 알고리즘
* 각 클러스터와 거리 차이의 분산을 최소화 하는 방식
* 머신러닝 기법을 이용한 데이터 군집화 시키는 기법 등을 활용하여 이상값 검출
- LOF(Local Outlier Factor)
* 관측지 주변의 밀도와 근접한 관측지 주변의 밀도의 상대적 비교를 통해 이상값 탐색
* LOF 값이 클수록 이상값 정도가 크다
- iForest(Isolation Forest)
* 관측지 사이의 거리 또는 밀도에 의존하지 않고 데이터 마이닝 기법인 의사결정 나무를 이용하여 이상값 탐지하는 방법
* 의사결정 나무 기법으로 분류 모형을 생성하여 모든 관측치를 고립 시켜 나가면서 분할 횟수로 이상값 탐색
* 의사결정 나무 기법
- 데이터들이 가진속성들로 부터 분할 기준속성을 판별하고, 분할 기준속성에따라 트리형태로 분류
- 의사결정 나무 기법 에서는 적은 횟수로 잎(leaf)노드에 도달하는 관측지 일수록 이상값일 가능성이 크다
5. 마할라 노비스 기법
* 데이터 분포 고려한 거리 측도
* 관측지가 평균으로 부터 벗어난 정도를 측정
* 모든 편수간 선형관계 만족 & 각 변수들이 정규 분포를 따르는 경우에 적용 할수 있음
* 이상값 처리 방법
| 방법 | 삭제 : 절단/ 조정 | 대체법 : 상/하한값 | 변환 : 자연로그 | 박스플롯 해석 : 수염 | 분류하여 처리 |
| 특징 | - 추정치의 분산이 작아짐 - 양극단 값을 절단 - 기하평균 이용 - 절단보다 극단값 조정활용해야 데이터 손실율이 줄어듬 |
- 하한값보다 작으면 하한값 대체 - 상한값보다 크면 상한값 대체 |
- 자연로그를 취해 데이터값 감소 -> 실제값을 변형 - 오른쪽 꼬리 긴 분포는 평균중심 대칭형태로변환 |
-수염(Whiskers) 밖 이상값으로 판단 -수염:사분위수 = Q3 - Q1의 1.5배 내에있는 가장멀리떨어진 데이터까지 이어진 선 |
-이상값이 많은 경우 - 서로 다른 그룹으로 묶고 그룹별 통계모형을 생성해서 결과 결합 |
* 변수
- 변수(Feature): 데이터 모델에서 예측에 사용되는 입력변수
- RDBMS에서 속성/열 = 머신러닝에서 변수
- 변수 유형: 알려진 값 & 예측값
알려진 값: 변수, 속성, 예측변수, 차원, 관측치, 독립변수( 종속변수에 영향 주는 변수 (의도적으로 변화시킴))
예측 값: 라벨, 클래스, 목푯값, 반응, 종속변수(독립변수로부터 영향 받는 변수 (연구대상))
* 변수속성
- 명목형: 이름만 의미 부여, 크가와 순서는 상관 없음, 명사형
- 순서형: 순서에 의미 부여 가능
- 이산형: 하나하나 셀 수 있음
- 연속형: 구간 안의 모든 값을 가질 수 있음
* 변수 간 관계
- 독립변수, 종속변수 둘 다 연속형, 범주형 자료로 분석 가능
- 연속형 자료에서 원인은 공변량(Covariate)
- 범주형 자료에서 원인은 요인(Factor) 이라고 부름
* 변수 선택 (Feature Selection)
- 종속변수와 가장 관련성 높은 독립변수만 선정하는 방법
* 변수 선택 특징
- 해석하기 쉽도록 모델 단순화
- 훈련 시간 축소
- 차원의 저주 방지(차원이 증가할수록, 필요한 샘플 데이터가 기하급수적으로 증가하는 현상)
- 과적합 줄이고 일반화
- 모델 정확도, 성능 향상 기대
* 변수 선택 방식 분류
- 비지도 방식: 분류를 참고하지 않고 변수들만으로 선택 수행
- 지도 방식: 분류를 참고하여 변수 선택
| 방법 | < 필터 기법 (Filter Method)> 통계적 특성으로부터 변수 선택 |
< 래퍼 기법 (Wrapper Method) > 변수의 일부만으로 모델링 반복 |
< 임베디드 기법 (Embedded Method)> 모델 자체에 변수 선택 포함 |
|||
| 특징 | -통계적측정방법으로 변수들의 상관관계를 알아냄 -계산속도가 빠름 - 래퍼 기버 사용전에 전처리에 사용 |
-예측정확도 성능이 가장좋은 하위집합을 선택 -그리디 알고리즘 - 하위집합을 반복선택 -일반적으로 필터 기법보다 예측정확도 높음 -시간오래걸리고 과적합 위험있음 - 전진선택법 - 빈모델 -> 변수하나씩 추가 (모델을 가장많이 향상시키는 변수) - 후진제거법 - 풀모델 -> 변수 하나씩 제거 (모델에 가장적은 영향을 주는 변수 - 단계적방법 - 아무것도 적합하지않은 모형에서 변수를 하니씩 적합하면서 그전단계에서 적합된 변수들의 유의미성을 다시 한번더 검증하는 방법 |
모델 정확도에 기여하는 변수 학습 더적은 계수를 가지는 회귀식을 찾는 방향으로 제어 |
|||
| 종류 |
정보 소득 | 가장 높은 속성선택 | RFE | SVM사용-재귀적제거 | 라쏘 LASSO | 가중치절댓값합 최소화 L1 (L1-norm) |
| 카이제곱 검정 (Chi-Square Test) |
관찰-기대빈도비교차이가 유의한가 검정 | SFS | 그리디알고리즘- 빈모델에 하나씩 추가 | 릿지 Lidge | 가중치제곱합 최소화 L2(L2-norm) | |
| 피셔 스코어 (Fisher Score) |
최대 가능성방정식을 풀기위한 뉴턴의 방법 | 유전 알고리즘 | 전역 최적화기법 | 엘라스틱넷 | 가중치 절댓값 합과 제곱합을 동시에 제약 라쏘-릿지 선형결합 |
|
| 상관 계수 (Correlation Coefficient) |
두변수간 상관관계정도를 나타내기 위한 계수 | 단변량 선택 | 각 속성 개별검사- 변수와 반응변수간 관계 강도 결정 | SelectFromModel | 의사결정나무 기반으로 변수 선택 | |
| mRMR | 중복성 최소화 | |||||
* 노드(Node) - 컴퓨터 과학에 쓰이는 기초적인 단위이며,대형 네트워크에선 장치나 데이터 지점(포인트)를 의미한다.
예를 들면 개인용 컴퓨터, 휴대전화, 프린터, 서버 같은 장치들을 말함
* Norm - 벡터의 크기(길이)를 측정하는 방법
L1-norm - 벡터 p, q 각 원소간 차이의 절댓값의 합
L2-norm - 유클리디안 거리(직선 거리)
* 차원축소(Dimensionality Reduction)
- 분석대상인 여러 변수의 정보를 최대한 유지하면서 변수 개수를 최대한 줄이는 탐색적 분석기법
- 특성변수(설명변수)만 사용함 → 비지도 학습 머신러닝 기법
* 차원축소 특징
- 축약된 변수세트: 원래 전체 변수들의 정보를 최대한 유지해야함
- 결합변수: 변수간 내재된 특성, 관계를 분석 → 선형/비선형 결합변수 → 결합변수만으로 전체변수 설명 가능하도록
- 차원축소의 목적: 다른 분석 전 단계, 분석 후 개선, 효과적인 시각화 등
- 장점: 고차원보다 저차원으로 학습하면 머신러닝 알고리즘이 더 잘 작동함, 가시적인 시각화 쉬움
- 차원축소 방법 :변수 선택과 변수 추출로 나눈다.
- 차원축소 기법 주요 활용분야
- 탐색적 데이터 분석
- 주요 특정(변수)을 추출하여 타 분석기법의 설명변수로 활용
- 텍스트에서 주제, 개념 추출
- 비정형 데이터(이미지, 사운드 등)에서 특징 패턴 추출
- 상품 추천시스템 알고리즘 구현 및 개선
- 다차원 공간 정보를 저차원으로 시각화
- 공통 요인을 추출하여 잠재된 데이터 규칙 발견
| 주성분분석 (PCA) Principal Component Analysis |
특이값분해 (SVD) Singular Value Decomposition |
요인분석 Factor Analysis |
독립성분분석(ICA) Independent Component Analysis |
다차원척도법(MDS) Multi-Dimensional Scaling |
| 변수들의 공분산행렬 이나 상관행렬 이용 정방행렬(N*N)만사용 (행개수 = 열개수) |
차원 행렬데이터에서특이값 추출 (MxN 행렬) |
잠재적인 변수가 존재한다고 가정함 |
다변량 신호를 독립적 하부성분 분리 |
개체들 간의 유사성/비유사성 측정 |
| 선형연관성 없는 저차원공간으로 축소 변환 (서로 직교하도록) |
데이터셋을 효과적으로 축약 행렬분해 |
잠재요인을 도출하여 데이터안의 구조해석 |
독립성분의 분포는 비정규 분포를 따름 |
점으로 표현하여 집단화를 시각화 (저차원으로 사상) |
* 파생변수 (Derived Variable)
기존 변수에 특정 조건/함수 등을 사용하여 새롭게 재정의한 변수
* 파생변수 생성방법 - 복제는 하지않는다
단위 변환/ 표현형식 변환/ 요약통계량 변환/ 변수 결합(수학적 결합)
- 하나의 변수에서 정보를 추출해 새로운 변수 생성
- 한 레코드의 값을 결합하여 파생변수 생성 - 조건문을 이용해 파생변수 생성
* 변수 변환
-불필요한 변수 제거/ 반환/ 새로운 변수 생성 -> 선형관계로 만들면 분석하기 쉬워짐
* 변수 변환 방법
| 방법 | 단순 기능 변환 | 비닝 Binning | 정규화 | 표준화 |
| 한쪽으로 치우친 변수를 변환 | 연속형데이터를 범주화 | 특정 구간으로 바꿈 | 0을 중심으로 양쪽 분포 | |
| 우측 꼬리 길 때: 루트, 로그 좌측 꼬리 길 때: 제곱 |
비즈니스 도메인 지식이 필요함 데이터값을 몇개의 Bin 으로 분할하여 계산 |
최소-최대 정규화 Z-스코어 정규화 |
Z = (x - x_bar) / s |
- 매출, 판매수량, 가격, 가구소득: 로그
- 지리적 거리: 역수, 로그
- 효용에 근거한 시장점유율, 선호점유율: e^x / (1+e^x)
- 우측으로 꼬리가 긴 분포 → 루트, 로그
- 좌측으로 꼬리가 긴 분포 → 제곱
* 불균형 데이터 처리
- 타겟 데이터 매우 극소수인 경우, 정밀도 향상을 위함
- 처리 기법: 언더샘플링/ 오버샘플링/ 임곗값이동/ 앙상블기법
- 임곗값 이동: 데이터 많은 쪽으로 임곗값(귀무가설 기각여부를 결정하는 값)을 이동시킴( 변화없이 학습 하고 테스트단계에서 임계값 이동 )
- 앙상블 기법: 서로 같거나 다른 여러 모형들의 예측/분류 결과를 종합
| 방법 | < 언더 샘플링 - 과소표집> 무작위로 다수 클래스 데이터를 일부만 선택하여 비율을 맞춤 데이터 소실가능성이큼 |
< 오버 샘플링 - 과대 표집> 무작위로 소수 클래스 데이터를 복제/생성하여 비율을 맞춤 정보손실 없음, 과적합 가능성이 있음, 검증성능이 나빠질수있음 |
||
| 랜덤 언더 샘플링 | 무작위로 일부 선택 | 랜덤 오버 샘플링 | 무작위로 복제 | |
| 토멕 링크 방법 | 클래스구분 경계선 가까이 존재하는 토멕 링크를 제거함 |
SMOTE | 가상의 직선 위에 데이터 추가 |
|
| ENN | 소수 클래스 주위에 인접한 다수 클래스 데이터 제거 |
Borderline-SMOTE | 다수 클래스와 소수 클래스의 경계선에서 SMOTE 적용 |
|
| CNN | 다수 클래스에 밀집된 데이터가 없을 때까지 제거(데표적 데이터만 남김) |
ADASYN | 모든 소수 클래스에서 다수 클래스의 관측비율 계산 → SMOTE 적용 |
|
| OSS | 토멕 링크 + CNN | |||