빅데이터분석필기[1과목] 빅데이터 분석 기획 - 3.데이터 수집 및 저장 계획
1.3 데이터수정및 저장계획
* 데이터구조적 분류 - 정형데이터, 비정형 데이터, 반정형 데이터 (실시간데이터는 존재형태로 분류)
1. 정형데이터 - 고정된 구조로 정해진 필드에 저장된 데이터를 의미 , 엑셀,csv, RDBMS 가 대표적
2. 비정형데이터(외부데이터) - 정해진 구조가 없는 데이터, 동영상, 소셜네트워크 댓글, 위치데이터등, 크기가 크고 복잡
3. 반정형데이터 - 데이터와 메타데이터, 스키마 등을 포함하는 데이터를 의미 , XML, HTML, JSON 이 대표적
* 데이터 수집방법
* 데이터 유형에 따른 수집방법
| 유형 | 정형 데이터 | 비정형 데이터 | 반정형 데이터 |
| 방법 | -ETL: 추출, 변환, 적재 -FTP: 파일 송수신 프로토콜 -API: 실시간 데이터 수신 인터페이스 -DBToDB: 데이터베이스간 동기화 -Rsync: 일대일 동기화 -Sqoop: RDBMS와 하둡간 데이터 전송 |
-크롤링: 웹사이트에서 데이터수집 -RSS: XML기반 프로토콜 활용 -Open API: 실시간 데이터 수신 -스크래파이: 파이썬 기반 크롤링 -아파치 카프카: 데용량 실시간 로그 처리 |
-센싱: 센서 데이터 -스트리밍: 미디어 실시간 수집 -플럼: 분산형 대량 로그 수집 기술 -스크라이브: 대량 실시간 로그 수집 기술 -척와: 대규모 분산 시스템 모니터링 |
1. 정형 데이터 수집 방식 및 기술: ETL, FTP, API, DBToDB, Rsync, Sqoop
* ETL: 추출(Extract), 변환(Transform), 적재(Load)
데이터 조회 , 분석을 목적으로 적절한 구조로 추출, 변환, 적재하는 작업 기술로 데이터를 데이터 저장소인 데이터 웨어하우스 DW() 및 데이터 마트(DM)에 이동시키기위한 작업 및 기술
*데이터 웨어하우스(Data Warehouse)
- DB 축적된 데이터를 공통 형식으로 변환해서 관리하는 저장소
- 여기서 관리하는 데이터들은 시간의 흐름에 따라 변화하는 값을 유지한다
* 데이터 마트(Data Mart)
- DW에서 데이터를 꺼내 사용자에게 제공함
- 특정 사용자가 관심을 가지고 있는 데이터를 담은 비교적 작은 규모의 데이터 웨어하우스(DW)
- 재무/ 생산/ 운영 등과 같이 특정 조직의 특정 업무 분야에 초점을 맞추어 구축
* FTP: File Transfer Protocol, 파일 송수신 응용계층 통신 프로토콜
- 원격지 시스템 간 파일 공유를 위한 서버-클라이언트 모델
- TCP/IP 프로토콜을 기반으로 서버, 클라이언트 사이에서 파일 송수신
- Active FTP: 클라이언트가 포트를 알려주면 데이터 전송해주는 방식(서버가 자신의 20번 포트를 통해 클라이언트의 임의의 포트로 데이터를 전송해주는 방식 , 명령은 21번 포트, 데이터는 20번 포트 를 사용
- Passive FTP: 서버가 포트를 알려주면 클라인어트가 데이터 가져가는 방식(명령은 21번포트 , 데이터는 1024이후의 포트 사용)
* API: Application Programming Interface, 실시간 데이터 수신 기능을 제공하는 인터페이스 기술
솔루션 제조사 및 3rd party 소프트웨어로 제공되는 도구
* DBToDB: 데이터베이스 시스템 간 데이터 동기화 및 전송 기능
* Rsync: Remote Sync, 서버-클라이언트 방식, 수집 대상 시스템과 일대일로 파일 및 디렉터리를 동기화
* 스쿱(Sqoop): 커넥터를 사용하여 RDBMS와 하둡(HDFS) 간 데이터 전송 , 전송, 수집 등 모든 적재 과정이 자동화
- 벌크 임포트 지원(전체 데이터베이스 또는 테이블을 한번에 전송)
- 데이터 전송 병렬화
- 직접입력 제공(RDB에 매핑해서 HBASE 와 HIVE에 직접 IMPORT)
- 프로그래밍 방식의 데이터 인터렉션(자바 클래스 생성을 통한 데이터 상호작용 )
- Import(가져오기), Export(내보내기), Job(생성 및 실행) Metastore, Merge(데이터셋 병합)
2. 비정형 데이터 수집 방식 및 기술: 크롤링, RSS, Open API, 스크래파이, 아파치 카프카
* 크롤링(Crawling): 웹 사이트로부터 웹문서, 컨텐츠를 수집
* RSS(Rich Site Summary): 블로그 , 뉴스, 쇼핑몰등의 웹사이트에 게시된 새로운 글을 공유하기위해 XML 기반으로하는 정보를 배포하는 프로토콜을 활용하여 수집하는 기술
* Open API: 응용 프로그램을 통해 실시간 데이터 수신
* 스크래파이(Scrapy): Python 기반 비정형 데이터 수집 기술
- 웹 사이트를 크롤링하여 구조화된 데이터 수집
- 주요기능:
- Spider : 크롤링 대상 웹사이트 및 웹페이지의 어떤부분을 스크래핑 할것인지를 명시하는기능
- Selector: 웹페이지의 특정 HTML 요소를 선택하는 기능 (LXML 기반으로 제작가능)
- Items : 웹페이지를 스크랩하여 저장할떄 사용되는 사용자 정의 자료 구조
- Pipelines: 스크래핑 결과물을 아이템형태로 구성할때 가공하거나 파일형태로 저장 제공기능
- Settings: Spider와 Pipeline 을 동작시키기위한 세부설정
* 아파치 카프카(Apache Kafka): 대용량 실시간 로그 처리를 위한 분산 스트리밍 플랫폼
- 레코드 스트림을 발행, 구독하는 방식(기존 메시징 시스템과 유사)
- 특징: 신뢰성(메모리및 파일 큐 기반의 채널지원), 확장성 제공(Multi Agent, Consolidation, Fan Out Flow 방식으로 수평 확장 및 분산 처리 가능)
- 주요 기능: 소스(Source-수집영역), 채널(Channael -소스와 싱크간 버퍼구간), 싱크(Sink-전달 및 저장), 인터프리터(Interpreter - 가공)
3. 반정형 데이터 수집 방식 및 기술: 센싱, 스트리밍, 플럼, 스크라이브, 척와
* 센싱(Sensing): 네트워크를 통해 센서데이터 수집& 활용
* 스트리밍(Streaming): 네트워크로 미디어 데이터를 실시간 수집(센서, 오디오, 비디오 등)
* 플럼/스크라이브/척와의 활용은 점차 증가하는중
* 플럼(Flume): 분산형 대용량 로그 수집 기술로 이벤트와 에이전트 활용
- 발행/구독 모델: 메세지 큐와 유사한형태의 데이터큐를 사용, 풀(Pull) 방식으로 부하 감소, 고성능 기능 제공
- 고가용성(High Availiability) 제공: 클러스터 구성, 분산 처리를 통해 고가용성 서비스 제공 가능
- 파일 기반 저장방식: 데이터를 디스크에 순차 저장
- 주요 기능: 소스(Source -이벤트를 전달하는 컨테이너, 소스,채널,싱크로 흐름제어), 채널(Channel - 이벤트 를 소스와 싱크로 전달 통로), 싱크(Sink -채널로부터 받은 이벤트 저장 및 전달)
* 풀(Pull)방식 - 사용자가 자신이 원하는 정보를 요청할 때, 서버에서 정보를 전송하는 기법
(푸시(Push) 방식은 반대로, 사용자가 요청하지 않아도 자동으로 원하는 정보를 제공하는 기법)
* 스크라이브(Scribe): 대용량 실시간 로그 수집 기술
- 다수의 서버로부터 실시간 스트리밍 로그 데이터를 수집하여 분산 시스템에 저장
- 다양성: 클라이언트 서버 타입에 상관없이 로그 수집 가능
- 고가용성: 단일 중앙 서버 장애 → 다중 로컬 서버에서 저장
- 단일 중앙 스크라이브 서버와 다수의 로컬 스크라이브 서버로 구성되어 안정성과 아파치 Thrift 기반 스크라이브 API를 활용하여 확장성을 제공
* 고가용성 (HA) - 서버와 네트워크 , 프로 그램의 정보시스템이 시스템의 장애에 대응해서 오랜기간동안 지속적으로 정상운영이 가능한상태를 만드는환경
* 척와(Chukwa): 대규모 분산 시스템 모니터링을 위한 에이전트-컬렉터 구성의 데이터 수집 기술
- 분산된 서버에서 에이전트 실행 → 컬렉터가 데이터 수집 → HDFS에 저장 및 실시간 분석 기능 제공
- 특징: HDFS 연동, 실시간 분석, 청크(Chunk) 단위 처리 (어댑터가 데이터를 메타데이터가 포함된 청크단위로 전송)
- 구성: 에이전트(데이터 수집, 페일오버기능으로 데이터유실방지), 컬렉터(데이터를 주기적으로 HDFS에 저장)
- 데이터 처리: 아카이빙(Archiving, 시간 순서로 그룹핑,HDFS Sequence File 포멧으로 저장), 디먹스(Demux, 키-값 쌍으로 척와레코드 생성 및 파일로 저장)
- 척와는 비정형, 반정형 데이터 수집 둘 다 사용
* 청크 (Chunk) - 파일이 나누어진 조각의 단위
* 페일오버 (Fail Over) - 컴퓨터 서버, 시스템 네트워크 등에서 이상이 생겼을때 예비시스템으로 자동전환되는 기능
* 시간 관점에 따른 수집 방법 : 실시간, 비실시간
- 시간 관점 또는 활용 주기에 따라 분류한다
- 실시간 데이터: 생성된 이후 수 초 ~ 수 분 이내에 처리되어야 의미있는 현재 데이터
- 센서 데이터, 알람, 시스템 로그, 네트워크 장비 로그, 보안 장비 로그
- 비실시간 데이터: 생성된 이후 수 시간 or 수 주 이후에 처리되어야 의미있는 과거 데이터
- 통계, 웹 로그, 서비스 로그, 구매 정보, 디지털 헬스케어 정보
* 저장 형태 관점
- 파일, 데이터베이스, 콘텐츠, 스트림 데이터
- 파일 데이터: 파일 형식으로 저장, 크기가 대용량 or 개수가 다수인 데이터
- 데이터베이스 데이터: 데이터 종류 or 성격에 따라 데이터베이스의 컬럼 또는 테이블 등에 저장된 데이터
관계형 데이터베이스(RDBMS), NoSQL, 인메모리 데이터베이스
- 콘텐츠 데이터: 개별적 객체로 구분될 수 있는 미디어 데이터
텍스트, 이미지, 오디오, 비디오 등
- 스트림 데이터: 네트워크를 통해 실시간 전송되는 데이터
센서 데이터, HTTP 트랜잭션, 알람 등
* 데이터 처리기술: 필터링/ 변환/ 정제/ 통합/ 축소
| 기술 | 필터링 | 변환 | 정제 | 통합 | 축소 |
| 설명 | 목적에 맞지 않는 정보 - 보정/ 삭제/ 중복성 등 |
일관성 있는 형식 - 평활화/집계/정규화 등 |
불일치성 교정 - 결측값/ 잡음 처리 등 |
출처 다름, 상호연관성 있는 데이터 결합 |
불필요한 데이터 축소 고유한 특성은 손상 X |
* 데이터 수집 프로세스: 수집데이터 도출 - 목록작성 - 소유기관 파악&협의 - 데이터 유형분류&확인
- 수집기술 선정 - 수집주기 결정 - 수집실행
* 수집 데이터의 대상 : 내부 데이터 - 서비스/ 네트워크/ 마케팅 , 외부 데이터 - 소셜/ 네트워크/ 공공
| 유형 | 내부 데이터 - 주로 정형 데이터 | 외부 데이터 - 주로 비정형 데이터 | ||||
| 대상 | 서비스 | 네트워크 | 마케팅 | 소셜 | 네트워크 | 공공 |
| 종류 | - SCM/ ERP/ CRM - 인증/ 거래시스템 - 포털 등 |
- 백본/ 방화벽 - IPS/ IDS - 스위치 등 |
- VOC 접수 데이터 - 고객 포털 시스템 |
- SNS - 게시판 - 커뮤니티 등 |
- 센서 데이터 - 장비간 발생로그 (M2M) 등 |
정부에서 공개한 공공 데이터 (LOD) |
* ERP - 전사적자원관리 - 회사의 모든정보 , 프로세스 통합 관리 시스템
* SCM - 공급망관리 - 물류, 유통, 원재료 수급에서 생산까지 관리시스템
* CRM - 고객관리 - 고객 중심 자원관리, 마케팅관리 시스템
* 데이터 형태에 따른 분류
- 정성적: 언어, 문자 형태, 저장, 검색, 분석에 많은 비용 소모
- 정량적: 수치, 도형, 기호 형태, 정형화된 데이터이므로 비용 소모 적음
* 수집대상 목록 작성시 검토할 사항
- 수집가능성, 보안문제, 수집비용, 정확성, 난이도 고려
* 척도 - 척도란 수집된 데이터가 다른 데이터와 구분하기위한 특성을 의미
* 데이터는 측정방법에따라 질적자료와 양적자료 로 구분
질적자료 - 명목척도와 순위척도
양적자료 - 구간척도와 비율척도로 구분
| 데이터 속성 | |
| 명목형(범주형) Nominal |
명사형/ 이름만 의미부여 크기&순서 상관없음 |
| 순서형(범주형) Ordinal |
순서에 의미부여O (ex. 만족, 보통, 불만족) |
| 이산형(수치형) Discrete |
변수값을 하나하나 개수로 셀 수 있는 경우 |
| 연속형(수치형) Continuous |
변수가 구간내 모든값을 가질 수 있는 경우 |
| 데이터 측정척도 | |
| 명목척도 | 순위가 없는 특정범주에 존재하는 척도 기호&숫자 부여 =,!= 의 연산가능 성별, 혈액형, 거주지역 |
| 서열척도 순서(순위)척도 |
분류&서열 순서가있는 척도 비계량적 변수 관측&비교 숫자크기에 의미 <,> 비교연산가능 석차,소득수준,제품평점, 아이돌 선호도 등 |
| 등간척도 간격(구간)척도 |
동일 간격화/ 크기간 차이 비교 순서,순위는 의미 없다 비계량적 변수를 정량적 측정 절대적 원점이 존재하지않는다, (0이라고 해서 값이 없다고 할수없음) (+.-)가감연산가능 온도,지수 ,점수 |
| 비율척도 | 비율계산가능, 절대적 원점이 존재 수치형변수 측정시 주로 사용 사칙연산및 크기 비교 모두가능 (ex. 나이, 키, 거리, 소득 등) *속성 값을 연산했을 때 의미 있으면 비율 척도, 의미 없으면 등간척도 |
* 데이터 변환 기술(데이터 전처리작업) - 삭제는 없다!
| 방법 | 평활화 | 집계 | 일반화 | 정규화 | 속성 생성 | 범주화 | 데이터축소, 차원축소 |
| 특징 | - 잡음(이상치) 제거 - 추세 벗어나는 값 변환 -구간화 군집화를 통해 값변환 |
- 그룹화연산을이용하여 데이터 요약 - 속성 하나로 줄임 - 스케일 변경 |
- 특정 구간에 분포하도록 - 범용적 데이터에 적합 |
- 정해진 구간내에 분포 - 최소-최대/ Z-score - 소수 스케일링 |
- 데이터 통합을 위해 새로운 속성/특징을 만드는 방법 | -데이터통합을위해 사위레벨개념의 속성이나 특성을 이용해 일반화 | -데이터축소 :같은정보량을 가지면서 데이터 크기를 줄임 - 차원축소 :데이터 차원의 크기를 축소 |
* 정규화 기법 3가지
- 최소-최대 정규화: 최솟값 0, 최댓값 1, 다른 값을은 0과 1사이의 값으로 변환
- Z-스코어 정규화: 데이터가 평균 대비 몇 표준편차만큼 떨어져 있는지 점수화
- 이상값 문제를 피하는 정규화 전략
- 소수 스케일링: 특성값의 소수점을 이동하여 데이터 크기 조정
*데이터 비식별화
: 개인정보 일부/전부를 삭제/대체하여, 다른 정보와 결합해도 특정 개인을 식별하기 어렵도록 하는 조치*
데이터 비식별화 처리기법: 가명처리/ 총계처리/ 데이터값 삭제/ 범주화/ 데이터 마스킹
* 데이터 품질 특성 - 데이터 유효성과 활용성
- 데이터 유효성: 정확성, 일관성으로 정의함
- 데이터 정확성: 정확성, 사실성, 적합성, 필수성, 연관성
- 데이터 일관성: 정합성, 일치성, 무결성
- 데이터 활용성: 유용성, 접근성, 적시성, 보안성으로 정의함
- 데이터 유용성: 충분성, 유연성, 사용성, 추적성
- 데이터 보안성: 보호성, 책임성, 안정성
* 빅데이터 품질요소와 품질전략
| 요소 | 전략 |
| 정확성(Accuracy) | 데이터 사용 목적에 따라 데이터 정확성의 기준을 다르게 적용 |
| 완전성(Completeness) | 필요한 데이터의 완전한 확보 보다는 필요한 데이터를 식별하는 수준으로 적용가능 |
| 적시성(Timeliness) | 소멸성이 가낭 데이터에 대해 어느정도의 품질기준을 적용할것인지 결정 |
| 일관성(Consistency) | 같은 데이터 라고 할지라도 사용목적에 따라 달라지는 데이터 수집 기준때문에 데이터의 의미가 달라질수 있음 |
* 데이터 변환후 품질검증 프로세스
* 메타데이터 : 데이터에 관한 구조화된 데이터로서 다른 데이터를 설명해주는 데이터
- 수집 데이터 분석 프로세스: 빅데이터 수집 → 메타데이터 수집 → 메타데이터 분석 → 데이터 속성 분석
- 메타데이터 수집: 테이블 정의서, 컬럼 정의서, 도메인 정의서, 데이터 사전, ERD(ER-Diagram) 등
- 메타데이터를 통한 데이터 속성(유효성) 분석 방안
- 누락값 분석: NULL, 공백, 숫자 0의 분포 확인
- 값의 허용 범위 분석: 해당 속성의 도메인 유형에 따라서 범위 결정
- 허용 값 목록 분석: 허용 값 목록, 집합에 포함되지 않는 값을 발견
- 문자열 패턴 분석: 컬럼 속성값의 특성을 문자열로 도식화 → 특성을 파악하기 쉽게 해 놓은 표현 방법
- 날짜 유형 분석: DATETIME 유형, 문자형 날짜 유형을 활용
- 유일 값 분석: 유일해야 하는 컬럼에 중복이 있는지 확인
- 구조 분석: 관계 분석, 참조 무결성 분석, 구조 무결성 분석기 등을 활용하여 구조 결함 발견
* 데이터 프로파일링을 통한 품질 검증 기법
* 데이터 프로 파일링: 데이터 현황 분석을 위한 자료수집을 통해 잠재적 오류 징후를 발견하는 방법
* 절차 : 메타 데이터 수집 및 분석 -> 대상및 유형 선정 -> 프로파일링 수행 -> 프로파일링 결과 리뷰 -> 프로파일링 결과 종합
* 품질 검증 기준
- 복합성, 완전성, 유용성, 시간적요소, 일관성 , 타당성 , 정확성
- 복잡성 기준 정의: 데이터 구조, 형식, 자료, 계층 측면에서 정의함
- 완정성 기준 정의: 메타데이터, 개체 단위, 변수 정의 등을 기준으로 → 질이 충분하고 완전한가
- 유용성 기준 정의: 처리 용이성, 자료 크기, 하드웨어 및 소프트웨어의 제약 사항 측면에서 정의함
- 시간적 요소 및 일관성 기준 정의: 시간적 요소, 일관성, 타당성, 정확성을 기준으로 품질 관리
- 시간적 요소: 수집 기간, 수집 방법의 변화가 과거 자료 사용에 제약을 주는지 여부 등
*빅데이터 적재 소프트웨어 아키텍처
| 단계 | 수집 | 적재 및 저장 | 분석 | 활용 |
| - ETL - 크롤러 - 연계/수집 플랫폼 |
데이터 구성 플랫폼 - RDB저장소 - NoSQL 저장소 - Object 저장소 |
빅데이터 분석 모델/플랫폼 | - 데이터 시각화 - 데이터 활용 플랫폼 - Open-API 서비스 |
* 데이터 적재: 빅데이터 유형, 실시간 처리 여부에 따라 RDBMS, HDFS, NoSQL 저장 시스템에 적재함
* 데이터 적재 도구: 플루언티드/ 플럼/ 스크라이브/ 로그스태시
| 도구 | 플루언티드(Fluentd) | 플럼(Flume) | 스크라이브(Scribe) | 로그스태시(Logstash) |
| 설명 | - 크로스 플랫폼 오픈소스 데이터 수집 소프트웨어 - 각 서버에서 수집→중앙 전송 - 플루언티드가 로그수집에이전트 역할만 수행하는 가장 간단한 구조 |
-대용량 로그 수집/집계/이동 -실시간 스트리밍 -이벤트-에이전트 활용 |
-대용량 로그 수집 -실시간 스트리밍 -분산시스템에 데이터 저장 |
-모든 로그 정보를 수집하여 하나의 저장소에 출력해주는 시스템 |
* 빅데이터 저장 시스템: 대용량 데이터 집합을 저장&관리하는 시스템
* 빅데이터 저장기술:
분산 파일 시스템/ 데이터베이스 클러스터/ NoSQL/ 병렬 DBMS/ 네트워크 구성/ 클라우드 파일 저장시스템
| 기술 | 분산 파일시스템 | 데이터베이스 클러스터 |
NoSQL | 병렬 DBMS | 네트워크 구성 저장 시스템 |
클라우드 파일 저장 시스템 |
| 설명 | 네트워크를 통해 여러 호스트 컴퓨터 파일에 접근 |
하나의 DB를 여러개 서버상에 분산하여 구축 -데이터파티셔닝이용 |
스키마X 조인X 수평적 확장이 가능한 DBMS 특성 : BASE |
다수의 마이크로프로세서 동시에 여러개 처리 |
다른 저장장치 데이터서버 하나에 연결하여 저장 |
클라우드컴퓨팅환경 분산 파일시스템 |
| 종류 | - GFS - HDFS - 러스터 |
- 오라클 RAC - IBM DB2 ICE - MSSQL - MySQL |
- 구글 빅테이블 - HBase - SimpleDB - SSDS - Cloudata - Cassandra |
- VoltDB - SAP HANA - Verica - Greenplum - Netezza |
- SAN - NAS |
- Amazon S3 - OpenStack Swift |
* 분산 파일 시스템: 네트워크를 통해 여러 호스트 파일에 접근
| 종류 | 구글 파일 시스템 (GFS) | 하둡 분산 파일 시스템 (HDFS) | 러스터 (Lustre) |
| 특징 | 고정된크기의 청크 (64MB)들을 파일로나눔 청크&복제본을 분산 저장 |
파일크기를 블록 (128MB)로 나누어분산서버에 저장, 64에서 128MB로 증가 분산된 서버에 테라,페타 바이트 이상의 대용량 파일 저장 |
객체기반 클러스터 파일 시스템 계층화된 모듈 구조 |
| 구조 | 클라이언트가 마스터에게 파일 요정 → 마스터는 청크 서버에 요청 → 청크 서버는 클라이언트에게 청크 데이터 전송 | - 네임노드: 마스터 역할, 모든 메타데이터 관리, 데이터노드들로부터 하트비트를 받아 상태 체크 - 보조 네임노드: 상태 모니터링 보조함 - 데이터노드: 슬레이브 역할, 데이터 입출력 요청, 데이터 유실방지를 위해 블록을 3중 복제 |
- 클라이언트 , 메타데이터 서버, 객체저장서버들로 구성 -TCP/IP, 인피니티 밴드(무한대역폭)같은 네트워크 지원 |
* NoSQL 특징 -BASE:
- Basically Available - 언제든지 데이터에 접근 가능, 항상 가용성중시
- Soft-State - 노드 상태는 외부 정보로 결정됨, 특정시점에서는 일관성이 보장되지않음
- Eventually Consistency - 일정시간이 지나면 데이터 일관성 유지
* NoSQL의 유형: 저장되는 데이터 구조에 따라서 나눔
| Key-Value Store | Column Family Data Store | Document Store | Graph Store |
| 유니크한 키 하나에 값 하나 get/put/delete로 처리 |
키 안에 (Column, Value) 조합 테이블기반,조인미지원 컬럼기반 |
데이터 타입이 Document document타입이 xml,json,yml |
그래프로 데이터를 표현 시멘틱웹과 온톨로지분야에서활용 |
| Redis, DynamoDB | HBase, Cassandra | MongoDB, Couchbase | Neo4j, AllegroGraph |
* CAP 이론: NoSQL은 CAP 이론을 기반으로 함
분산 컴퓨팅 환경은 Availability, Consistency, Partition Tolerance 3가지 특징 중 2가지만 만족할 수 있다는 이론
| Consistency | Availability | Partition Tolerance |
| 일관성 | 유효성 | 분산 가능 |
| 모든 사용자에게 같은 시간에 같은 데이터 제공 |
모든 클라이언트가 읽기&쓰기 가능해야 함 |
물리적 네트워크 분산환경에서시스템이 원활하게 동작해야 함 네트워크전송중 데이터손실상황이 생겨도 정상적으로 동작해야함 |
* ACID - NoSQL 에서 ACID요건을 완화하거나 제약하는 특징이있다
- 트랜잰션의 특징인 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation) , 내구성(Durability)을 뜻한다.
* 빅데이터 저장 제품을 검토하기 위한 사용자 요구사항 분석 절차: 요구사항 수집 - 분석 - 명세 - 검증
* 저장방식 선정시 고려요소: 저장기술의 기능성, 분석방식 및 환경, 분석 대상 데이터 유형, 기존 시스템과의 연계
* 데이터 웨어하우스에서 데이터 처리 프로세스
1.ETL - 데이터 원천으로 부터 테이터를 추출 변환하여 적재하는 작업을 하며 데이터 웨어하우스로 보내기전에 수행
2. ODS - 데이터에 대한 추가 작업을 위해 다양한 데이터 원천 들로 부터 데이터를 추출및 통합한 데이터 베이스
- ODS 내 데이터는 비지니스 지원을 위해 타시스템으로 이관되거나, 보고서 생성을 위해 데이터 웨어하우스로 이 관된다
3.CDC - 데이터 백업이나 통합 작업을 할경우 최근 변경된 데이터를 대상으로 다른시스템으로 이동하는 처리기술
- 실시간 백업과 데이터 통합이 가능하여 24시간 운영 하는 업무에 활용
* ETL과 CDC 비교
* 공통된 목적은 원천 데이터를 DW, DM으로 적재
* ETL 특징 - 실시간이 아닌 정해진 시점의 완료된 데이터를 적재
* CDC 특징 - 실시간으로 적재
* 데이터 웨어하우스 특징 - 주체지향적, 통합적, 시계열적, 비휘발적
* 데이터 레이크 (Data Lake)
- 모든 가공되지않은 다양한 데이터를 저장하는 시스템 , 데이터 자장소
- 스키마와 상관없이 저장가능
- 데이터 사이언스에서 활용
