빅데이터분석기사 필기 개념 정리

4과목 핵심 용어·이론 정리. 시험 출제 빈도 높은 항목 위주로 정의·예시·암기 팁 정리.

---

📌 1과목 — 빅데이터의 이해

1.1 빅데이터 개요·활용

• 빅데이터: TB 이상의 정형/비정형 데이터에서 가치 추출·결과 분석하는 기술
• 빅데이터 활용 3대 요소: 인력 · 자원(데이터) · 기술

빅데이터 3V (Gartner 정의)

• Volume (규모) — 데이터의 양
• Variety (다양성) — 정형·반정형·비정형
• Velocity (속도) — 실시간 처리

확장: + Value(가치)·Veracity(신뢰성)·Validity(정확성)·Volatility(휘발성) → 4V·5V·7V

DIKW 피라미드: Data → Information → Knowledge → Wisdom

암묵지 ↔ 형식지 (SECI 모델) — 공·표·연·내

• 공통화 (Socialization) — 대화·상호작용으로 암묵지 전달
• 표준화 (Externalization) — 문서화·매체화 (암묵→형식)
• 연결화 (Combination) — 형식지 결합 (교재·매뉴얼 통합)
• 내연화 (Internalization) — 행동·실천교육 (형식→암묵)

데이터베이스 특징 — 공·통·저·변

• 공용 데이터 (여러 사용자 공동 이용)
• 통합 데이터 (중복 제거)
• 저장 데이터
• 변화 데이터 (추가·수정에도 무결성 유지)

빅데이터가 만든 변화 — 전·후·양·상

• 표본 → 전수조사
• 사전처리 → 사후처리
• 질 → 양
• 인과관계 → 상관관계

데이터 사이언스 핵심 구성요소 (AIB)

• Analytics (이론적 지식·통계)
• IT (프로그래밍·인프라)
• Business (도메인·비즈니스 분석)

데이터 사이언티스트 필요역량

• 하드 스킬 — 이론·기술 (통계·ML·SQL·Python·R)
• 소프트 스킬 — 통찰력·협력·전달력·스토리텔링

데이터 단위: KB < MB < GB < TB < PB < EB < ZB < YB (각 2^10배)

빅데이터 조직 구조 — 집·기·분

• 집중 구조 — 별도 전담 분석조직 (우선순위 지정 가능)
• 기능 구조 — 각 현업 부서가 직접 분석 (별도 조직 X)
• 분산 구조 — 분석 인력을 각 부서에 배치

1.2 빅데이터 기술·제도

빅데이터 플랫폼 계층: 인프라(하위) < 플랫폼 < 소프트웨어(상위)

AI 계층: 딥러닝 ⊂ 머신러닝 ⊂ 인공지능

• 약인공지능 (ANI) — 특정 task만 (현재 LLM·자율주행 포함)
• 강인공지능 (AGI) — 인간 수준 범용 사고 (미달성, 연구 중)

머신러닝 종류

• 지도학습 — 정답(label) 제공 (분류·회귀)
• 비지도학습 — 정답 없음 (군집·차원 축소·이상치 탐지)
• 강화학습 — 보상 기반 trial-and-error (RLHF·게임 AI·로봇)

전이학습 (Transfer Learning): 사전 훈련 모델을 새 task에 재사용

• Fine-tuning — 사전학습 모델을 특정 도메인에 재조정 (BERT·GPT·LLaMA·CLIP)

데이터 3법 (2020.8 시행): 개인정보보호법·정보통신망법·신용정보법

• 가명정보 개념 도입 — 가명처리 시 정보주체 동의 없이 과학·통계·공익 목적 활용
• 개인정보 거버넌스 효율화·처리자 책임 강화·판단기준 명확화

개인정보 비식별 조치 절차: 사전 검토 → 비식별조치 → 적정성 평가 → 사후 관리

1.3 데이터 분석 계획

분석 대상 vs 분석 방법 (2×2 매트릭스)

분석 기획 방안

• 과제 중심적 접근 — 빠른 해결
• 장기 마스터 플랜 — 지속적 원인 분석

하향식(Top-down) 접근: 문제가 먼저 주어짐 → 해결책 탐색

• 절차: 문제 탐색 → 문제 정의 → 해결방안 → 타당성 검토
• 비즈니스 모델 캔버스 5단순화 — 업무·제품·고객·규제와감사·지원 인프라

상향식(Bottom-up) 접근: 문제 정의 자체가 어려울 때, 데이터에서 패턴 탐색

분석 과제 5고려 요소: 데이터 크기·속도·복잡도·분석 복잡도·정확도/정밀도 (정확도-정밀도는 Trade-off)

ROI 관점 — 분석 과제 우선순위

• 시급성 = 비즈니스 관점 (Value)
• 난이도 = 투자비용 관점 (3V — 다양성·속도·규모)
• 시급성 우선: 3 → 4 → 2 사분면 / 난이도 우선: 3 → 1 → 2 사분면

분석 방법론 모델

• 폭포수 (Waterfall) — Top-down 순차
• 나선형 (Spiral) — 점진적 완성·위험요소 제거
• 프로토타입 — 시작품 우선 개발 후 보완
• 애자일 — 짧은 주기 반복·고객 니즈 반영

KDD 방법론 (Knowledge Discovery in Database)

• 선택 → 전처리 → 변환 → 마이닝 → 평가

CRISP-DM 방법론 (가장 자주 출제, 데이터를 이해한 후 준비)

• 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개
• 주의: 모델링 단계 = '모델 평가', 평가 단계 = '모델 적용성 평가'

SEMMA 방법론 (SAS·통계 중심): Sample → Explore → Modify → Model → Assess

빅데이터 분석 방법론 (PPADD) — 분석기획 단계

1. 비즈니스 이해·범위 설정 — 구조화된 작업기술서(SOW) 작성
2. 프로젝트 정의·계획 수립 — 프로젝트 계획서, WBS(작업분할구조도)
3. 위험계획 수립 — 회피·전이(보험)·완화·수용

분석 거버넌스 5요소: 조직 · 프로세스 · 시스템 · 데이터 · 분석교육·마인드

분석 수준 진단

• 분석 준비도 — 업무·인력·조직·기법·데이터·문화·인프라
• 분석 성숙도 (CMMI 기반) — 비즈니스/조직·역량/IT 관점
  • 도입 → 활용 → 확산 → 최적화 4단계
• 성숙도 모델 4유형: 준비형(인프라 정비) → 도입형(시작) → 정착형(정례화) → 확산형(전사 확대)

데이터 거버넌스 3요소 — 원조프: 원칙 · 조직 · 프로세스

1.4 데이터 수집·저장 계획

데이터 수집 기술

• ETL — Extract·Transform·Load (전통, DB → DW)
• FTP — TCP/IP 파일 교환
• Open API — 공개 API를 통한 요청·수신
• Sqoop — RDBMS ↔ Hadoop 대용량 전송
• 웹 크롤링 (Crawling) — 웹사이트 자동 수집

반정형 데이터 — 메타데이터 포함 (JSON·XML·로그)

개인정보 비식별화 기술

• 데이터 마스킹 — 특정 문자(*, #)로 치환·일부 가림 (삭제 X)
• 가명처리 — 식별 불가 다른 값으로 변경
• 총계처리 — 합·평균 등 요약값으로 처리
• 범주화 — 34세 → 30대로 변환

프라이버시 보호 모델

• k-익명성 — 동일 속성 k명 이상으로 비식별
• l-다양성 — 민감 정보 다양성 ≥ l
• t-근접성 — 민감 분포 차이 ≤ t

데이터 품질 기준 — 완전성·정확성·일관성·유효성·적시성·유일성 (+ 접근성·보안성·유용성)

분산 파일 시스템

• HDFS (Hadoop Distributed File System) — NameNode (master) + DataNode (slave)
  • 기본 복제 횟수 3·블록 분산·읽기 위주·고가용 (NameNode HA)
• GFS (Google File System) — Google 자체, 청크 분할·복제·읽기 위주
  • HDFS의 영감이 됨

MapReduce (분산 병렬 처리 모델)

• Input → Splitting → Mapping → Shuffling → Reducing
• Hadoop 기본 분산 처리 모델
• 중복 제거·합계 계산·집계에 강함

데이터베이스 분류

• 관계형 DB (RDBMS) — 정형 데이터·SQL
• 병렬 DBMS — 대규모 처리, 일정 단위로 나눠 병렬, 빠른 처리·확장 용이
• NoSQL — 비정형·반정형 (MongoDB·Cassandra·HBase·Redis·DynamoDB)

DW · DM · Data Lake

• 데이터 웨어하우스 (DW) — 정형 데이터, 주제지향·통합·시계열·비휘발성
• 데이터 마트 (DM) — DW의 부분집합, 특정 부서·목적, 요약변수가 기본
• 데이터 레이크 (Data Lake) — 원시(raw)·비정형 대용량, 하둡 연계, schema-on-read

---

📌 2과목 — 빅데이터 탐색

2.1 데이터 전처리

변수 선택 방법

• 전진선택법 (Forward) — 빈 모델 → 상관 큰 변수부터 하나씩 추가
• 후진제거법 (Backward) — 모든 변수 포함 → 상관 작은 변수부터 하나씩 제거
• 단계별 선택법 (Stepwise) — 전진 + 후진 보완

차원 축소

• 차원의 저주 — 차원 ↑ → 데이터 희소성·알고리즘 성능 저하

주성분 분석 (PCA) — 상관 높은 변수의 선형결합으로 차원 축소

• 고차원 → 저차원, 분산(정보) 최대 보존
• 변수 간 중복 제거 → 새 축(주성분) 생성·투영
• 변수 간 상관 시 유용 / 정규분포 가정 X (기출 빈도 높음)
• 직교변환(orthogonal transformation) 사용

요인분석 (Factor Analysis) — 잠재 요인 도출·구조 해석

• 독립/종속 구분 X / 기술통계 기반 (공분산·상관계수)
• 같은 요인끼리 묶이고 각 요인은 직교
• 회전 방식:
  • 직각 회전 (Varimax) — 요인 간 상관 = 0 가정
  • 사각 회전 (Promax·Oblimin) — 요인 간 상관 ≠ 0 유지

기타 차원 축소

• 다차원척도법 (MDS) — 개체 간 군집을 시각적 표현
• 특이값 분해 (SVD) — MxN 비정방 행렬 분해
• 선형판별분석 (LDA)·독립성분분석 (ICA)

요약변수 vs 파생변수

• 요약변수 — 집계 형태, 재사용성 ↑, 데이터 마트의 기본 변수 (월 평균 기온·총 구매금액)
• 파생변수 — 기존 변수 변형·결합, 유연성 ↑, 분석 목표별 다름 (성별+연령 = '중년 남성')
  • 논리적 타당성이 핵심 — 왜 만들었는지 설명 가능해야

수치형 변수 변환

• Z-score 정규화 — (현재값 - 평균) / 표준편차 → 평균 0, 표준편차 1
• 최소-최대 정규화 — (현재값 - 최소값) / (최대값 - 최소값) → 0~1
• 로그 변환 — 한쪽으로 치우친(skewed) 분포 정규화

범주형 변수 변환

• 레이블 인코딩 — 정수로 변환 (0·1·2…). 순서가 아닌 크기로 오인할 위험
• 원-핫 인코딩 — 고유값만 1, 나머지 0 ([0, 0, 1])
• 타깃 인코딩 — 타깃 변수 평균값으로 변환

불균형 데이터 처리

• 가중치 균형 적용 — 불균형에 가중치 부여
• 비용 민감 학습 (Cost-sensitive) — 소수 클래스에 더 큰 가중치
• 언더샘플링 — 다수 데이터 일부만 선택 (정보 손실 위험)
• 오버샘플링 — 소수 데이터 복사 (과적합 위험)
• SMOTE — 가상 직선으로 소수 클래스를 합성하는 오버샘플링 (대표 기법)

2.2 데이터 탐색 (EDA)

EDA (Exploratory Data Analysis) — Tukey 1977, 데이터 구조·특성 파악

• 목적: 숨겨진 의미·패턴 발견, 직관적 이해
• 방법: 통계 요약 + 시각화 (평균·분산·히스토그램·박스플롯)
• 4가지 주제 — 저·잔·재·현: 저항성(이상치 영향 적음)·잔차 계산·자료 변수 재표현·그래프 현시성

상관분석

• 피어슨 상관계수 (Pearson) — 연속형·선형 관계 측정, 이상치에 민감
• 스피어만 상관계수 (Spearman) — 서열형·단조 관계 (선형·비선형 모두), 이상치에 덜 민감

첨도 (Kurtosis) — 분포가 얼마나 뾰족한지

• 0 = 정규분포(또는 3 기준), 클수록 뾰족(leptokurtic), 작을수록 평평(platykurtic)

왜도 (Skewness) — 비대칭 정도

• > 0 = 오른쪽 꼬리 김 → 최빈값 < 중앙값 < 평균
• < 0 = 왼쪽 꼬리 김 → 최빈값 > 중앙값 > 평균

2.3 고급 데이터 탐색

공간 데이터 유형

• 비공간 타입 — 위치 정보 없음 (전화번호)
• 래스터 (Raster) — 픽셀 분할, 객체 관계 표현 약함
• 벡터 (Vector) — 객체 자체, 관계 표현 X
• 위상적 (Topological) — 관계 중심 표현

시공간 데이터 — 공간 + 시간, 예측·격자 차트·지도 결합

다변량 데이터 탐색 (높은 차원 — 차원 축소 필요)

• PCA, MDS, LLE (Locally Linear Embedding)

2.4 통계기법 — 기술통계·확률분포·표본추출

표본 추출 방법

• 단순랜덤 (Simple Random) — 완전 무작위
• 계통추출 (Systematic) — 순서·일정 간격
• 집락추출 (Cluster) — 군집으로 나눈 뒤 군집 단위 선택. 군집 내 이질·군집 간 동질
• 층화추출 (Stratified) — 유사 요소끼리 층 묶어 층별 추출. 군집 내 동질·군집 간 이질
• 복원 / 비복원 추출

표본 추출 오차 — 표본의 크기보다 대표성이 중요

• 과잉 대표 — 한 그룹이 너무 많이 뽑힘
• 최소 대표 — 필요한 그룹이 너무 적게 뽑힘

확률분포

• 이산 확률분포 (값을 셀 수 있음, 확률질량함수 PMF)
  • 베르누이·이항·기하·음이항·다항·포아송·초기하
  • 암기: 베·포·항·항·하 (베르누이→포아송→이항→기하→다항)
• 연속 확률분포 (확률밀도함수 PDF)
  • 정규분포 (Z-검정)·t-분포 (평균 비교)·카이제곱 (범주형)·F-분포 (분산 비교)·지수분포·균등분포

중심극한정리 (CLT) — 표본 크기 n ≥ 30이면 모집단 분포 무관 표본분포가 정규분포 근사

• 표본분포 평균 = 모집단 평균
• 표본분포 분산 = 모집단 분산 / n

2.5 추론통계 — 점·구간추정·가설검정

추정

• 점추정 — 모집단을 특정 값으로 추정
• 구간추정 — 특정 구간으로 추정 (95%·99% 신뢰수준)

모평균 구간 추정

• 모집단 분산을 알면 → 정규분포 (Z 통계)
• 모집단 분산을 모르면 → t-분포 (자유도 n-1)

가설검정 — 데이터로 주장의 옳고 그름 판단

• 귀무가설 (H₀) — 기본 주장 ('차이 없다·변화 없다')
• 대립가설 (H₁) — 증명하고 싶은 주장
• 유의수준 (α) — 1종 오류 허용 한계 (보통 0.05·0.01)
• 기각역 — H₀ 기각하기로 한 구간
  • 양측 검정 — 기각역 양쪽 ('같지 않다')
  • 단측 검정 — 한쪽 ('크다·작다')

오류

• 1종 오류 — H₀ 맞는데 기각 (판매자 오류, 정상 제품을 불량으로 반품)
• 2종 오류 — H₀ 틀렸는데 채택 (소비자 오류, 불량을 정상으로 인식)
• 3종 오류 — 올바른 결론 도출했지만 잘못된 가설·방향

가설검정 풀이 순서

1. 귀무/대립가설 설정
2. 양측 / 단측 검정 확인 ('같지 않다' = 양측 / '크다·작다' = 단측)
3. 일표본 / 이표본 확인 (모집단 1개 / 2개+)
4. 검정통계량 계산·기각역 판단
5. t검정인 경우 단일 / 대응 / 독립표본 구분
   • 단일표본 — 모집단의 평균검정
   • 대응표본 — 동일 모집단의 평균비교 (전후 비교)
   • 독립표본 — 서로 다른 모집단의 평균비교

---

📌 3과목 — 빅데이터 모델링

3.1 분석 절차 수립

• 과대적합 (Overfitting) — 모델이 훈련 데이터를 지나치게 학습, 복잡해짐
• 과소적합 (Underfitting) — 모델이 데이터를 충분히 설명 못 함, 단순

3.2 분석 환경 구축

분석 도구 선정

• R — 통계 특화, 처리 속도 느림, 강력한 시각화 (ggplot)
• Python — 간결·가독성·R보다 빠른 속도, 머신러닝·딥러닝 dominant

데이터 분할 — 과적합·불균형 방지

• 훈련 (Training) 50% — 모델 학습
• 검증 (Validation) 30% — 하이퍼파라미터 튜닝
• 평가 (Test) 20% — 최종 모델 평가

3.3 분석기법 — 회귀·분류

회귀분석 — 독립변수가 종속변수에 미치는 영향 (연속형 → 연속형)

• 잔차 (Residual) — 예측값과 실제값의 차이 (오차는 모집단·잔차는 표본 기준)
• 회귀계수 — 기울기·절편
• 최소제곱법 (OLS) — 잔차 제곱합이 최소되는 계수 찾기
• 결정계수 (R²) — 0~1, 1에 가까울수록 설명력 ↑

선형 회귀분석의 5가정

1. 선형성 — 독립·종속 선형관계
2. 독립성 — 잔차와 독립변수 간 상관 X
   • 다중공선성 — 독립변수 간 강한 상관 → 차원 축소·VIF 진단
3. 정규성 (정상성) — 잔차가 정규분포
4. 등분산성 — 잔차의 분산 일정
5. 비상관성 — 잔차들끼리 상관 X

회귀모형 변수 선택

• 전진·후진·단계별 선택법
• 벌점 기준 — AIC·BIC (낮을수록 좋음)

로지스틱 회귀분석 — 종속변수가 범주형 (연속형 → 범주형, 분류)

• 오즈 (Odds) = 성공확률 / 실패확률
• 로짓 변환 (logit) — 오즈에 자연로그 → 선형처럼 변환
• 독립변수 n 증가 시 확률이 e^n 배 증가
• 확률 예측 모델이면서 선형 해석 가능

의사결정나무 (Decision Tree) — 여러 분리 기준으로 분류·회귀

• 분할 기준:
  • 분류: CHAID (통계적 유의성)·CART (지니지수)·C4.5/C5.0 (엔트로피)
  • 회귀: CHAID·CART
• 정지규칙 — 분리 중단
• 가지치기 (Pruning) — 일부 가지 제거 → 과적합 방지

인공신경망 (ANN) — 뇌 구조 모방 (퍼셉트론)

• 퍼셉트론 — 신경망 기본 단위 (입력 → 가중치 → 활성화 함수 → 출력)
• MLP (Multi-Layer Perceptron) — 은닉층 1개 이상
• 은닉층 수는 사용자 설정 (하이퍼파라미터)

활성화 함수 (Activation Function) — 비선형성 부여, XOR 문제 해결

• Sigmoid — 0~1, 로지스틱과 유사 (기울기 소실 ↑)
• Softmax — 다범주 사후확률
• Tanh (하이퍼볼릭 탄젠트) — -1~1, sigmoid의 중심값 0 이동
• ReLU — max(0, x), 기울기 소실 완화, 모던 표준
  • 단점: Dying ReLU — 음수 입력 시 기울기 0
  • 변형: Leaky ReLU·PReLU·ELU·GELU·Swish

과적합 방지 방안 (ANN)

• L1 규제 (Lasso) — 절댓값 (변수 일부 제거·sparse)
• L2 규제 (Ridge) — 제곱 (계수를 0에 가깝게)
• 드롭아웃 (Dropout) — 일부 뉴런 비활성화
• 조기종료 (Early Stopping) — 검증 오차 최저점에서 종료
• 모델 복잡도 ↓·데이터 증강·배치 정규화 (Batch Normalization)

인공신경망 학습

• 역전파 (Backpropagation) — 가중치 수정으로 오차 감소 (출력 → 입력)
• 경사하강법 (Gradient Descent) — 기울기 방향으로 이동, 극값 도달

서포트벡터머신 (SVM) — 마진 최대 초평면(경계선)으로 분류

• 초평면 (Hyperplane) — 분류 경계
• 서포트벡터 (Support Vector) — 경계와 가장 가까운 데이터
• 마진 (Margin) — 초평면과 서포트벡터 거리 (최대화 목표)
• 커널 함수 (Kernel) — 저차원 → 고차원 매핑 (RBF·Polynomial·Sigmoid·Linear)
• 유형: 하드마진 (오류 비허용)·소프트마진 (오류 일부 허용)

연관분석 (Association Rule Mining) — 항목 간 패턴 (Apriori 알고리즘)

• 결과가 단순·분명, 품목 수 ↑ 시 계산 폭증
• 장바구니 분석·교차판매·추천

지표

• 지지도 (Support) = P(A ∩ B) — A와 B 동시 발생 비율
• 신뢰도 (Confidence) = P(B | A) — A 발생 시 B 동반 비율
• 향상도 (Lift) = P(B|A) / P(B) — 우연 대비 (1보다 크면 양의 연관)

3.4 군집분석 (Clustering) — 비지도

거리 측정 — 연속형

• 유클리디안 — 직선거리, √(Σ(xi-yi)²)
• 맨하튼 — 계단식, Σ|xi-yi|
• 체비셰프 — 최댓값, max|xi-yi|
• 표준화 거리 — 유클리디안 / 표준편차
• 민코프스키 — 일반화 (유클리디안·맨하튼의 일반화)
• 마할라노비스 — 상관관계 반영, 표준화 + 변수 상관성 고려

거리 측정 — 범주형

• 자카드 유사도 — 교집합 / 합집합
• 코사인 유사도 — 벡터 각도

계층적 군집분석

• 거리측정: 최단·최장·평균·중심·Ward (가장 안정적)
• 덴드로그램 (Dendrogram) — Tree 모양 그래프

비계층적 군집분석

• K-means — 지정된 군집 수, 평균 중심점, 이상치 민감
  • 대응: K-medoids (중앙점 사용, robust)
• DBSCAN — 밀도 기반, 군집 수 자동·노이즈/이상치 강함
• 기타: 퍼지군집·EM 알고리즘·자기조직화지도(SOM) (신경망 활용 차원 축소)

3.5 고급 분석기법

분할표 (Contingency Table) — 범주형 변수 교차표, 오즈비 계산

다변량 분석

• 요인분석 — 다수 변수의 상관관계 → 소수 요인 축약
• 추출: 주성분분석·공통요인분석
• 회전: Varimax·Promax

시계열 분석 — 시간 흐름에 따른 자료 → 미래 예측

• 정상성 (Stationarity) — 모든 시점에 평균·분산 일정
• 차분 (Differencing) — 현 시점 - 이전 시점 (정상성 확보)
• 자기상관 — 현재가 과거·미래와 관련 (독립 X)
• 백색잡음 — 시계열 모형의 오차항

시계열 모형

• AR (자기회귀) — 자신의 과거 값
• MA (이동평균) — 백색잡음 선형결합 (동일 가중치)
  • 지수평활법 — MA의 한 종류, 최근에 더 높은 가중치
• ARIMA(p, d, q) = AR + I(차분) + MA, d = 차분 횟수
• SARIMA — 계절성 적용

분해 시계열

• 추세 요인 — 장기 증감
• 계절 요인 — 고정 주기
• 순환 요인 — 알려지지 않은 주기, 중장기
• 불규칙 요인 — 설명 불가

베이지안 기법 — 사전확률 + 새 증거 → 사후확률

• 베이즈 정리: P(A|B) = P(B|A)·P(A) / P(B)
• 나이브 베이즈 = 독립 가정 + 베이즈

딥러닝 심화

• DNN (Deep Neural Network) — 은닉층 2개 이상, MLP 구조
• CNN (Convolutional Neural Network) — 이미지 패턴 (얼굴·자율주행·사진 분류)
• RNN (Recurrent Neural Network) — 시계열·순차 데이터
  • 단점: 장기 의존성 (오래된 정보 망각)
  • 극복: LSTM (Forget·Input·Output gate)·GRU (Reset·Update gate)

오토인코더 (Autoencoder) — 입력을 인코더로 압축 → 디코더로 재구성 (비지도)

텍스트 마이닝

• TDM (Term-Document Matrix) — 단어 빈도 행렬
• TF-IDF — Term Freq × Inverse Doc Freq (특정 문서 vs 전체 문서)
• Word2Vec — 벡터 표현 (CBOW·Skip-Gram)
• FastText — 단어를 sub-word로 분할
• ELMo — 양방향 언어 모델
• Transformer — RNN의 느린 속도·병렬 X 해결 (Attention is All You Need 2017)
  • BERT (Encoder)·GPT (Decoder)·T5·LLaMA·Claude·Gemini 모두 Transformer 기반

앙상블 분석 — 여러 모델 결합 → 분산 감소

• 보팅 (Voting) — 다수결
• 배깅 (Bagging) — 복원추출(부트스트랩) + 병렬 학습 + 보팅 → 분산 감소
• 부스팅 (Boosting) — 틀린 데이터에 집중 (순차) → 편향 감소, 이상치 민감, 병렬 X
• 랜덤 포레스트 — 배깅 + 의사결정트리, 성능 우수·이상치 강함

비모수 검정 — 분포 모를 때, 순위·차이로 비교

• 모집단 정보 없음·분포 가정 불가
• 종류: 부호검정·순위합검정·만-휘트니 U·크러스컬-월리스

---

📌 4과목 — 빅데이터 결과 해석

4.1 분석모형 평가

분류모델 평가지표

혼동행렬 (Confusion Matrix)

• 정확도 (Accuracy) = (TP + TN) / 전체
• 정밀도 (Precision) = TP / (TP + FP) — 예측 양성 중 실제 양성 비율
• 재현율 (Recall) = 민감도 (Sensitivity) = TPR = Hit Rate = TP / (TP + FN) — 실제 양성 중 맞춘 비율
• 특이도 (Specificity) = TN / (TN + FP) — 실제 음성 중 맞춘 비율
• F1-Score = 2·정밀도·재현율 / (정밀도 + 재현율) — 조화평균
• 정밀도와 재현율은 Trade-off

ROC 커브 / AUC

• 가로축 = 1 - 특이도 (= FPR), 세로축 = 민감도 (= TPR)
• AUC = ROC 아래 면적, 1에 가까울수록 우수 (0.5 = 무작위)
• 클래스 불균형에 robust

이익 도표 (Lift Table)

• 불균형 데이터에 사용
• 향상도 곡선 (Lift Curve) = 시각화

회귀모델 평가지표

• MSE (Mean Squared Error) — 평균제곱오차
• RMSE = √MSE
• MAE (Mean Absolute Error) — 평균절대오차
• R² (결정계수) — 0~1, 1에 가까울수록 우수
• Adjusted R² — 변수 수에 패널티

군집분석 평가 — 군집 내 유사·군집 간 분리

• 실루엣 계수 (Silhouette) — -1 ~ 1, 1에 가까울수록 우수 (0.5 이상 타당)
• Dunn Index (DI) — 클수록 우수

교차 검증 (Cross-validation)

• 홀드아웃 — 훈련·평가 분리 (1회), 가장 단순
• K-Fold CV — K개 폴드, K-1개 학습·1개 평가, K번 반복
• LOOCV (Leave-One-Out) — 1개로 평가, 나머지로 학습 (N번)
• 부트스트랩 — 복원추출, 데이터 부족·불균형 해소

적합도 검정

• Q-Q plot — 정규성 시각적 확인 (대각선 따라 분포)
• 카이제곱 검정 — 범주형 적합도
• 샤피로-윌크 검정 — 선형 상관 측정, p > 0.05면 정규성 가정
• 콜모고로프-스미르노프 (K-S) 검정 — 누적분포함수 비교, p > 0.05면 정규성

4.2 분석모형 개선

하이퍼파라미터

• 경사하강법 학습률 α — 너무 크면 발산, 작으면 느림
• Batch Size — 한 소그룹의 데이터 수
  • Epoch — 전체 데이터셋 학습 횟수
  • Iteration — Epoch를 마치기 위한 배치 수

하이퍼파라미터 튜닝

• Manual Search — 경험·감
• Grid Search — 모든 경우의 수
• Random Search — 무작위 샘플링
• Bayesian Optimization — 기존 평가 활용, 효율적 탐색 (modern dominant)
• Hyperband·BOHB — Bayesian + early stopping 결합

경사하강법 옵티마이저

• SGD (Stochastic Gradient Descent) — 미니배치 사용, 효율 ↑
• Momentum — 관성, 빠른 수렴
• AdaGrad — 기울기 크기에 따라 학습률 자동 조정
• RMSProp — AdaGrad 개선 (이전 기울기 weighted)
• Adam — Momentum + AdaGrad·RMSProp 결합 (가장 널리 사용)
• AdamW — Adam + weight decay, modern 표준

4.3 분석결과 해석·시각화

PCA — 스크리플롯 (Scree Plot)

• 주성분 개수 선택, 팔꿈치 (elbow) 기법
• 그래프가 완만해지기 직전 단계까지

회귀모형 검정

1. 모형 유의성 — F통계량, p-value (귀무: '모든 회귀계수 = 0')
2. 회귀계수 유의성 — t통계량, p-value (귀무: '회귀계수 = 0')
3. 둘 다 기각되면 활용
4. 설명력 — 결정계수 R²

시각화 분류

• 시간 시각화 — 막대·점·선·계단식 (시간 흐름)
• 공간 시각화 — 등치지역도·카토그램 (지역 왜곡)·등치선도·버블 플롯
  • 단계구분도 (Choropleth) — 지역별 색상 단계
• 관계 시각화 — 산점도·버블차트·히트맵·파이플롯·트리맵
• 비교 시각화 — 히트맵·체르노프 페이스·스타차트·평행좌표계

인포그래픽 (Infographic) = 정보 + 시각적 형상

• 패턴 발견보다 일반인 설득·메시지 전달
• 유형: 타임라인 (시간 순서)·컨셉 맵 (주제-내용 연관)

4.4 자료 형태별 분석 방법 선택

독립변수 ↔ 종속변수 기준

---

📌 추가 핵심 암기 팁

결측치 (Missing Value) 구분

• MCAR (Missing Completely At Random) — 완전 무작위 결측 (예: 설문지 인쇄 오류)
• MAR (Missing At Random) — 조건부 무작위, 다른 변수와 관련 (예: 여성이 체중 입력을 꺼림)
• NMAR (Not Missing At Random) — 결측 변수 자체와 관련 (예: 살찐 사람이 체중 안 적음)

자료 분류

확률분포 정리

이산 확률분포 (PMF, 셀 수 있음) — 베·포·항·항·하

• 베르누이 — 1회 성공/실패
• 이항 — 성공/실패 n회 반복
• 기하 — 처음 성공까지 시도 횟수
• 다항 — 여러 범주
• 포아송 — 단위 시간/공간 내 사건 수 (희귀 사건)
• 초기하 — 비복원 추출의 성공 횟수

연속 확률분포 (PDF, 셀 수 없음)

• 정규분포 — 종 모양, 대칭 (Z-검정)
• t-분포 — 표본 수 적을 때 (평균 비교 검정), n이 크면 정규분포로 수렴
• 카이제곱 — 비대칭, 범주형 (독립성/적합도 검정)
• F-분포 — 분산 비교 (분산동질성 검정)
• 지수분포 — 사건 간 시간 (생존분석)

Z-검정 vs t-검정

• Z-검정 — 모표준편차 알 때만 사용
• t-검정 — 모표준편차 모를 때 (보통의 경우)

PCA vs 요인분석

• PCA — 데이터 요약·차원 축소, 분산 보존, 단순 수학 변환
• 요인분석 (Factor Analysis) — 숨겨진 요인 찾기·원인 해석, 통계 모형 기반

신뢰구간 빠른 계산 팁

• "진짜 평균이 이 구간 안에 있을 확률이 95%쯤 된다"
• 보기 중 숫자 범위가 가장 가까운 게 정답
• 예: 평균 97, 표준편차 7, 표본 5 → 약 (90 ~ 103) 근처

---

요약 출처: 빅분기 필기 요약정리 (이리포). 4과목 핵심만 발췌·재구성.