핵심 계산 문제

노드 A (n=6, C1=1, C2=5): $$\text{Gini}(A) = 1 - \left(\frac{1}{6}\right)^2 - \left(\frac{5}{6}\right)^2 = 1 - \frac{1}{36} - \frac{25}{36} = \frac{10}{36} \approx \mathbf{0.278}$$ 노드 B (n=6, C1=3, C2=3): $$\text{Gini}(B) = 1 - \left(\frac{3}{6}\right)^2 - \left(\frac{3}{6}\right)^2 = 1 - \frac{1}{4} - \frac{1}{4} = \mathbf{0.5}$$ 판단: 노드 A의 지니(0.278) < 노드 B의 지니(0.5) → 노드 A가 더 순수하다. 지니 지수가 0에 가까울수록 한 클래스가 지배적(순수)이다.

① 부모 지니: $$\text{Gini}(p) = 1 - \left(\frac{7}{12}\right)^2 - \left(\frac{5}{12}\right)^2 = 1 - \frac{49}{144} - \frac{25}{144} = \frac{70}{144} \approx \mathbf{0.486}$$ ② 자식 지니: $$\text{Gini}(N1) = 1 - \left(\frac{5}{6}\right)^2 - \left(\frac{1}{6}\right)^2 = 1 - \frac{25}{36} - \frac{1}{36} = \frac{10}{36} \approx 0.278$$ $$\text{Gini}(N2) = 1 - \left(\frac{2}{6}\right)^2 - \left(\frac{4}{6}\right)^2 = 1 - \frac{4}{36} - \frac{16}{36} = \frac{16}{36} \approx 0.444$$ ③ 분할 지니 (가중 평균): $$\text{Gini}_{split} = \frac{6}{12} \times 0.278 + \frac{6}{12} \times 0.444 = 0.139 + 0.222 = \mathbf{0.361}$$ ④ 지니 이득: $$\text{Gain} = 0.486 - 0.361 = \mathbf{0.125}$$ 해석: 분할 후 지니가 0.486 → 0.361로 감소 → 분순도가 감소하여 분할이 유효하다.

노드 X (n=6): $$\text{Entropy}(X) = -\frac{1}{6}\log_2\frac{1}{6} - \frac{5}{6}\log_2\frac{5}{6}$$ $$= -\frac{1}{6}(-2.585) - \frac{5}{6}(-0.263) = 0.431 + 0.219 = \mathbf{0.65}$$ 노드 Y (n=6): $$\text{Entropy}(Y) = -\frac{2}{6}\log_2\frac{2}{6} - \frac{4}{6}\log_2\frac{4}{6}$$ $$= -\frac{1}{3}(-1.585) - \frac{2}{3}(-0.585) = 0.528 + 0.390 = \mathbf{0.918}$$ 암기 포인트: C1=0이면 엔트로피=0 (완전 순수), C1=C2이면 최대 (이진: 1.0) 슬라이드와 동일한 값 → C1=1,C2=5: 0.65 / C1=2,C2=4: 0.92

① 부모 엔트로피: $$\text{Entropy}(p) = -\frac{7}{12}\log_2\frac{7}{12} - \frac{5}{12}\log_2\frac{5}{12}$$ $$= -0.583 \times (-0.778) - 0.417 \times (-1.263) = 0.454 + 0.527 = \mathbf{0.981}$$ ② 자식 엔트로피: $$\text{Entropy}(N1) = -\frac{5}{6}\log_2\frac{5}{6} - \frac{1}{6}\log_2\frac{1}{6} = 0.219 + 0.431 = 0.650$$ $$\text{Entropy}(N2) = -\frac{2}{6}\log_2\frac{2}{6} - \frac{4}{6}\log_2\frac{4}{6} = 0.528 + 0.390 = 0.918$$ ③ 정보 이득: $$\text{Gain} = 0.981 - \left(\frac{6}{12} \times 0.650 + \frac{6}{12} \times 0.918\right) = 0.981 - 0.784 = \mathbf{0.197}$$ 비교: 지니 이득 0.125 vs 정보 이득 0.197 → 두 척도 모두 같은 분할을 선호하지만 수치는 다름

부모 지니 (슬라이드 23 값): $$\text{Gini}(p) = 1 - \left(\frac{7}{12}\right)^2 - \left(\frac{5}{12}\right)^2 = \frac{70}{144} \approx \mathbf{0.486}$$ 속성 A ← 슬라이드 23 실제 분할: - Gini(N1) = 1 - (5/6)² - (1/6)² = 10/36 = 0.278 - Gini(N2) = 1 - (2/6)² - (4/6)² = 16/36 = 0.444 - Gini_split(A) = 6/12 × 0.278 + 6/12 × 0.444 = 0.361 - Gain(A) = 0.486 − 0.361 = 0.125 속성 B ← 비교 분할: - Gini(N1) = 1 - (4/6)² - (2/6)² = 16/36 = 0.444 - Gini(N2) = 1 - (3/6)² - (3/6)² = 0.500 - Gini_split(B) = 6/12 × 0.444 + 6/12 × 0.500 = 0.472 - Gain(B) = 0.486 − 0.472 = 0.014 정답: ① 속성 A (이득 0.125 ≫ 0.014) 슬라이드 23의 분할이 지니 이득이 훨씬 크다. 속성 B는 자식이 여전히 불순하여 거의 개선이 없다.

① 아이템셋 빈도 파악: ② 지지도: $$s(\{Milk, Diaper\} \to \{Beer\}) = \frac{\sigma(\{Milk, Diaper, Beer\})}{|T|} = \frac{2}{5} = \mathbf{0.4}$$ ③ 신뢰도: $$c = \frac{\sigma(\{Milk, Diaper, Beer\})}{\sigma(\{Milk, Diaper\})} = \frac{2}{3} \approx \mathbf{0.667}$$ 해석: 5개 거래 중 40%에서 세 품목이 함께 구매되며, Milk·Diaper를 산 고객의 67%가 Beer도 구매한다.

$$s(\{Beer\}) = \frac{3}{5} = 0.6$$ $$\text{Lift} = \frac{c(\{Milk,Diaper\} \to \{Beer\})}{s(\{Beer\})} = \frac{2/3}{3/5} = \frac{2}{3} \times \frac{5}{3} = \frac{10}{9} \approx \mathbf{1.11}$$ 해석: - Lift > 1 → Milk·Diaper를 산 고객이 Beer를 살 확률이 전체 평균보다 11% 높음 - Lift = 1 → 독립 (연관 없음) - Lift < 1 → 음의 연관 (상호 억제) 이 규칙은 실제로 유의미한 양의 연관이 있다.

$$\text{Confidence} = P(\text{Coffee}|\text{Tea}) = \frac{150}{200} = 0.75$$ $$P(\text{Coffee}) = \frac{800}{1000} = 0.8$$ $$\text{Lift} = \frac{P(\text{Coffee}|\text{Tea})}{P(\text{Coffee})} = \frac{0.75}{0.8} = \mathbf{0.9375}$$ 또는: $\text{Interest} = \frac{f_{11}}{N} \div \frac{f_{1+} \times f_{+1}}{N^2} = \frac{150/1000}{(200/1000) \times (800/1000)} = \frac{0.15}{0.16} = 0.9375$ Lift < 1 → 정답: ② 핵심: Confidence=0.75로 높아 보이지만, Coffee를 사는 전체 확률(0.8)이 더 높다. 즉, Tea를 산다는 사실이 Coffee 구매 확률을 오히려 낮춘다 (음의 연관). Confidence만 보면 오해할 수 있어 Lift(향상도)를 반드시 함께 확인해야 한다.

① 1-아이템셋 (σ ≥ 3): 빈번 1-아이템셋: {Bread}(4), {Milk}(4), {Beer}(3), {Diaper}(4) ② 2-아이템셋 (빈번 1-아이템셋 조합, 슬라이드 17~19 값): 빈번 2-아이템셋: {Bread,Milk}, {Bread,Diaper}, {Milk,Diaper}, {Beer,Diaper} ③ 연관규칙 생성 (minconf=0.75): 생성된 연관규칙 8개 (지지도 모두 s=3/5=0.6) 특히 Beer → Diaper는 Confidence=1.0 — Beer를 산 고객은 반드시 Diaper도 구매했다.

① 초기 배정 (각 점을 더 가까운 센트로이드에 배정): ② 센트로이드 갱신: $$m_1' = \frac{1+2}{2} = \mathbf{1.5}, \quad m_2' = \frac{4+5}{2} = \mathbf{4.5}$$ ③ 2회차 배정 확인 (수렴 검증): 배정 변화 없음 → 수렴 완료 최종: C1={1,2}, m1=1.5 / C2={4,5}, m2=4.5

$$\text{SSE}(C1) = (1-1.5)^2 + (2-1.5)^2 = 0.25 + 0.25 = 0.5$$ $$\text{SSE}(C2) = (4-4.5)^2 + (5-4.5)^2 = 0.25 + 0.25 = 0.5$$ $$\text{SSE}_{total} = 0.5 + 0.5 = \mathbf{1.0}$$ 해석: SSE는 낮을수록 각 클러스터가 컴팩트함을 의미한다. K를 늘리면 SSE는 항상 감소하지만 해석 가능성이 떨어지므로 적정 K를 선택해야 한다.

① 초기 배정 (유클리드 거리 사용): ② 센트로이드 갱신: $$m_1' = \left(\frac{1+2}{2},\; \frac{1+2}{2}\right) = \mathbf{(1.5,\; 1.5)}$$ $$m_2' = \left(\frac{5+6}{2},\; \frac{5+4}{2}\right) = \mathbf{(5.5,\; 4.5)}$$ ③ 2회차 배정 — 동일 → 수렴 완료 ④ SSE 계산: *C1 = {A(1,1), B(2,2)}, m1=(1.5, 1.5)* $$\text{SSE}(C1) = [(1-1.5)^2+(1-1.5)^2] + [(2-1.5)^2+(2-1.5)^2]$$ $$= [0.25+0.25] + [0.25+0.25] = 0.5 + 0.5 = 1.0$$ *C2 = {C(5,5), D(6,4)}, m2=(5.5, 4.5)* $$\text{SSE}(C2) = [(5-5.5)^2+(5-4.5)^2] + [(6-5.5)^2+(4-4.5)^2]$$ $$= [0.25+0.25] + [0.25+0.25] = 0.5 + 0.5 = 1.0$$ $$\boxed{\text{SSE}_{total} = 1.0 + 1.0 = \mathbf{2.0}}$$

정답: ③ $\text{SSE} = \sum_{x \in C_k}(c_k - x)^2$를 $c_k$로 편미분하면: $$\frac{\partial}{\partial c_k}\text{SSE} = \sum_{x \in C_k} 2(c_k - x) = 0 \implies c_k = \frac{1}{|C_k|}\sum_{x \in C_k} x$$ 즉, SSE를 최소화하는 센트로이드는 클러스터 내 산술 평균(mean) 이다. Manhattan 거리를 쓸 경우에는 중간값(median)이 최적이다. (슬라이드 13, Table 5.2)