텍스트·영상 등 비정형 데이터마이닝

1. 시험 사진과 거의 같은 사진을 이미 본 모델

상품 검사 동영상 한 편에서 연속된 사진 100장을 뽑았다. 80장은 학습에, 20장은 시험에 무작위로 넣었더니 높은 점수가 나왔다고 하자. 같은 상품의 거의 같은 배경과 흠집을 이미 본 모델이 새 상품도 잘 판단한다고 말할 수 있을까? 문의 문장에서도 같은 상담의 앞뒤 메시지를 나누어 넣으면 비슷한 문제가 생긴다.

사진과 글은 표의 숫자로 바로 들어가지 않는다는 어려움만 있는 것이 아니다. 무엇을 하나의 사례로 보고, 어떤 정보를 정답으로 삼고, 어떤 대상을 처음 보는 시험으로 남길지부터 정해야 한다. 이 절은 문의 분류와 상품 영상 검사를 예로 표현·학습·검증을 연결한다. 사례·숫자·분할 목록은 모두 학습용이며 실제 모델을 학습해 얻은 성과가 아니다.

입력 시점과 정답의 범위를 먼저 고정한다

정형 데이터 준비·특징·학습에서 입력은 판단 시점에 실제로 이용할 수 있는 정보였고, 정답은 정한 결과와 확인 기간에 따라 만들었다. 전처리는 학습 자료에서 맞춘 규칙을 검증·시험 자료에 적용했다. 이 원칙을 글과 영상에도 유지한다.

벡터의 순서는 입력의 뜻이다

벡터·행렬·거리·유사도에서 벡터는 성분의 순서와 의미를 정한 수의 묶음이고, 행렬은 여러 표본의 같은 성분을 함께 나타냈다. 거리와 유사도는 표현·단위에 영향을 받았으며 영벡터의 코사인 유사도는 정의되지 않았다. 문서의 열을 뒤섞거나 빈 표현을 정상적인 유사도 값으로 채우지 않는다.

표현을 바꿔도 평가 약속은 남는다

분류·회귀·군집·연관·이상탐지에서 원하는 결과와 정답 유무에 따라 기법을 골랐고, 정밀도·재현율 등은 고정한 표본과 정답을 기준으로 계산했다. 높은 점수와 실제 적용 가능한 판단은 달랐으며 오류 비용과 처리 능력도 확인했다. 이번 절에서는 표현을 학습하는 과정과 텍스트·영상의 표본 단위를 그 평가에 연결한다.

사람에게 보이는 뜻을 계산의 입력으로 옮긴다

“배송이 늦어요”라는 문의는 문자들의 순서이고, 찢어진 포장의 사진은 위치마다 밝기·색이 다른 배열이다. 둘 다 파일이지만 같은 열과 같은 정답을 쓰지 않는다. 문장은 토큰별 빈도나 학습한 벡터로, 사진은 픽셀 배열에서 얻은 특징으로 바꾸어 계산할 수 있다.

비정형이라는 말은 아무 구조도 없다는 뜻이 아니다. 문장에는 순서와 문법, 사진에는 공간적 이웃, 동영상에는 시간적 변화가 있다. 문제와 무관한 배경만 잘 외우는 표현보다 실제 판단에 필요한 구조를 남기는 표현이 필요하다. 어떤 변환으로 무엇을 버리는지도 함께 기록한다.

정의: 표현부터 검증까지가 하나의 분석 과정이다

비정형 데이터마이닝은 텍스트·영상·음성 등의 자료에서 과제에 필요한 표현과 특징을 만들거나 학습하고, 패턴 또는 예측 결과를 추출하여 정한 표본·정답·평가 조건에서 유용성과 한계를 검증하는 과정이다.

문자를 숫자로 바꾸었다고 마이닝이 완료되는 것은 아니다. 문의의 토큰 수를 만든 뒤 유형을 분류할 수도 있고, 정답 없이 비슷한 문의를 묶을 수도 있다. 어느 경우에도 “비슷함”이나 예측값이 업무에서 어떤 뜻인지 확인해야 한다. 이 절의 중심은 텍스트 분류와 이미지·동영상의 검사이며, 음성 인식이나 모든 생성 모델의 구현을 포괄하지 않는다.

두 과제를 섞지 않고 명세한다

이 표는 앞 절의 주문 취소 예측과 다른 학습용 과제다. 문의 유형은 나중에 실제로 취소될 확률이 아니며, 상품 영상의 결함 유무는 프레임마다 결함이 보인다는 뜻도 아니다. 레이블 규칙이 애매한 사례는 임의로 정상·기타에 밀어 넣지 말고 검토 대상으로 남긴다.

새 고객이나 새 촬영 장소에서의 성능을 알고 싶다면 상담·상품보다 더 큰 집단으로 나누어야 할 수 있다. 시험이 어떤 종류의 새 대상을 대표하는지 먼저 정한다.

전체 처리 경로

시험 문서의 단어 목록이나 시험 영상의 증강본을 위쪽 학습 경로에 되돌려 보내지 않는다. 재학습이 필요하면 이전 시험의 역할과 새 검증 계획을 명시하고 모델 판본을 구분한다. 이 경로는 실제 실행을 마친 파이프라인의 성능 보고서가 아니라 수행할 활동의 지도다.

2. 문서를 셀 수 있는 표현으로 바꾸기

토큰(token)은 텍스트 처리 규칙이 입력 문장을 나누어 다루는 단위다. 토큰화(tokenization)는 정한 규칙으로 텍스트를 토큰의 순서로 나누는 처리다. 단어, 글자, 부분 단어 중 어느 단위를 쓰는지는 목적과 방법에 따라 다르다. 여기의 토큰은 활동 다이어그램에서 배운 실행 토큰과 뜻이 다르다.

학습 예에서는 “환불 지연”을 공백 기준 두 토큰으로 나눈다. 실제 한국어에서는 “환불이”, “환불은”을 같은 단어로 다룰지 결정해야 하고, 이 결정은 검색·분류의 결과에 영향을 준다. 대소문자·특수문자·오탈자 처리도 동일한 입력 규칙의 일부다.

“불가”나 “아님”을 빈도가 높다는 이유만으로 지우면 문의의 뜻이 뒤집힐 수 있다. 먼저 업무상 필요한 차이를 확인하고 변환 전후의 예를 대조한다. 라이브러리의 기본 토큰화가 특정 언어와 업무에 맞는다는 보장은 없다. [UM-S1]

출현 횟수를 세되 순서 손실을 안다

단어 가방(bag of words)은 정한 어휘의 문서별 출현 여부나 횟수로 문서를 표현하여 토큰의 전체 순서를 직접 보존하지 않는 방식이다. 어휘의 열 순서를 고정하면 문서는 같은 길이의 벡터가 된다. 많은 단어가 한 문서에는 없으므로 0이 많은 표현이 될 수 있다.

n-그램(n-gram)은 연속된 n개 토큰으로 이루어진 묶음이다. 단일 토큰뿐 아니라 “환불 불가” 같은 두 토큰 묶음을 특징으로 쓰면 일부 국소 순서를 남길 수 있다. 그러나 모든 문맥과 장거리 관계가 복원되는 것은 아니고 어휘 수도 늘어난다.

통제한 토큰 문장 “고객 직원 호출”과 “직원 고객 호출”은 단일 토큰의 개수는 같다. 주체의 차이를 판단해야 하는 문제라면 개수만으로는 부족하다. 표현을 고를 때 남긴 정보와 잃은 정보를 과제에 대입한다. [UM-S1]

세 문서의 행렬을 직접 만든다

D1=“환불 지연”, D2=“배송 지연”, D3=“배송 완료”를 전부 학습용 문서로 둔다. 공백으로 나누고 어휘 열 순서는 [환불, 배송, 지연, 완료]로 고정한다.

문서 세 개가 행, 토큰 네 개가 열이다. 추론 때 열을 알파벳순이나 다른 빈도순으로 바꾸면 같은 숫자가 다른 토큰을 뜻하게 된다. 따라서 어휘 목록과 열 순서는 모델과 함께 보존해야 한다. 이 세 행은 표현을 검산하기 위한 자료이지 모델 성능을 평가할 학습·시험 집합이 아니다.

TF-IDF는 흔한 정도를 반영한 가중치다

TF-IDF(term frequency–inverse document frequency)는 문서 안의 토큰 빈도에 문서 집합에서의 상대적 희소성을 반영하는 가중치를 곱한 표현이다. 문서 빈도(document frequency, df)는 해당 토큰이 한 번 이상 나타난 문서의 수다. 한 문서에서 “지연”이 열 번 나와도 그 문서가 df에 더하는 값은 1이다.

이 예는 원시 출현 횟수를 tf로, 자연로그를 ln으로, 학습 문서 수를 n으로 정하고 평활화한 idf(t)=ln((1+n)/(1+df(t)))+1을 쓴다. 처음 계산에는 길이 정규화를 하지 않는다. 이는 scikit-learn에 설명된 평활화 IDF와 같지만, 기본 L2 정규화까지 적용한 최종 결과와는 구분한다. 다른 TF·IDF 정의를 쓴 결과와 숫자를 섞지 않는다. [UM-S1]

TF-IDF가 높다는 것은 이 표현 규약에서 가중치가 높다는 뜻이다. 문장의 사실성, 긴급성, 감정 또는 개인정보 여부가 자동으로 검증되었다는 뜻은 아니다.

가중치와 길이 정규화를 따로 검산한다

앞의 학습 문서에서 df는 [1,2,2,1]이다. 따라서 a=1+ln(2)≈1.693147, b=1+ln(4/3)≈1.287682이고 D1의 정규화 전 벡터는 [a,0,b,0]이다.

n = 3
idf(환불) = ln(4/2)+1 = a
idf(지연) = ln(4/3)+1 = b
D1 원시 TF-IDF = [a, 0, b, 0]
D1 L2 길이 = sqrt(a*a+b*b)
D1 L2 정규화 = [a/길이, 0, b/길이, 0]

길이 정규화는 모든 성분을 같은 양의 길이로 나누는 별도 단계다. 특정 성분을 더 중요하게 만드는 IDF와 문서의 전체 크기를 조정하는 정규화를 같은 연산으로 설명하지 않는다. 숫자는 위 세 문서와 규약에만 해당하며 새로운 시험 문서를 n이나 df에 섞어 다시 맞추지 않는다.

모르는 단어와 빈 표현을 구별한다

고정한 어휘에 없는 “문의”만 들어오면 위 단어 가방에서는 모든 열이 0일 수 있다. 원문이 비어 있는 경우, 삭제 규칙 때문에 전부 사라진 경우, 어휘에 없던 단어만 있는 경우를 구분해 관찰한다. 0벡터의 코사인 유사도를 임의로 1로 채워 “매우 유사함”으로 처리하지 않는다.

미등록 토큰을 무시할지 별도 기호로 처리할지, 입력이 부족하면 담당자에게 넘길지는 학습·추론 계약으로 정한다. 최종 시험에서 처음 본 토큰을 보고 어휘를 확장한 다음 같은 시험 점수를 독립 평가라고 부르지 않는다. 필요한 변경은 새 학습 판본에서 검증한다. [UM-S2]

새 문의를 같은 열에 넣어 본다. 학습 문서 D1~D3와 어휘 [환불, 배송, 지연, 완료]를 그대로 둔 채 새 입력이 “환불 환불 문의”라고 하자. 이 계산에서는 공백으로 토큰을 나누고 미등록 토큰을 무시하기로 정했다. “문의”를 새 열에 넣지 않으므로 횟수는 [2,0,0,0]이다. 학습 때 구한 a=1+ln(2)를 적용하면 정규화 전 TF-IDF는 [2a,0,0,0], L2 길이는 2a이므로 정규화 후에는 [1,0,0,0]이 된다. 새 입력 때문에 학습 문서 수 n=3이나 df를 바꾸지 않는다. [UM-S1, UM-S2]

여기서는 빈도가 2에서 1로 바뀌어도 남은 방향이 같아 정규화된 표현이 같다. “환불”을 두 번 말한 원문의 강조나 “문의”의 뜻까지 보존했다는 의미는 아니다. 알려진 단어가 일부 남는 경우에도 미등록 단어의 비율과 원문을 관찰해야 한다. “문의”만 있는 입력은 [0,0,0,0]이므로 위 나눗셈을 적용할 수 없고, 미리 정한 검토 경로로 보낸다.

임베딩도 학습한 표현이지 뜻의 증명은 아니다

단어 임베딩(word embedding)은 단어를 학습한 연속값 벡터에 대응시키는 표현이다. 단어마다 독립된 한 칸을 쓰는 표현과 달리 적은 수의 성분을 함께 쓰며, 학습 과제·문맥의 영향을 받아 가까운 표현을 만들 수 있다. 어휘가 V개, 벡터 차원이 d이면 단어별 벡터를 V×d 표로 저장할 수 있다. [UM-S3]

예를 들어 “배송”과 “배달”의 벡터가 가깝게 학습되었다면 일부 표현 차이를 줄일 가능성이 있다. 그러나 실제 학습 자료나 과제에 따라 관계는 달라지고, 가깝다는 것만으로 두 문장이 같은 업무 의도를 가진다고 확정할 수 없다. 여기서 설명한 고정 조회표는 같은 단어를 항상 같은 벡터로 바꾸므로 다의어의 문맥을 저절로 해결하지 않는다.

단어 벡터의 평균으로 문서 벡터를 만들면 길이가 다른 문장도 다룰 수 있지만 순서를 잃는다. 표현 차원이나 모델 이름만으로 우열을 정하지 말고 독립된 과제 평가를 한다.

단순한 기준 모델과 복잡한 표현을 같은 조건에서 비교한다

같은 상담 집단과 같은 평가 규칙에서 비교해야 표현의 효과를 따질 수 있다. 복잡한 모델에만 추가 데이터를 주고 단순 모델보다 좋다고 하면 표현과 데이터의 효과를 구별할 수 없다. 점수가 같아도 처리시간·설명 가능성·운영 비용·오류 검토 부담은 다를 수 있다.

정답이 없는 유사 문의 군집은 유형 분류와 평가 목표가 다르다. 군집 번호를 배송·환불 정답처럼 해석하려면 별도 해석과 검토가 필요하다. 표현을 바꾸어도 앞 절에서 배운 기법 선택의 질문은 그대로다.

3. 사진의 공간 구조와 동영상의 시간 구조

폭 W, 높이 H인 컬러 사진을 세 색 채널의 수치로 나타내면 H×W×3개의 값이 있다. 이 예에서는 행·열·색 순서의 배열로 설명하지만 라이브러리의 채널 축 순서는 다를 수 있다. 축 순서, 픽셀 범위, 크기 조정 규칙이 학습 때와 추론 때 같아야 한다.

사진 전체를 하나의 긴 벡터로 펼치면 모든 픽셀을 입력으로 넣을 수 있지만 이웃한 위치의 구조를 활용하기 어렵다. 작은 창을 이동하면서 같은 규칙으로 모서리·무늬 같은 국소 패턴을 계산하는 접근을 생각할 수 있다. 이때 관심 결함보다 배경이나 촬영기기 표식이 더 쉬운 단서가 되지 않는지 확인한다. [UM-S4]

작은 창의 가중치를 여러 위치에서 재사용한다

합성곱 신경망(CNN)은 국소 영역에 공유한 가중치를 적용하는 층 등을 이용하여 공간적 특징을 학습하는 신경망이다. 커널(kernel)은 국소 입력에 적용하는 가중치의 묶음이다. 특징 맵(feature map)은 그 연산을 여러 위치에 적용하여 얻은 응답 배열이다.

같은 커널을 왼쪽과 오른쪽에 적용하면 같은 종류의 국소 패턴을 여러 위치에서 찾을 수 있다. 여러 층은 앞의 응답을 다시 입력으로 받아 더 복합적인 특징을 계산할 수 있다. 가중치는 정답과 출력의 차이에 따른 학습 절차로 조정하며, 이름이 CNN이라고 어떤 흠집을 이미 아는 것은 아니다. [UM-S4]

창 크기·이동 간격·경계 처리에 따라 출력 크기와 보이는 범위가 달라진다. 아래 예는 한 채널, 한 커널, 이동 간격 1, 경계 추가 없음, 편향 0을 명시한다. 실제 모델의 층 수나 가중치를 대신하는 예가 아니다.

네 위치의 계산을 손으로 확인한다

이 학습 예에서는 커널을 뒤집지 않고 각 위치의 대응 원소를 곱해 더하는 연산 규약을 사용한다. 수학에서 커널을 뒤집는 합성곱과 규약을 섞지 않는다.

입력 X = [[1, 2, 0], [0, 1, 3], [2, 1, 0]]
커널 K = [[1, 0], [0, -1]]
왼쪽 위: 1*1 + 2*0 + 0*0 + 1*(-1) = 0
오른쪽 위: 2*1 + 0*0 + 1*0 + 3*(-1) = -1
왼쪽 아래: 0*1 + 1*0 + 2*0 + 1*(-1) = -1
오른쪽 아래: 1*1 + 3*0 + 1*0 + 0*(-1) = 1
응답 = [[0, -1], [-1, 1]]

입력이 3×3이고 창이 2×2이므로 이 조건에서는 네 위치를 계산한다. 커널 값은 집필자가 정한 값이며, 학습으로 발견한 결함 탐지기가 아니다. 특정 위치에서 큰 양수가 나왔다는 것과 실제 상품이 불량이라는 판정 사이에는 추가 모델과 검증이 필요하다.

활성화와 요약은 서로 다른 일이다

ReLU는 입력 x를 max(0,x)로 바꾸는 활성화 함수다. 최대 풀링(max pooling)은 정한 지역의 최대 응답을 뽑아 배열을 요약하는 연산이다. 앞의 응답에 ReLU를 적용하면 [[0,0],[0,1]]이고, 이 전체 2×2 지역에 최대 풀링을 적용하면 1이다. [UM-S4]

ReLU는 여기서 음수를 0으로 바꾸고 풀링은 위치별 결과를 하나로 줄인다. 요약은 위치의 세부 정보를 잃을 수 있으므로 작은 결함의 정확한 위치가 필요한 과제에서는 그 영향도 살펴야 한다. 이 숫자 1은 확률도, 결함의 개수도 아니다.

층들을 연결하여 출력을 계산하고 정답과의 차이를 줄이도록 가중치를 조정하는 것과, 학습이 끝난 고정 가중치로 입력을 처리하는 추론을 구별한다. 손계산 한 번으로 학습·일반화가 검증되는 것은 아니다.

독립 변형 — 한 칸을 바꾸고 다시 계산한다. 앞 입력 X의 오른쪽 아래 값만 0에서 2로 바꾸고 커널·이동 간격은 유지하고 경계에 값을 추가하지 않는다. 어느 응답이 바뀌며, ReLU와 최대 풀링을 거친 마지막 값은 얼마인지 먼저 계산한다.

사전 학습을 어디까지 바꿀지 결정한다

전이학습(transfer learning)은 다른 학습에서 얻은 표현이나 가중치를 새 과제의 학습에 활용하는 접근이다. 미세조정(fine-tuning)은 사전 학습한 가중치의 일부 또는 전부를 새 과제의 자료로 추가 조정하는 학습이다. [UM-S5]

상품 검사에서는 앞부분의 특징 계산을 고정하고 마지막 분류 부분만 학습하는 안과, 앞부분까지 선택하여 조정하는 안을 비교할 수 있다. 어느 가중치가 고정이고 어느 것이 갱신되는지 기록해야 재현과 비용 비교가 가능하다.

사전 학습 모델이 일반 사진을 보았다는 사실이 이 공방의 미세 결함에 맞는다는 증거는 아니다. 정답 수, 촬영 조건, 학습 영역의 차이와 과적합을 확인하고 단순 기준 모델보다 실제로 나은지 같은 분할로 검증한다. 모델과 데이터의 이용 조건도 별도로 확인한다.

자료 증강은 새 독립 상품을 만들지 않는다

데이터 증강(data augmentation)은 과제의 정답 의미를 보존하도록 원래 학습 자료를 변환하여 학습에 이용하는 방식이다. 사진의 밝기나 위치를 바꾸는 변환을 쓸 수 있지만, 잘라내기로 흠집을 지우고 여전히 “불량”이라고 하면 정답 보존 조건이 깨진다. 문자 방향이 중요하다면 뒤집기도 무조건 안전하지 않다. [UM-S5]

먼저 원본 상품·상담 단위로 학습과 시험을 분리하고, 학습 쪽에만 필요한 증강을 적용한다. 같은 원본의 회전본을 시험에 넣으면 새 상품을 시험한 것이 아니다. 고정한 시험 전처리와 여러 변환을 학습에 사용하는 절차를 구별한다.

원본 10장의 변환본 100장을 만들었다고 독립 상품 100개를 확보한 것은 아니다. 표본의 수뿐 아니라 원본의 수·집단·변환 규칙을 남겨 증거의 범위를 알 수 있게 한다.

무엇을 찾아야 하는지에 따라 정답도 달라진다

사진 한 장의 결함 유무를 분류하는 과제에는 장면 전체의 레이블이 필요하다. 반면 “어디에 있는 흠집인가?”라는 과제에서는 결함의 위치를 포함한 정답이 필요하다. 직사각형 상자와 더 세밀한 픽셀 영역은 같은 위치 표현이 아니다.

이 절의 위치 검산은 좌상단·우하단 좌표 (x1,y1,x2,y2)로 표현한 축 정렬 상자만 다룬다. 실제 촬영 좌표계와 크기 조정 전후 변환을 맞춰야 같은 상자를 비교할 수 있다. 이미지 전체 분류의 정확도를 상자 위치의 정확성으로 바꾸어 보고하지 않는다.

영상 속에 결함이 한 순간 보인다는 정답을 모든 프레임의 결함 정답으로 복사하는 것도 잘못이다. 프레임 정답이 필요한 학습인지, 영상 단위 정답으로 학습·판정하는지부터 정한다.

상자의 겹침은 교집합을 합집합으로 나눈다

IoU(intersection over union)는 두 영역의 교집합 크기를 합집합 크기로 나눈 겹침 비율이다. 축 정렬 상자의 비교에서 IoU=교집합 면적/(상자 A 면적+상자 B 면적−교집합 면적)이다. [UM-S6]

A = (0, 0, 2, 2), B = (1, 1, 3, 3)
A 면적 = 4, B 면적 = 4
교집합 = (1, 1, 2, 2), 면적 = 1
합집합 면적 = 4 + 4 - 1 = 7
IoU = 1/7

좌표는 연속 평면상의 경계로 정하며 픽셀 인덱스의 양 끝을 포함하는 다른 규칙과 섞지 않는다. 정상 면적의 같은 상자는 1, 서로 떨어진 상자는 0이다. 잘못 뒤집힌 좌표나 면적이 없는 입력은 정상 비교 사례로 승인하지 않는다. 이 한 상자의 겹침이 전체 탐지 시스템의 성능이나 분류 정확도는 아니다.

프레임을 모았다고 시간 순서가 남는 것은 아니다

동영상은 프레임뿐 아니라 그 순서와 간격도 포함한다. “포장을 열었다가 닫음”과 “닫았다가 열음”은 같은 장면들이 다른 순서로 나타날 수 있다. 프레임 점수의 평균을 내거나 최댓값만 남기는 규칙은 그 순서를 버릴 수 있다.

UM-V1에서 짧게 보이는 흠집을 놓치지 않으려면 촬영·프레임 추출 간격을 정하고 실제로 결함이 보이는지 확인한다. 특정 프레임의 오탐 한 번으로 전체 상품을 불량으로 할지, 여러 프레임의 근거를 요구할지는 검증할 판정 규칙이다. 시험을 본 뒤 유리한 집계법을 고르고 같은 시험을 최종 성능으로 보고하지 않는다.

음성도 시간에 따른 신호여서 구간 길이·샘플링·잡음과 발화자 집단을 고려한 표현이 필요하다. 그러나 여기서 사진 계산을 했다는 이유로 음성 인식의 어휘·시간 정렬·평가를 해결했다고 주장하지 않는다. 실제 과제의 입력 구조와 정답 단위를 각각 설계한다.

4. 표현보다 먼저 막아야 할 평가 오류

학습 프레임을 A-01, B-01로, 시험 프레임을 A-02, B-02로 정했다고 하자. A와 B는 서로 다른 상품이고 뒤 숫자는 같은 영상에서 얻은 프레임 번호다. 파일 이름은 모두 다르지만 양쪽의 상품 집합은 모두 {A,B}다.

같은 영상의 근접 프레임을 두 집합에 섞으면 새 상품의 일반화 평가가 되지 않는다. 두 번째 안도 촬영 장소나 날짜가 다른 실제 배포를 대표하는지 별도로 확인해야 한다. 공통 상품이 0이라는 검사는 필요한 분할 조건 하나이지 정확한 성능 보증이 아니다. [UM-S7]

집단 분리와 시간 분리의 목적을 함께 확인한다

먼저 상담·상품·촬영 세션 중 독립성을 확보해야 할 식별자를 정한다. 새 상품에 대한 시험에서는 같은 상품의 원본·프레임·증강본을 같은 쪽에 둔다. 미래 자료에 대한 시험에서는 실제 이용 순서에 맞춰 학습보다 뒤의 기간을 시험으로 남긴다. [UM-S7]

상품 하나가 여러 기간에 걸쳐 촬영되었다면 단순한 날짜 절단과 상품 비중복이 동시에 충족되지 않을 수 있다. 평가 목적에 맞춰 경계를 넘는 집단을 제외하거나, 처음 등장한 새 집단으로 시험 대상을 제한하고 그 선택을 기록한다. 자동 분할 함수 하나가 두 요구를 저절로 해결한다고 가정하지 않는다.

그다음 토큰 어휘·IDF·학습형 특징 변환을 학습 집합에서만 맞추고 검증·시험에 적용한다. 교차검증을 하더라도 각 학습 폴드 안에서 다시 맞춰야 하며, 모든 자료로 먼저 만든 어휘·특징 선택 결과를 나누는 것은 같은 절차가 아니다. [UM-S2]

표본 단위를 고정하고 지표를 검산한다

별도의 UM-E1 예에서 시험 상품 10개를 각각 한 번씩 판정했다. 실제 결함을 양성으로 두고 결과는 TP=3, FP=1, FN=2, TN=4다. 프레임 수가 많은 상품에 더 큰 비중을 주는 집계는 하지 않는다.

정밀도는 3/4, 재현율은 3/5, F1은 2×3/(2×3+1+2)=2/3이다. 분모가 0인 집단에서는 의미 없는 수치를 자동으로 채우지 말고 미정의 처리 규칙과 지지 표본 수를 함께 적는다. 이 열 개의 가상 상품은 계산 검산용이며 실제 정확도 추정치가 아니다.

문의 유형별·촬영 조건별 오류도 나누어 본다. 전체 점수가 높아도 드문 결함에서 누락이 많을 수 있다. 앞 절의 평균 방식과 비용 판단을 재사용하되, 상자 IoU와 상품 분류 F1은 다른 결과를 평가한다.

학습 때 없던 입력에는 검토 경로를 둔다

문의가 잘렸거나 새로운 언어로 들어오고, 영상이 흐리거나 조명이 크게 달라지면 표현이 학습 때와 달라질 수 있다. 빈 입력·어휘 밖 비율·촬영 품질·분류별 오류를 관찰할 항목으로 정한다. 출력 점수가 높다고 읽히지 않는 사진의 실제 결함까지 확인된 것은 아니다.

업무 위험에 맞춰 자동 처리와 검토 요청을 구분하고, 검토된 결과가 새 학습 자료로 들어갈 때에도 시점·라벨·집단 정보를 보존한다. 검토자가 모델 예측에 끌려 정답을 그대로 복사하면 평가 독립성도 약해질 수 있다. 정답 작성 기준과 이견 처리 절차를 마련한다.

표현·모델·토큰 규칙·임계값·평가 분할이 함께 하나의 판본을 이룬다. 교체 뒤 성능을 비교할 때 이전 판본과 다른 점을 명시하고 실제 운영의 입력 변화와 오류를 별도로 확인한다.

비정형 마이닝의 산출물을 끝까지 연결한다

첫째, 무엇을 언제 판정하는지와 표본·정답·사용 범위를 명시한다. 둘째, 중복·집단·시간을 고려해 평가 대상을 나누고 학습 쪽에서만 표현과 모델을 맞춘다. 셋째, 토큰 가중치·임베딩 또는 영상 특징의 정보 손실과 비용을 비교한다.

넷째, 고정한 검증 규칙으로 설정을 선택하고 미사용 시험에서 과제에 맞는 지표와 실패 사례를 확인한다. 다섯째, 입력 부족·영역 변화·큰 오류 비용에는 검토 또는 보류 경로를 둔다. 마지막으로 원본 식별자, 전처리·모델 판본, 평가 단위, 오류와 적용 결정을 추적할 수 있게 남긴다.

출처·이용 조건·필요한 보호 조치가 확인되지 않은 상담 원문이나 영상은 단지 저장되어 있다는 이유로 자유롭게 사용할 수 있다고 가정하지 않는다. 이 절은 기술적인 추적·확인 항목을 제시하며 개인정보의 법적 처리 근거를 판단하는 절을 대신하지 않는다. 원본을 공개 보고서에 넣지 않고도 분할 규칙과 검증 결과를 설명할 수 있도록 자료를 구분한다.

10점 문제: 배운 조건으로 판단하기

자체 작성 문제이며 실제 기출이 아니다.

텍스트 마이닝에서 단어 가방과 TF-IDF의 처리 과정을 설명하고, 표현 학습 및 평가에서 주의할 정보 누출과 정보 손실을 제시하시오.

정의만 나열하지 말고 문제의 단위·조건·근거와 결론을 연결한다. 제시하지 않은 실험 결과나 승인 사실을 만들어 답하지 않는다.

25점 문제: 배운 조건으로 판단하기

자체 작성 문제이며 실제 기출이 아니다.

문의 유형 분류와 상품 동영상 결함 검사를 설계하시오. 표현 방법의 선택, 같은 영상의 프레임을 학습·시험에 나눈 문제, 전이학습·증강의 조건을 설명하고, 시험 상품 TP=3·FP=1·FN=2·TN=4의 정밀도·재현율·F1 및 상자 (0,0,2,2), (1,1,3,3)의 IoU를 판정한 뒤 적용 통제 방안을 제시하시오.

정의만 나열하지 말고 문제의 단위·조건·근거와 결론을 연결한다. 제시하지 않은 실험 결과나 승인 사실을 만들어 답하지 않는다.

출처와 적용 범위

이 절의 상황·숫자·표·도식·문제·답안은 집필자가 작성했다. 아래 자료의 기술적 사실을 독립적으로 설명했으며 원문의 사례·도표를 복제하지 않았다. 출처 문서의 현재 전체 적용성, 모델 이용 권한 또는 사람 승인은 별도 검토 사항이다.

[UM-S1] scikit-learn developers. Text feature extraction. 위치: §8.2.3 Text feature extraction: bag of words, tokenization and TF-IDF term weighting; smoothed IDF and optional normalization. 원문: https://scikit-learn.org/stable/modules/feature_extraction.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

[UM-S2] scikit-learn developers. Common pitfalls and recommended practices. 위치: Inconsistent preprocessing; Data leakage; How to avoid data leakage. 원문: https://scikit-learn.org/1.9/common_pitfalls.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

[UM-S3] Robert Guthrie / PyTorch. Word Embeddings: Encoding Lexical Semantics. 위치: Introduction to Word Embeddings; Getting Dense Word Embeddings; storing a vocabulary-by-dimension lookup matrix. 원문: https://docs.pytorch.org/tutorials/beginner/nlp/word_embeddings_tutorial.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

[UM-S4] PyTorch contributors. Neural Networks. 위치: Define the network; forward propagation through convolution, activation and pooling; loss and parameter updates. 원문: https://docs.pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

[UM-S5] Sasank Chilamkurthy / PyTorch. Transfer Learning for Computer Vision Tutorial. 위치: ConvNet as fixed feature extractor; finetuning the ConvNet; training versus validation transforms. 원문: https://docs.pytorch.org/tutorials/beginner/transfer_learning_tutorial.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

[UM-S6] Torchvision contributors. torchvision.ops.box_iou. 위치: torchvision.ops.box_iou: intersection-over-union of axis-aligned boxes and coordinate formats. 원문: https://docs.pytorch.org/vision/stable/generated/torchvision.ops.box_iou.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

[UM-S7] scikit-learn developers. Cross-validation: evaluating estimator performance. 위치: §3.1 Cross-validation; grouped data and time-series-dependent samples; GroupKFold. 원문: https://scikit-learn.org/stable/modules/cross_validation.html 이 집필에서 위치 대조: 2026-09-06. 등록 출처의 원래 관찰일은 별도 보존하며 출판일로 바꾸지 않는다.

복습 경로. 문장 순서가 사라지는 이유는 토큰 개수와 n-그램, 시험 문서가 어휘에 영향을 주면 안 되는 이유는 미등록 토큰의 처리, 프레임 수가 독립 상품 수와 다른 이유는 집단을 나누는 계약으로 돌아가 설명한다.

남겨야 할 판단

비정형 분석에서는 원문을 숫자로 바꾸는 방법과 평가 대상을 나누는 방법을 함께 설계한다. 토큰·TF-IDF·임베딩은 어떤 의미와 순서를 잃는지, 영상의 국소 계산·증강·프레임 집계는 어떤 위치와 시간을 버리는지 확인한다.

새로운 파일을 시험했다는 말보다 새로운 상담·상품·촬영 조건을 시험했는지가 중요하다. 표본·정답·분모를 고정하고 과제에 맞는 오류를 살핀 뒤 적용과 검토의 경계를 정한다. 손계산과 유한 사례가 맞아도 실제 모델의 일반화나 사용 승인은 별개의 증거다.

연습: 변환할 수 있는 입력과 판단할 수 있는 입력

위의 D1~D3에서 학습한 어휘와 IDF를 고정한다. 공백 토큰화, 미등록 토큰 무시, 원시 횟수 TF, L2 정규화를 사용한다. 새 문장은 A=“배송 문의 완료”, B=“문의 질문”이다. 다음을 설명하시오.

1. A와 B의 횟수 벡터, 정규화 전 TF-IDF, 정규화 후 벡터를 구하시오. B에서 나눗셈을 멈춰야 하는 이유도 적으시오.
2. A를 변환할 수 있다는 이유만으로 문의 유형을 확정할 수 있는가? 토큰 세 개 중 등록되지 않은 토큰 수와, 아직 필요한 판단을 구분하시오.
3. 이 두 문장에서 “문의”가 자주 나온다는 이유로 어휘와 IDF를 다시 맞춘 뒤 같은 최종 시험 점수를 보고하면 무엇이 달라지는가?