머신러닝·딥러닝·생성형 AI의 층

분류하는 프로그램과 문장을 쓰는 프로그램은 무엇이 다를까

한빛도서관에는 문의를 담당 부서로 나누는 규칙이 있다. ‘분실’이 들어가면 대출 담당으로 보낸다. 그런데 ‘빌린 책이 없어졌다’는 문의는 놓친다. 과거의 표현과 담당 부서를 이용해 관계를 학습하는 방법을 생각할 수 있다. 또 다른 기능은 관련 안내를 바탕으로 답변 문장을 새로 쓴다. 둘 다 AI라고 불리지만 필요한 학습 자료·출력·검증은 같지 않다.

이 절은 학습으로 규칙을 정하는 일, 여러 계산 층을 연결하는 일, 내용을 생성하는 일을 구별한다. 뒤 절의 RAG·에이전트는 이 모델을 자료와 도구에 연결하는 응용구조다. 아래 ML-N1·ML-G1·ML-A1은 계산용 자체 모형이며 실제 언어모델이나 사람의 능력을 재현한 것이 아니다.

앞의 학습·평가 틀

정형 데이터 준비·특징·학습의 특징·라벨·예측 시점과 학습/검증/시험 분리를 그대로 사용한다. 새 문의를 판단할 때 모르는 최종 처리결과를 입력으로 넣지 않는다. AI 생명주기 윤리·편향·투명성·감독의 분류 오류·공정성은 모델의 구조가 바뀌어도 별도로 확인한다.

1. AI·머신러닝·딥러닝·생성형은 같은 분류축이 아니다

인공지능(AI)은 인식·예측·추론·계획·생성 등 지능적 과제를 수행하도록 만든 기술과 시스템의 넓은 범주다. 명시적인 규칙을 사용하는 시스템도 포함할 수 있다. 이 기술적 설명을 앞서 다룬 개별 법률상 정의와 적용 요건으로 그대로 대체하지 않는다.

머신러닝은 모든 판단 규칙을 사람이 일일이 적는 대신 자료와 학습 목표에 따라 모델의 규칙·매개변수를 정하는 접근이다. 딥러닝은 여러 층의 신경망을 통해 입력 표현과 과제 수행 관계를 함께 학습하는 머신러닝 접근이다. 층이 많다는 사실만으로 정확성·효율·설명 가능성이 보장되지는 않는다.

생성형 AI는 텍스트·이미지·음성 등 새로운 출력 내용을 생성하는 용도를 가리킨다. 현대의 많은 생성 모델이 딥러닝을 쓰지만 ‘생성’은 출력 과제이고 ‘딥러닝’은 학습·모형 구조의 구분이다. 모든 딥러닝이 생성형은 아니며 모든 생성 모형이 반드시 깊은 신경망이라는 명제도 아니다.

동일한 서비스에 세 방법을 함께 쓸 수 있다. 자료 접근과 실행 권한은 명확한 규칙으로 통제하고, 문의 분류는 모델을 참고하며, 설명 초안은 생성하는 식이다. 모든 부분을 생성 모델에 맡겨야 ‘진짜 AI’가 되는 것은 아니다.

2. 무엇을 학습 신호로 사용하는가

지도학습은 입력과 정한 답의 예로 관계를 학습한다. 문의와 담당 부서가 예다. 비지도학습은 정답 부서 없이 비슷한 문의를 묶는 등 구조를 찾는다. 묶음 번호가 자동으로 업무적으로 올바른 부서명인 것은 아니다.

자기지도학습은 자료의 일부에서 다른 부분을 예측하도록 학습 신호를 만든다. 문장의 앞부분에서 뒤 토큰을 예측하는 과제가 예다. 사람이 모든 토큰에 별도 라벨을 붙이지 않는다는 뜻이지, 데이터 선택과 학습목표에 사람의 판단이 없다는 뜻은 아니다.

강화학습은 행동 뒤의 보상과 상태 변화를 이용해 행동 선택을 개선한다. 보상은 설계한 척도이며 사회적으로 바람직한 결과와 자동으로 같지 않다. 빠른 응답만 보상하면 틀린 답도 빨리 내는 시스템이 될 수 있다. 이 절은 보상 기반 학습의 경계만 설명하며 실제 학습 실험을 수행하지 않는다.

학습 방식은 함께 사용될 수 있다. 대규모 자료로 표현을 학습한 뒤 특정 과제의 예제로 조정하고, 추가적인 피드백으로 행동을 바꿀 수 있다. 훈련 단계의 이름보다 어떤 자료·목표로 어떤 매개변수를 바꾸었는지 확인한다.

3. 신경망의 작은 계산부터 읽는다

신경망의 한 계산 단위는 입력에 가중치를 곱해 더하고 편향을 더한 뒤 활성화 함수를 적용한다. 가중치는 각 입력을 어떻게 조합할지, 편향은 입력과 무관하게 더하는 기준값이다. 여기의 편향은 계산 항의 이름이며 법규·윤리 분야에서 다룬 사회적 편향과 같은 뜻이 아니다.

활성화 함수는 합한 값을 다음 층에 전달할 값으로 바꾼다. ReLU는 입력이 음수면 0, 그렇지 않으면 그 값을 반환한다. 기호로 max(0,z)이며 max는 둘 중 큰 값이다. 비선형 변환이 없이 선형 계산만 여러 번 합쳐도 전체가 다시 선형이므로, 층 수만 늘리는 것으로 복잡한 비선형 관계가 생기지는 않는다.¹

직접 계산 ML-N1

x1·x2는 첫째·둘째 입력, h1·h2는 두 중간 계산의 결과를 붙여 부르는 이름이다. 0.5x1은 0.5×x1처럼 숫자와 입력을 곱한다는 뜻이며, = 오른쪽을 계산해 왼쪽 이름의 값을 정한다. 두 입력 x1=2, x2=1을 사용한다. 단위가 없는 교육용 수치이며 사람의 성질을 점수화한 것이 아니다. 중간 계산 두 개와 최종 계산을 다음처럼 정한다.

h1=max(0,0.5x1+0.5x2−1)

h2=max(0,x1−x2)

출력=2h1+h2

h1 안은 0.5×2+0.5×1−1=0.5이므로 h1=0.5다. h2는 2−1=1이므로 1이다. 출력은 2×0.5+1=2다. 입력이 x1=0, x2=1이면 h1 안은 −0.5, h2 안은 −1이므로 둘 다 0이고 출력도 0이다.

이 출력 2는 그 자체로 확률 200%가 아니다. 출력의 범위와 해석은 과제·마지막 변환·학습목표에 따라 정한다. 확률로 쓰려면 해당 변환과 평가가 필요하며, 0~1에 들어간 숫자라고 곧 신뢰할 수 있는 확률이 되는 것도 아니다.

입력 2개, 중간 단위 3개, 출력 1개인 완전연결 모형을 별도로 생각하자. 모든 단위에 편향 하나가 있고 모든 인접 층이 연결됐다면 첫 층은 가중치 2×3과 편향 3, 다음 층은 가중치 3×1과 편향 1이므로 총 13개다. 이 계산은 특정 모델의 매개변수 수가 아니라 구조를 세는 연습이다. 매개변수가 많다는 사실과 필요한 정보가 정확히 저장돼 있다는 결론은 다르다.

4. 학습은 무엇을 어떻게 바꾸는가

손실 함수는 정한 학습 과제에서 예측과 목표가 얼마나 다른지 계산한다. 최적화는 그 손실을 줄이도록 매개변수를 조정하는 과정이다. 작은 묶음의 자료를 계산하는 배치, 전체 학습 자료를 한 차례 사용하는 에포크 같은 단위로 진행을 관리할 수 있다. 같은 자료를 여러 번 보았다는 사실은 독립 증거가 여러 배 생겼다는 뜻이 아니다.

경사하강법은 매개변수를 조금 바꿀 때 손실이 변하는 방향을 계산해 반대쪽으로 움직이는 방법이다. 한 번에 움직일 크기를 조절하는 값이 학습률이다.² 역전파는 연결된 계산의 영향도를 뒤에서 앞으로 연결해 필요한 기울기를 구하는 방식이며, 자체가 새로운 독립 평가나 사실 검증은 아니다.

직접 계산 ML-G1

입력값을 x, 가르칠 목표값을 y, 학습으로 바꿀 가중치를 w로 쓰자. ^2는 같은 값을 두 번 곱하는 제곱이고 괄호 안을 먼저 계산한다. 입력 x=2, 목표 y=6이며 예측=w×x, 손실=(예측−y)^2라고 정한다. w=1이면 예측 2, 오차 −4, 손실 16이다. 이 예에서 w에 대한 손실의 기울기는 2x(wx−y)이므로 2×2×(2−6)=−16이다.

왜 이런 항이 나오는지도 볼 수 있다. δ는 델타라고 읽으며 w에 더할 작은 변화량이다. wx는 w×x, x²δ²는 x×x×δ×δ를 뜻한다. w를 작은 δ만큼 바꾸면 새 오차는 기존 오차에 xδ가 더해진다. 제곱을 전개하면 손실 변화는 2x(wx−y)δ+x²δ²다. 아주 작은 변화의 첫 번째 비례항이 기울기다. 미분기호를 외우지 않아도 ‘어느 방향으로 조금 움직일 때 손실이 줄어드는가’를 읽을 수 있다.

학습률을 0.1로 정하면 새 w=1−0.1×(−16)=2.6이다. 새 예측은 5.2이고 손실은 (5.2−6)^2=0.64다. 이 한 사례에서는 손실이 16에서 0.64로 감소했다. 다른 입력에서의 성능이나 일반화까지 입증한 것은 아니다.

학습률을 1로 바꾸면 새 w=17, 예측 34, 손실 784가 된다. 좋은 방향의 기울기를 알아도 너무 크게 움직이면 결과가 나빠질 수 있다. 실제 큰 신경망은 많은 자료·매개변수·비선형 계산을 다루므로 이 단일 예제의 학습률이 일반 권장값은 아니다.

5. 학습·추론·대화 문맥은 다르다

학습에서는 선택한 자료와 목표로 모델 매개변수를 바꾼다. 추론은 정해진 모델에 새 입력을 넣어 출력을 계산하는 일이다. 대화 내용을 입력에 덧붙이면 같은 매개변수라도 다음 출력이 달라질 수 있지만, 그것만으로 모델 가중치가 학습됐다고 말하지 않는다.

이 차이는 최신성에도 중요하다. 모델에 최신 날짜를 적었다고 그날 법령이 자동으로 들어가지는 않는다. 관련 자료를 제공하거나 조회할 수 있어야 하며 그 자료가 정확한지도 검토한다. 미세조정도 매번 바뀌는 모든 문서를 정확히 암기시키는 유일한 방법이 아니다.

과적합은 학습 자료에 맞춘 규칙이 새 자료에 잘 일반화되지 않는 상태다. 규칙이 너무 단순해 중요한 관계를 못 배우는 과소적합과도 구별한다. 학습 손실이 낮아져도 분리한 검증·시험과 실제 적용 조건을 확인해야 한다. 전처리 통계나 미래 결과를 시험 자료에서 가져오는 누출은 점수를 과장한다.³

6. 언어 생성은 토큰을 조건부로 이어 가는 계산이다

토큰은 모델이 텍스트를 처리하는 단위다. 단어 전체일 수도, 단어의 일부나 기호일 수도 있어 글자 수와 토큰 수는 항상 같지 않다. 토큰을 수치 벡터로 바꾸는 표현을 임베딩이라고 한다. 벡터는 여러 숫자를 순서 있게 모은 것이며, 그 숫자의 가까움을 의미의 유사성과 연결하도록 학습할 수 있다.

많은 자기회귀 언어모델은 주어진 문맥과 앞에서 나온 토큰을 조건으로 다음 토큰의 분포를 계산하고, 선택한 토큰을 문맥에 붙여 반복한다. 자기회귀는 앞선 출력이 다음 출력의 조건으로 들어간다는 뜻이다. 원 Transformer 논문도 디코더가 이미 생성한 기호를 다음 생성에 사용하도록 설명한다.⁴

교육용 분포에서 첫 토큰 A의 확률이 0.6이고 A 뒤 B의 조건부 확률이 0.5라면 두 토큰 AB의 확률은 0.6×0.5=0.3이다. AB가 사실일 확률 30%라는 뜻은 아니다. 계산 대상은 그 모델과 문맥에서 해당 토큰열이 선택될 분포다. 높은 문자열 가능성과 외부 세계의 진실을 같은 척도로 취급하지 않는다.

가장 큰 확률을 고르는 방식과 분포에서 표본을 뽑는 방식은 출력 다양성이 다를 수 있다. 온도와 후보 제한 같은 생성 설정도 분포·선택을 조절한다. 설정을 고정해도 외부 서비스 판본·도구 상태가 바뀌면 전체 결과가 달라질 수 있고, 온도를 낮춘다고 근거 없는 내용이 모두 사라지는 것은 아니다.

7. Transformer의 주의집중을 가중합으로 읽는다

주의집중(attention)은 현재 표현을 만들 때 다른 위치의 정보를 얼마나 반영할지 계산하는 방식이다. 현재 위치에서 무엇과 관련된 정보를 찾는지 나타내는 표현을 질의(query), 각 위치가 어떤 정보와 맞는지 비교할 표현을 키(key), 실제로 섞어 전달할 정보를 값(value)이라 부른다. 질의와 각 키를 비교해 참고 비중인 가중치를 정하고, 각 값에 그 비중을 곱해 더하는 가중합을 만든다. 같은 입력열 안의 위치를 참조하면 자기주의집중이다. 학습된 여러 변환으로 관계를 병렬로 보는 다중 헤드와 위치 정보·비선형 층 등이 함께 구성된다.⁴

간단한 ML-A1에서 두 value가 10과 20이고 정규화 전 양수 가중치가 3과 1이라 하자. 합 4로 나누면 0.75와 0.25이고, 결과는 0.75×10+0.25×20=12.5다. 각 값에 비중을 곱한 기여분은 첫째가 7.5, 둘째가 5이므로 이를 더한 결과가 12.5다. 이는 관계에 따라 표현을 섞는 작은 예다. 실제 Transformer에서는 학습된 벡터 내적과 크기 조정, softmax라는 정규화 등을 사용한다. 이 예의 3과 1을 임의로 모든 모델의 attention 값으로 보지 않는다.

softmax는 여러 실수 점수를 각각 지수로 바꾼 뒤 그 합으로 나누어 합이 1인 양수 가중치로 만드는 변환이다. attention 가중치는 계산상 참고 비중이며, 그것만으로 어떤 문서가 법적 권위가 있거나 출력 주장의 실제 원인임을 증명하지 않는다.

생성 시 미래 토큰의 답을 미리 보지 않도록 하는 마스킹도 필요하다. 학습에서 여러 위치의 계산을 병렬 처리하는 것과 실제 생성에서 앞 토큰을 이어 쓰는 순차성은 다르다. 길이가 n인 입력의 모든 위치 쌍을 비교하는 기본 구조는 n²개의 관계 점수를 만들므로 길이를 두 배로 하면 그 부분의 수는 네 배다. 모든 계산·메모리·실제 응답시간이 언제나 정확히 네 배라는 뜻은 아니다.

8. 어떤 모델을 선택할 것인가

정한 규칙이 명확하고 오류 비용이 크면 우선 명시적 규칙의 장단점을 검토한다. 적절한 라벨과 입력이 있고 새 자료에서의 분류가 필요하면 통계·트리·신경망 등을 같은 평가에서 비교한다. 문장 초안이 필요할 때 생성 모형을 쓸 수 있지만 출처·검토·금지 행동을 갖춘 응용구조가 추가로 필요하다.

도서관의 자체 안 ML-P1은 문의를 분류해 담당자를 제안하되 자동으로 요청을 폐기하지 않는다. 법정 기한·계정 권한은 규칙으로 관리한다. 답변 초안에는 유효한 안내 원문을 연결하고 사서가 확인하며, 근거가 없으면 보류한다. 라벨 담당자는 문의의 의미와 부서 규칙을 정하고 기술 담당자는 학습 자료·모델·설정·평가를 기록한다.

도입 전에는 미래 결과 누출, 같은 문의의 중복, 시기·채널별 오류, 분류 거부·보류, 비용·지연을 확인한다. 생성 문장의 유창성과 분류 정확도는 다른 결과로 보고한다. 실제 사용의 정정·이의·담당자 부담이 증가하면 범위를 줄이거나 모델을 바꾸고 결과를 다시 관찰한다.

9. 자체 10점 문제와 완성 답안

머신러닝·딥러닝·생성형 AI를 구별하고 ML-N1과 ML-G1로 추론과 학습을 설명하시오.

가중합·ReLU·최종 합을 순서대로 계산하고, ML-G1에서 바뀌는 w와 새 입력의 추론을 구별한다. 손실 감소가 독립 시험의 정답 증가와 같은 증거인지도 설명한다.

10점 자체 연습의 구성과 완성 답안

목차: 학습 방식과 출력 과제 → 정방향 계산 → 매개변수 갱신 → 일반화 한계.

학습은 w를 바꾸고 추론은 고정된 w로 새 입력을 계산한다 · 상태 따라가기

x=2·목표 6·w=1로 같은 학습 예를 시작한다. 모든 단계에서 w·학습값·예측·손실의 위치를 유지하며 값과 허용 조건을 함께 확인합니다.

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

ML-G1의 한 행은 입력 x=2·목표 y=6·초기 w=1이다. 기울기 −16과 학습률 0.1로 w=2.6·예측 5.2·손실 0.64를 얻는다. 이 계산은 운영 승인이나 새 문의의 성능 입증이 아니다. 고정 모델에 새 입력·문맥을 넣는 추론과 매개변수 갱신을 구분하고, 분리한 자료로 누출·일반화를 확인한다.

이 예의 조건

• ML-G1의 한 행은 x 2·목표 6·초기 w 1이다. 기울기 −16과 학습률 0.1로 w 2.6·예측 5.2·손실 0.64를 얻는다. 이 계산은 운영 승인이나 새 문의에 대한 성능 입증이 아니다. 고정 모델에 새 입력·문맥을 넣는 추론과 매개변수 갱신을 구분하고, 분리한 자료로 누출·일반화를 확인한다.
• 이 원문의 교육용 사례·조건 안에서 상태를 대조합니다. 실제 구축·실험 결과나 원문에 없는 성능 보장을 추가하지 않습니다.

관계도의 보충 설명

원그림의 모든 대상과 설명

대상	원 설명
대상자료·학습 목표	원 설명ML-G1: x=2,y=6,w=1 / 초기 예측 2·손실 16
대상매개변수 갱신	원 설명기울기 −16·학습률 0.1 / 새 w 2.6·손실 0.64
대상고정 모델	원 설명추론 중 매개변수 고정 / 문맥 추가는 입력 변경
대상새 입력·문맥	원 설명현재 계산에 제공하는 정보
대상추론 출력	원 설명고정 모델로 계산 / 가중치 갱신과 구분
대상분리한 자료의 평가	원 설명누출·일반화 확인 / 학습 손실 감소만으로 승인 불가

원그림의 모든 관계와 조건

연결	원 라벨·방향
연결자료·학습 목표 → 매개변수 갱신	원 라벨·방향학습 / 정방향 / 실선
연결매개변수 갱신 → 고정 모델	원 라벨·방향정한 w / 정방향 / 실선
연결고정 모델 → 추론 출력	원 라벨·방향고정 계산 / 정방향 / 실선
연결새 입력·문맥 → 추론 출력	원 라벨·방향현재 입력 / 정방향 / 실선
연결매개변수 갱신 → 분리한 자료의 평가	원 라벨·방향후보 검증 / 정방향 / 실선
연결추론 출력 → 분리한 자료의 평가	원 라벨·방향출력 대조 / 정방향 / 실선

예의 값과 변화

관찰·상황	값·보충 정보	변화·이유
ML-G1 입력 x=2·목표 6·w=1로 같은 학습 예를 시작한다.	값·보충 정보 w·학습값: w 1·x 2·목표 6 예측·손실: 예측 2	변화·이유 학습 입력과 추론 입력 역할을 구별한다.
gradient 갱신 gradient −16·η .1로 w=1−.1×(−16)=2.6이다.	값·보충 정보 w·학습값: w1→2.6 예측·손실: gradient −16·η .1	변화·이유 원문의 손실과 학습률로 한 번 갱신한다.
갱신 후 값 같은 x 2의 예측은 5.2, 손실은 .64다.	값·보충 정보 w·학습값: w2.6 예측·손실: 예측 5.2·손실 .64	변화·이유 개선된 이 한 예가 운영 성능 증명은 아니다.
고정 추론 학습 뒤 추론에서는 w 2.6을 고정해 사용한다.	값·보충 정보 w·학습값: w 2.6 고정 예측·손실: 추론 출력	변화·이유 추론이 매 요청마다 새 가중치를 학습한다는 뜻은 아니다.

학습은 w를 바꾸고 추론은 고정된 w로 새 입력을 계산한다 · 상태 따라가기

x=2·목표 6·w=1로 같은 학습 예를 시작한다. 모든 단계에서 w·학습값·예측·손실의 위치를 유지하며 값과 허용 조건을 함께 확인합니다.

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

ML-G1의 한 행은 입력 x=2·목표 y=6·초기 w=1이다. 기울기 −16과 학습률 0.1로 w=2.6·예측 5.2·손실 0.64를 얻는다. 이 계산은 운영 승인이나 새 문의의 성능 입증이 아니다. 고정 모델에 새 입력·문맥을 넣는 추론과 매개변수 갱신을 구분하고, 분리한 자료로 누출·일반화를 확인한다.

이 예의 조건

• ML-G1의 한 행은 x 2·목표 6·초기 w 1이다. 기울기 −16과 학습률 0.1로 w 2.6·예측 5.2·손실 0.64를 얻는다. 이 계산은 운영 승인이나 새 문의에 대한 성능 입증이 아니다. 고정 모델에 새 입력·문맥을 넣는 추론과 매개변수 갱신을 구분하고, 분리한 자료로 누출·일반화를 확인한다.
• 이 원문의 교육용 사례·조건 안에서 상태를 대조합니다. 실제 구축·실험 결과나 원문에 없는 성능 보장을 추가하지 않습니다.

관계도의 보충 설명

원그림의 모든 대상과 설명

대상	원 설명
대상자료·학습 목표	원 설명ML-G1: x=2,y=6,w=1 / 초기 예측 2·손실 16
대상매개변수 갱신	원 설명기울기 −16·학습률 0.1 / 새 w 2.6·손실 0.64
대상고정 모델	원 설명추론 중 매개변수 고정 / 문맥 추가는 입력 변경
대상새 입력·문맥	원 설명현재 계산에 제공하는 정보
대상추론 출력	원 설명고정 모델로 계산 / 가중치 갱신과 구분
대상분리한 자료의 평가	원 설명누출·일반화 확인 / 학습 손실 감소만으로 승인 불가

원그림의 모든 관계와 조건

연결	원 라벨·방향
연결자료·학습 목표 → 매개변수 갱신	원 라벨·방향학습 / 정방향 / 실선
연결매개변수 갱신 → 고정 모델	원 라벨·방향정한 w / 정방향 / 실선
연결고정 모델 → 추론 출력	원 라벨·방향고정 계산 / 정방향 / 실선
연결새 입력·문맥 → 추론 출력	원 라벨·방향현재 입력 / 정방향 / 실선
연결매개변수 갱신 → 분리한 자료의 평가	원 라벨·방향후보 검증 / 정방향 / 실선
연결추론 출력 → 분리한 자료의 평가	원 라벨·방향출력 대조 / 정방향 / 실선

예의 값과 변화

관찰·상황	값·보충 정보	변화·이유
ML-G1 입력 x=2·목표 6·w=1로 같은 학습 예를 시작한다.	값·보충 정보 w·학습값: w 1·x 2·목표 6 예측·손실: 예측 2	변화·이유 학습 입력과 추론 입력 역할을 구별한다.
gradient 갱신 gradient −16·η .1로 w=1−.1×(−16)=2.6이다.	값·보충 정보 w·학습값: w1→2.6 예측·손실: gradient −16·η .1	변화·이유 원문의 손실과 학습률로 한 번 갱신한다.
갱신 후 값 같은 x 2의 예측은 5.2, 손실은 .64다.	값·보충 정보 w·학습값: w2.6 예측·손실: 예측 5.2·손실 .64	변화·이유 개선된 이 한 예가 운영 성능 증명은 아니다.
고정 추론 학습 뒤 추론에서는 w 2.6을 고정해 사용한다.	값·보충 정보 w·학습값: w 2.6 고정 예측·손실: 추론 출력	변화·이유 추론이 매 요청마다 새 가중치를 학습한다는 뜻은 아니다.

완성 답안

머신러닝은 자료와 목표에 따라 판단 규칙을 학습하는 접근이고 딥러닝은 여러 신경망 층에서 표현과 관계를 학습하는 접근이다. 생성형은 내용을 만드는 출력 과제이므로 모든 딥러닝을 생성형으로 동일시하지 않는다. 명시적 규칙도 서비스의 권한·업무 통제에 사용할 수 있다.

ML-N1의 입력 2·1에서 h1=0.5, h2=1, 출력 2를 계산하는 것은 정한 매개변수의 추론이다. 출력 2를 확률로 해석하지 않는다. ML-G1은 입력 x=2·목표 y=6·초기 w=1에서 손실 16을 얻고 기울기 −16·학습률 0.1로 w를 2.6으로 바꾼다. 새 손실은 0.64이며 이것은 매개변수를 바꾸는 학습이다.

학습 자료의 손실 감소는 새 자료의 성능이나 사실성을 보증하지 않는다. 자료분리·시점·누출을 확인하고 독립 평가를 수행한다. 대화 문맥을 추가하는 일은 보통 입력을 바꾸는 것이며 그 자체가 가중치 학습은 아니다.

10. 자체 25점 문제와 완성 설계 답안

한빛도서관의 문의 분류·안내 초안에 사용할 AI 구성과 평가안 ML-P1을 설계하시오.

문의 접수 시점에 아는 특징과 나중에 얻는 라벨을 분리한다. 고정 권한·분류·초안의 기능마다 규칙 또는 학습을 고른 이유와 평가 근거를 적는다.

25점 자체 연습의 설계 과정과 완성 답안

구성 과정: 기능마다 다른 질문을 맡긴다. 모델 구조를 설명한 뒤 자료·권한·검증과 책임을 연결한다.

ML-P1의 연결	확인할 조건·책임
문의·업무 규칙 → 분류 모델 / 생성 초안	고정 권한은 규칙, 분류와 생성 과제는 구분
자료·시점·권한 → 독립 평가	접수 시점 특징·나중 라벨·미래 결과 누출을 구분
평가 → 사람 확인	분류 오류와 원문 일치·보류·검토시간을 각각 확인
확인 → 제한 적용·재평가	책임자가 범위·변경·중단 결정

학습·추론·분리 평가 그림을 기능별 과제에 대입한다.

완성 설계 답안

ML-P1은 사서의 문의 분류와 안내 초안 작성을 지원하며 최종 자격 판단·요청 폐기·계정 변경은 자동화하지 않는다. 권한과 고정된 업무조건은 명시적 규칙으로 관리하고, 다양한 문의 표현의 분류는 학습 모델을 비교한다. 자연어 초안은 생성 모형을 사용하되 승인 문서와 사람 검토에 연결한다.

입력 특징은 문의 접수 시점에 이용 가능한 자료로 한정하고, 최종 처리 결과는 라벨로만 사용한다. 라벨의 업무 의미·예외·오류를 담당자가 검토한다. 시간·중복을 고려해 학습·검증·시험을 분리하고 전처리 규칙도 학습 자료에서 정한다. 시험 결과를 보고 계속 후보를 고르는 경우에는 새로운 독립 평가가 필요하다.

신경망은 가중합·편향·활성화의 층을 연결하고 손실을 줄이도록 학습한다. 추론은 고정 모델과 현재 입력으로 출력을 계산하는 것이며 문맥 추가와 모델 미세조정을 구별한다. 생성 모델은 앞 문맥을 조건으로 토큰을 이어 만들므로 높은 생성 가능성을 실제 사실성으로 보지 않는다. attention의 참고 비중도 출처의 권위나 인과를 대신하지 않는다.

평가에서는 분류 오류·보류·채널별 차이, 초안의 원문 일치·최신성·근거 부재 대응, 전체 검토시간·지연·비용을 나누어 확인한다. 원문이 없거나 접근권한이 없으면 초안을 강제로 만들지 않는다. 기술 담당은 자료·모델·설정 판본을, 문서 담당은 원천·적용일을, 사서는 오류·보완을, 책임자는 확대·중단을 맡는다.

신규 문서나 문의 유형 변화로 오류가 늘면 원인에 따라 자료·라벨·모델·사용 범위를 조정한다. 새 자료로 학습했다는 이유만으로 즉시 운영 승인을 주지 않는다. 모델이 좋은 점수를 냈다는 사실과 실제 이용자에게 안전한 서비스를 제공한다는 결과를 별도 증거로 관리한다.

11. 자기교정

조건 변경

ML-N1의 x1=0, x2=1이면? 두 중간 가중합이 음수여서 ReLU 뒤 0, 출력 0이다. 원래 계산의 출력 2를 그대로 재사용하지 않는다.

ML-G1의 학습률이 0.05면? 새 w=1.8, 예측 3.6, 손실 5.76이다. 한 번의 손실 감소 크기만으로 장기 일반화를 판단하지 않는다.

두 value 10·20의 가중치가 같으면? 각각 0.5이므로 15다. 주의집중 가중합이 바뀐 것이며 두 자료 중 어느 쪽이 사실인지 판정한 것은 아니다.

독립 확인: 학습률을 고르고 계산을 검토하기

ML-G1의 x=2,y=6,w=1에서 학습률을 0.25로 바꾼다. 한 번 갱신한 w·예측·손실을 구하고 “큰 학습률이 언제나 나쁘다” 및 “손실0이므로 모든 문의에 정확하다”를 각각 교정한다.

변경 조건의 완전한 풀이와 오답 교정

처음 기울기는 2×2×(2−6)=−16이다. 새 w=1−0.25×(−16)=5, 예측 10, 손실 (10−6)^2=16이다. 같은 초기 손실 16에 머문다. 학습률 0.1의 새 손실 0.64와 0.25의 16, 1의 784는 이 한 입력·손실에서의 결과이며 보편 권장값은 아니다. 참고로 0.125라면 w=3, 예측 6, 손실 0이지만 그 학습 한 행에 맞았을 뿐 새 문의의 일반화·권한·사실성을 확인하지 않았다. 큰 값의 결과는 계산으로 판단하고 단어만으로 분류하지 않는다.

풀이를 닫고 새 문서를 프롬프트에 붙임·색인 갱신·w 갱신을 서로 다른 변경으로 설명한다. 기호별 작은 계산은 학습 알고리즘의 원리를 설명하는 예이며 실제 모델 학습의 실행 기록과 구별한다.

2026-10-05에 Google의 경사하강법 설명의 손실·기울기·작은 갱신 원리를 대조했다. 이 자체 학습률·수치를 현재 모델의 권장 설정으로 확대하지 않는다.

근거와 범위

모든 모형·수치·문제·답안·도서관 적용안은 자체 교육용이다. 실제 학습·제품 벤치마크·법적 적용 승인·사람 독립 감수는 수행하지 않았다.

회독의 핵심

자료에서 규칙을 정하는 학습과 정한 모델로 새 출력을 계산하는 추론을 구별한다. 신경망의 층·비선형·손실·갱신을 작은 수로 읽고, 생성 가능성을 사실성으로 바꾸지 않는다. 모델의 능력과 서비스의 자료·권한·책임은 함께 설계해야 한다.

추가 계산으로 확인하는 구조·학습·생성의 차이

아래는 실제 모델을 학습시키는 절차가 아니라 앞의 작은 수식이 허용하는 결론을 확인하는 연습이다. 입력과 매개변수의 단위는 없는 교육용 값이며, 특정 학습률·생성 방법의 보편 권장값을 정하지 않는다.

문제 1 — 활성화 없이 두 직선 계산을 쌓으면

첫 계산은 h=2x+1, 다음 계산은 y=3h−2다. 전체를 x의 식 하나로 정리하라. 별도 목표 f(x)=max(0,x)는 x=−1,0,1에서 어떤 값을 내는가? 어떤 한 직선 ax+b가 이 세 목표값을 모두 만족할 수 있는지 두 끝점과 가운데 점으로 확인하라. 여기서 ax+b는 편향을 포함한 직선 형태의 변환이며 엄밀한 수학 용어로는 아핀 변환이다.

층의 수와 비선형 관계를 구별하는 풀이

y=3(2x+1)−2=6x+1이다. 두 계산을 쌓아도 하나의 직선 형태이며 층이 늘었다는 사실만으로 꺾인 관계가 생기지 않았다. ReLU의 세 목표값은 순서대로 0,0,1이다.

ax+b가 끝점 −1에서 0, 1에서 1이 되려면 −a+b=0, a+b=1이므로 a=b=0.5다. 이 직선은 x=0에서 0.5를 내어 목표 0과 다르다. 따라서 한 직선으로 세 점을 모두 맞출 수 없다. ReLU 같은 비선형 변환이 표현할 수 있는 관계의 차이를 보인 것이지, ReLU를 넣으면 모든 데이터에 더 정확하다는 성능 증명은 아니다.¹

문제 2 — 이 한 행에서 손실이 감소하는 학습률의 범위

ML-G1의 x=2,y=6,w=1과 제곱손실을 그대로 사용한다. 학습률을 α라고 쓰면 기울기 −16에 따라 새 w=1+16α다. 새 손실을 α의 식으로 적고, 처음 16보다 작아지는 α의 범위를 구하라. α=0.2와 0.3의 w·예측·손실도 계산하라. 손실은 이 한 학습 행에서만 비교한다.

작은 갱신이라는 말을 실제 손실로 확인하는 풀이

새 예측은 2+32α, 오차는 −4+32α이므로 손실은 (−4+32α)^2다. 제곱이 16보다 작으려면 오차가 −4보다 크고 4보다 작아야 한다. 따라서 0보다 크고 0.25보다 작은 α에서 이 한 번의 손실이 감소한다. α=0은 갱신하지 않고, α=0.25는 오차 부호만 바뀌어 손실 16으로 같아진다.

α=0.2면 w=4.2, 예측 8.4, 손실 2.4²=5.76이다. α=0.3면 w=5.8, 예측 11.6, 손실 5.6²=31.36으로 처음보다 커진다. α=0.125에서 손실 0이 된다는 기존 풀이와도 일치한다. 이 범위는 주어진 입력·초기값·손실·단일 갱신으로 계산한 결과다. 다른 자료·다른 손실·반복 갱신의 일반 권장 범위나 독립 시험의 성능 보증으로 확대하지 않는다.²

문제 3 — 가장 큰 다음 토큰이 가장 큰 전체 토큰열인가

문맥을 고정하고 정확히 두 토큰 뒤에 끝나는 교육용 분포를 정한다. 첫 토큰은 A가 0.6, C가 0.4다. A 뒤에는 B와 D가 각각 0.5이며, C 뒤에는 B가 0.95, D가 0.05다. 가능한 두 토큰열 AB·AD·CB·CD의 확률을 구하라. 매번 가장 큰 다음 토큰을 고르는 탐욕 선택은 A 뒤 동률이면 B를 고른다고 정한다. 그 결과가 전체 토큰열 중 가장 큰 확률인가?

조건부 확률을 곱한 뒤 선택 규칙을 비교하는 풀이

AB=0.6×0.5=0.30, AD=0.30, CB=0.4×0.95=0.38, CD=0.4×0.05=0.02다. 네 확률의 합은 1이다. 탐욕 선택은 첫 단계에서 A, 다음 단계에서 동률 규칙에 따라 B를 골라 AB가 된다. 그러나 전체 확률의 최댓값은 CB의 0.38이므로 지역적인 다음 토큰 최댓값과 전체 토큰열 최댓값은 같지 않을 수 있다.

앞선 토큰을 다음 계산의 조건으로 쓰는 원리를 제한된 분포에 적용한 자체 반례다.⁴ 이는 실제 언어모델의 탐색·속도 비교나 문장의 사실성 시험이 아니다. CB가 더 높은 문자열 확률을 갖더라도 내용이 사실이라고 판정할 수 없으며, 여기서는 두 토큰 이후의 길이·종료 확률을 별도로 비교하지 않도록 문제 조건에서 고정했다.

Footnotes

1. Google, Machine Learning Crash Course—Neural networks: Activation functions, 비선형성과 ReLU. https://developers.google.com/machine-learning/crash-course/neural-networks/activation-functions . 2026-09-20 확인. ML-N1은 자체 계산이다. ↩ ↩²

2. Google, Linear regression: Gradient descent, 손실·기울기·학습률. https://developers.google.com/machine-learning/crash-course/linear-regression/gradient-descent . 2026-09-20 확인. 단일 가중치의 전개·수치는 별도 작성했다. ↩ ↩²

3. scikit-learn, Common pitfalls and recommended practices, Data leakage. https://scikit-learn.org/stable/common_pitfalls.html . 2026-09-20 확인. 특정 API 실행이나 라이브러리 실험 결과를 주장하지 않는다. ↩

4. Vaswani et al., Attention Is All You Need (2017), §3의 자기회귀·attention·위치 표현, HTML v7. https://arxiv.org/html/1706.03762v7 . 원 논문의 구성 원리를 제한적으로 설명하고 현재 모든 언어모델이 같은 구조라고 일반화하지 않는다. 원문 그림·표를 복제하지 않았다. ↩ ↩² ↩³