미분 직관·최적화·손실

결과가 나빠지는 방향을 알면 반대쪽으로 움직일 수 있다

추천모델의 설정값을 조금 바꾸었더니 예측오차가 줄었다면 같은 방향으로 더 움직여 볼 수 있다. 너무 멀리 움직여 오차가 다시 커지면 변화 폭을 줄여야 한다. 미분은 입력을 아주 조금 바꿀 때 출력이 얼마나 어느 방향으로 변하는지 말하고, 손실은 현재 결과가 목표에서 얼마나 나쁜지를 숫자로 만든다. 최적화는 이 정보를 이용해 손실을 줄이거나 효용을 키우는 값을 찾는다.

먼저 되짚기: 함수

함수는 정의역의 각 입력을 정확히 한 출력에 대응시키는 규칙이다. 입력을 바꾸면 함수 규칙에 따라 출력이 달라질 수 있다. 미분은 이 입력 변화와 출력 변화의 국소적인 비율을 다룬다.

미분·최적화·손실

복잡한 미분 기호를 보기 전에 변화율 하나부터 계산하자. w는 바꿀 설정값이고 L(w)는 그 설정값에서의 손실이다. 자체 함수 L(w)=(w−3)²에서 w=1이면 L=4, w=1.1이면 L=3.61이다. 입력이 0.1 증가할 때 손실이 −0.39만큼 변하므로 평균 변화율은 −3.9다. 변화량을 더 작게 하면 w=1의 기울기 −4에 가까워진다. 아래 미분은 이 국소 변화율을, 그래디언트는 입력이 여러 개인 경우의 방향을 나타낸다.

함수의 미분값은 입력 변화량을 점점 0에 가깝게 줄일 때 출력 변화량과 입력 변화량의 비율이 가까워지는 값으로, 해당 지점에서 그래프에 접한 선의 기울기다. 미분값이 양수이면 입력을 조금 늘릴 때 출력이 증가하는 방향이고, 음수이면 감소하는 방향이며, 절댓값이 클수록 변화가 가파르다. 입력이 여러 개면 각 입력에 대한 편미분을 모은 벡터를 그래디언트라 하며 가장 빠르게 함숫값이 증가하는 국소 방향을 나타낸다.

L′(w)의 프라임 표시는 L의 미분값을 뜻한다. 작은 입력변화를 h라 두고 같은 함수의 괄호를 곱해 펼치면 L(w+h)−L(w)=2(w−3)h+h²다. h로 나눈 변화율은 2(w−3)+h이고 h가 0에 가까워질 때 2(w−3)에 가까워지므로 L′(w)=2(w−3)를 얻는다.

미분을 두 번·세 번 반복한 f″, f‴는 기울기가 다시 변하는 정도를 나타내는 2계·3계 도함수다. 일반적으로 f⁽ᵐ⁾은 m계 도함수이고, m!은 1×2×…×m인 계승이다. Taylor 전개는 한 점 근처의 함숫값을 그 점의 함숫값·기울기·고계도함수 항의 합으로 근사한다. O(hᵖ)는 충분히 작은 |h|에서 오차 E(h)가 h와 무관한 어떤 상수 C>0에 대해 |E(h)|≤C|h|ᵖ를 만족한다는 뜻이다. 주 오차가 그 차수를 따르는 범위에서는 h를 절반으로 할 때 약 1/2ᵖ로 감소한다. 같은 L을 w=1 근처에서 값 4와 기울기 −4만으로 근사하면 L(1+h)≈4−4h다. 정확한 식은 4−4h+h²라 버린 항과 오차는 h²다. h=0.1이면 근사 3.6·정확값 3.61·오차 0.01이고, h=0.05이면 근사 3.8·정확값 3.8025·오차 0.0025로 4분의 1이 된다. 이 예에서 선형 Taylor 근사의 오차가 O(h²)라는 뜻을 직접 확인할 수 있다.

목적함수는 선택의 좋고 나쁨을 숫자로 나타낸 함수다. 손실함수는 예측과 실제의 차이, 비용이나 위험처럼 줄이고 싶은 나쁨을 표현한 목적함수다. 최적화는 허용된 입력과 제약 안에서 목적함수를 최소화하거나 최대화하는 값을 찾는 과정이다. 미분값이 0인 지점은 후보일 뿐이며 최소점, 최대점 또는 어떤 방향으로는 올라가고 다른 방향으로는 내려가는 안장점일 수 있으므로 주변 모양과 제약을 함께 확인한다.

함수에서 변화율·손실·최적화로 연결한다

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

L(w)=(w−3)², 현재 w=1·L=4·L′=−4에서 w새값=w−ηL′로 갱신한다. η=.1은 w=1.4·L=2.56, η=1은 w=5·L=4, η=1.1은 w=5.4·L=5.76이다. 감소 후에도 제약·별도 검증자료 성능을 확인하며 한 이차함수 결과를 모든 손실의 수렴 증명으로 확대하지 않는다.

입력 w에서 함수 L(w)의 변화율을 계산한다. 여러 입력이면 편미분을 모은 그래디언트이며 그 증가 방향의 반대로 이동한다. 새 손실이 줄었는지뿐 아니라 제약과 별도 검증자료 성능을 함께 확인한다.

사례: 학습률 하나로 최적화가 달라진다

현재 w에서 그래디언트가 손실이 커지는 방향을 가리킨다면 손실을 줄이기 위해 그 반대 방향으로 이동한다. 학습률이 너무 크면 최솟값을 건너뛰며 진동·발산할 수 있고, 너무 작으면 거의 움직이지 않아 시간 안에 개선되지 않을 수 있다.

같은 손실 감소라도 별도 검증자료 성능이 악화되면 좋은 해가 아니다. 최적화는 주어진 손실을 잘 줄일 뿐 업무목표가 올바른지 스스로 보장하지 않는다.

같은 함수에서 미분은 L′(w)=2(w−3)다. η는 에타라고 읽으며 이동 보폭을 정하는 학습률이다. 입력이 하나인 이 예의 그래디언트는 미분값 숫자와 같다. 여러 입력에서 쓰는 ∇ 표시는 나블라라고 읽고 각 입력의 편미분을 모은 그래디언트를 가리킨다. w=1의 기울기는 −4이고 η=0.1이면 w새값=1−0.1×(−4)=1.4, 새 손실은 (1.4−3)²=2.56으로 4보다 작다. η=1이면 w=5·손실 4라 같은 크기로 건너뛰고, η=1.1이면 w=5.4·손실 5.76으로 오히려 커진다. “반대 방향”이라는 말만으로 큰 보폭의 감소까지 보장하지 않는 이유다.

중간 연습: w=1.4에서 같은 η=0.1을 한 번 더 쓰면 기울기 −3.2, 새 w=1.72, 손실 1.6384다. 반복 중 새 손실·변화량과 한도를 검사하고 이 한 이차함수의 감소를 모든 손실함수의 수렴 증명으로 확대하지 않는다.

경사하강법으로 손실을 줄이는 한 걸음

모델의 설정값 벡터를 w, 손실을 L(w)라 하자. 현재 w에서 그래디언트 ∇L(w)를 계산하면 손실이 가장 빠르게 증가하는 방향을 알 수 있다. 손실을 줄이려면 반대 방향으로 움직여 w새값 = w현재값 - η × ∇L(w현재값)으로 갱신한다. η는 한 번에 움직일 크기를 정하는 학습률이다.

이 과정을 반복하면서 손실, 검증자료의 성능, 제약 위반과 값의 변화량을 관찰한다. 학습률이 너무 크면 골짜기를 건너뛰며 발산할 수 있고, 너무 작으면 매우 느리거나 평평한 구간에서 멈춘 것처럼 보인다. 최적화에 쓴 자료에만 잘 맞는 값을 피하려면 별도의 검증자료에서도 성능이 유지되는 일반화 능력을 확인하고, 개선이 멈추거나 정한 반복·시간 한도에 닿으면 종료한다.

손실함수가 좋은 해의 뜻을 정한다

목표가 여러 개면 단순히 가중합으로 섞기 전에 반드시 지켜야 할 제약과 서로 교환 가능한 목적을 구분한다. 예를 들어 개인정보 보호 한도를 어기면서 정확도를 높이는 선택은 가중치가 아니라 제약으로 막아야 할 수 있다. 가중치를 조금 바꿀 때 선택이 얼마나 달라지는지도 확인한다.

손실을 잘 줄였는데 현실의 목표는 나빠질 수 있다

클릭 수 C를 키우려고 손실을 L=−C로 두고 이것만 최소화하면 자극적인 추천으로 클릭은 늘지만 만족도와 신뢰는 떨어질 수 있다. 최적화는 주어진 목적함수를 충실히 따르므로 잘못된 대리목표, 빠진 제약과 편향된 자료를 스스로 고치지 않는다. 목표와 손실 사이의 연결, 집단별 영향, 악용 가능성과 운영지표를 별도로 검증한다.

복잡한 함수에는 여러 국소 최소점과 안장점이 있어 시작값에 따라 다른 해에 도착할 수 있다. 입력 특성의 척도가 크게 다르면 한 방향의 기울기만 커져 학습이 불안정해진다. 너무 큰 학습률, 계산오차, 검증자료까지 반복 최적화하는 일도 실패를 만든다. 여러 시작값, 척도 조정, 학습곡선, 독립 평가와 중단 기준으로 위험을 확인한다.

C 자체를 손실로 두고 최소화하면 클릭을 줄이는 방향이 된다. 최대화하려는 효용과 최소화하려는 손실의 부호를 먼저 고정하고, 어느 경우에도 만족·안전 등 빠진 목표는 별도로 검사한다.

자체 10점 문제

미분·그래디언트, 손실함수와 최적화의 관계를 설명하고 경사하강법의 절차와 한계를 제시하시오.

요구어는 설명과 제시다. 함수·변화율·그래디언트·손실·학습률을 연결하고 최소점 후보와 업무목표 오류를 구분한다.

10점 풀이 방향과 모범답안 보기

10점 답안 목차

1. 함수·미분·그래디언트
2. 목적함수·손실함수
3. 경사하강 갱신
4. 학습률·종료조건
5. 국소해·대리목표·일반화 한계

10점 답안 도식

현재 w에서 ∇L(w)로 증가 방향을 계산하고, 반대 방향으로 새 w=w−η∇L(w)를 갱신한다. 손실·검증성능을 함께 확인한다. 보폭별 실제 결과 그림에서 η가 달라도 같은 감소가 보장되지 않는 이유를 설명한다.

기술사 답안으로 전환하기

예상문제: “미분·그래디언트, 손실함수와 최적화의 관계를 설명하고 경사하강법의 절차와 한계를 제시하시오.”

미분은 입력을 아주 조금 바꿀 때 출력이 변하는 국소 변화율이며 해당 지점의 접선 기울기다. 입력이 여러 개일 때 각 편미분을 모은 그래디언트는 함숫값이 가장 빠르게 증가하는 국소 방향이다. 손실함수는 예측오차·비용·위험처럼 줄이고 싶은 나쁨을 숫자로 표현한 목적함수이고, 최적화는 허용 제약 안에서 손실을 최소화하거나 효용을 최대화하는 값을 찾는 과정이다.

경사하강법은 현재 매개변수 w에서 그래디언트 ∇L(w)를 구해 w새값 = w현재값 - η∇L(w현재값)으로 반복 갱신한다. 학습률 η가 너무 크면 최솟값을 건너뛰며 발산하고, 너무 작으면 수렴이 느리다. 손실·매개변수 변화와 별도 검증자료 성능을 관찰해 개선 정체·반복·시간 기준으로 종료한다.

미분값 0은 최소점뿐 아니라 최대점·안장점일 수 있고 복잡한 함수는 시작값에 따라 다른 국소해에 도달한다. 더 중요한 한계는 최적화가 잘못 정의한 목표를 충실히 달성할 수 있다는 점이다. 클릭 최대화를 L=−C의 최소화로만 표현하면 만족·공정·보안을 해칠 수 있으므로 업무목적, 반드시 지킬 제약, 집단별 영향과 운영지표를 검증한다. 특성 척도, 학습률, 여러 시작값과 독립 평가로 계산 위험도 통제한다.

자체 25점 문제

추천모델의 손실함수·제약·학습률·종료조건을 설계하고 경사하강 과정에서 발산·과적합·대리목표 왜곡을 통제하는 절차를 제시하시오.

요구어는 설계와 제시다. 계산 수렴뿐 아니라 업무목표·제약·검증자료·집단영향까지 같은 종료판단에 포함한다.

25점 풀이 방향과 모범답안 보기

25점 답안 목차

1. 업무목표와 손실
2. 반드시 지킬 제약
3. 특성척도·초깃값
4. 그래디언트·학습률
5. 반복·시간·개선 종료조건
6. 검증자료·과적합
7. 여러 시작값·민감도
8. 운영지표·대리목표 검증

25점 답안 도식

연결할 판단	함께 확인할 것
업무목표 → 손실 + 제약	대리목표가 실제 목표를 보존하는가
초깃값·척도·학습률 → 반복 최적화	보폭·시작점·계산 안정성
훈련손실 ↔ 검증성능	훈련 감소와 일반화의 차이
종료·재설계·재학습	개선 정체·반복/시간 한도와 업무제약

학습률 결과 그림과 아래 추천모델의 독립 평가 조건을 함께 쓴다.

25점 모범답안

먼저 추천 품질·비용·위험 중 무엇을 줄이거나 키울지 업무목표를 정하고 그 목표를 대표하는 손실함수를 선택한다. 개인정보 보호처럼 위반해서는 안 되는 조건은 단순 가중치가 아니라 제약으로 둔다. 입력 특성의 척도를 점검하고 초깃값과 학습률 후보를 정한다.

각 반복에서 그래디언트를 구해 손실이 줄어드는 반대방향으로 이동하고 훈련손실·매개변수 변화와 별도 검증자료 성능을 함께 본다. 학습률이 너무 커 발산하거나 너무 작아 사실상 정체하는지 확인한다. 개선이 멈추거나 반복·시간한도에 도달하면 종료한다.

여러 시작값에서 결과를 비교하고 검증성능이 악화되면 과적합을 의심한다. 클릭 같은 대리목표만 좋아지고 만족도·안전·공정성이 악화될 수 있으므로 운영지표와 집단별 영향을 함께 검증한다. 최적화가 잘 됐다는 사실과 올바른 목표를 최적화했다는 사실을 분리한다.

출처와 적용 경계

미분·그래디언트·손실함수·경사하강은 안정된 미적분·최적화 기초개념이다. 추천모델 사례는 자체 교육 예이며 실제 모델 성능·공정성 보장을 뜻하지 않는다.

자기교정과 조건 변경

학습률을 10배 키우면? 손실곡선이 진동·발산하는지 작은 범위에서 먼저 확인한다.

검증손실은 늘고 훈련손실만 줄면? 과적합 가능성으로 보고 종료·규제·자료설계를 재검토한다.

업무목표가 클릭에서 만족도로 바뀌면? 손실·평가지표·제약과 기존 모델 선택을 다시 정의한다.

30초 정리

1. 미분은 작은 입력 변화에 대한 출력 변화율이고, 그래디언트는 여러 입력에서 가장 빠른 증가 방향이다.
2. 손실함수는 나쁨을 숫자로 정의하며 최적화는 제약 안에서 손실을 줄이거나 효용을 키우는 값을 찾는다.
3. 경사하강법은 그래디언트 반대 방향으로 학습률만큼 반복 이동한다.
4. 좋은 계산 결과는 좋은 목표를 보장하지 않으므로 대리목표·제약·척도·일반화·집단 영향을 함께 본다.