영상 표현·처리·컴퓨터비전

사진을 선명하게 만들면 책을 정확히 구별할 수 있을까

한빛도서관은 반납된 책의 관리 라벨을 카메라로 읽어 사서의 확인을 돕고 싶다. 그러나 빛이 반사된 라벨, 기울어진 책, 여러 책이 겹친 사진에서는 글자와 경계가 달라진다. 사진의 가로·세로 크기를 늘리는 것만으로 촬영할 때 사라진 글자 정보를 되찾을 수는 없다.

필요한 것은 ‘이미지 AI 사용’이라는 한 문장이 아니다. 빛을 어떻게 숫자로 기록하고, 어떤 전처리를 거쳐 무엇을 찾고, 결과를 어떤 기준으로 확인할지 연결해야 한다. 라벨의 위치를 잘 찾는 것과 글자를 정확히 읽는 것, 올바른 도서 기록에 연결하는 것은 서로 다른 과제다.

이 절의 라벨·픽셀·상자·검출 결과는 자체 교육 자료다. 실제 이용자 촬영이나 책 판독 실험을 수행한 것이 아니다. 사람의 얼굴과 개인 대출이력은 사례 범위에서 제외한다. 학습과 추론, 자료·판본·평가 관리의 틀을 영상에 적용한다.

앞선 수학 표현과 연결

벡터·행렬은 여러 값을 같은 순서와 축으로 묶고 변환하는 표현을 제공했다. 영상도 픽셀·채널을 배열과 벡터로 표현하므로 축·단위·변환의 의미를 먼저 맞춘 뒤 처리한다.

1. 영상·그래픽 파이프라인의 정의

영상·그래픽 파이프라인은 촬영·입력 또는 모델링으로 얻은 시각 정보를 표현·변환·분석하거나 화면으로 생성하여, 사람이 보거나 시스템이 판단할 결과까지 연결하는 처리 흐름이다.

확장현실(XR)은 현실·가상 환경과 사용자의 공간적 상호작용을 다루는 VR·AR·MR 등의 관련 경험을 포괄하는 표현이다. 이 절은 주로 관찰한 영상의 표현·처리·인식을, 다음 절은 생성미디어와 3D·XR의 화면 생성·진위 판단을 담당한다.

영상처리는 밝기 조정·잡음 완화·크기 변환처럼 영상의 표현을 바꾸는 일에 초점을 둔다. 컴퓨터비전은 영상에서 물체·문자·영역·움직임 등 과제에 필요한 정보를 추론한다. 결과가 보기 좋아졌다는 사실과 판독·측정이 정확해졌다는 사실을 나누어 확인한다.

카메라 영상은 현실 자체가 아니라 촬영 위치·조명·노출·렌즈·센서와 처리 설정을 거친 관측이다. 같은 책도 조명이 바뀌면 다른 숫자가 되고, 다른 책도 가림이나 흐림 때문에 비슷하게 보일 수 있다. 모델 오류를 분석할 때 입력을 만든 조건까지 포함해야 한다.

2. 픽셀·채널·비트 깊이를 읽는다

픽셀은 디지털 영상의 격자 위치에 기록한 값의 단위다. 흑백의 밝기를 한 값으로 표현할 수 있고, 컬러는 여러 채널로 표현한다. RGB는 빨강·초록·파랑 성분을 뜻한다. 채널마다 8비트의 부호 없는 정수를 쓰면 가능한 값은 0부터 255까지 256개다. RGB 세 채널이면 픽셀당 24비트, 즉 3바이트다.

빛의 위치를 일정한 격자로 기록하는 것은 공간 표본화, 밝기나 색의 연속값을 제한된 단계로 표현하는 것은 양자화다. 픽셀 수는 공간 표현의 수, 비트 깊이는 채널별 표현 단계와 관련된다. 둘을 바꿔 쓰지 않는다. 센서가 포화되어 흰색으로 기록한 영역은 파일을 더 큰 자료형으로 바꾸어도 원래 밝기 차이를 자동으로 복원하지 못한다.

프로그램마다 배열의 축과 채널 순서가 다를 수 있다. OpenCV의 일반적인 컬러 입력 설명은 BGR 순서와 행·열 접근을 사용한다.¹ 파일이 컬러라는 이유로 첫 채널을 언제나 빨강이라고 가정하지 않는다. RGB를 요구하는 모델에 BGR을 그대로 넣으면 모양이 같아도 입력 의미가 달라진다.

가로 좌표 x와 세로 좌표 y를 쓴다면 배열 접근은 흔히 행 y, 열 x의 순서다. 다만 라이브러리와 연산의 실제 형식을 확인해야 한다. 그림의 좌표축과 메모리 저장 순서는 같은 개념이 아니다. 촬영 방향을 나타내는 메타데이터를 적용하지 않으면 정상 사진도 회전된 상태로 분석할 수 있다.

3. 따라 계산 IM-B1: 이미지 한 장과 동영상의 데이터량

IM-B1은 가로 1,920·세로 1,080픽셀, RGB, 채널당 8비트의 비압축 영상을 가정한다. 행 정렬용 여분, 파일 헤더·메타데이터·압축·전송 부가정보는 제외한다. MB는 1,000,000바이트, MiB는 1,048,576바이트로 구별한다.

픽셀 수는 1,920×1,080=2,073,600개다. 픽셀당 3바이트이므로 한 장은 6,220,800바이트다. 이는 6.2208 MB, 약 5.93 MiB다. 파일 탐색기에 표시된 JPEG 크기가 이와 다르다고 계산이 틀린 것은 아니다. 계산 대상은 디코딩한 픽셀 값이며 압축 파일 크기와 다르다.

초당 30장의 같은 비압축 프레임이면 6,220,800×30=186,624,000바이트/초다. 8비트를 곱하면 1,492,992,000비트/초, 약 1.493 Gbps다. 실제 압축 동영상의 비트율이나 필요한 네트워크 회선 계약을 이 숫자로 바로 확정하지 않는다. 인코딩·화면 변화·프로토콜 부가정보·버퍼·손실을 따로 봐야 한다.

색과 비트 깊이가 같고 가로·세로를 각각 절반으로 줄이면 픽셀 수는 4분의 1이다. 960×540×3=1,555,200바이트다. 크기를 줄여 부담을 낮출 수 있지만 작은 라벨 글자도 줄어들어 읽기 어려워질 수 있다. 데이터량 감소와 과제 성능을 같이 평가한다.

프레임률은 시간당 기록·표시되는 영상 수이며 해상도와 별개다. 초당 프레임이 많아도 긴 노출로 움직임이 흐려질 수 있고, 영상의 일부만 분석하는 경우 촬영률과 분석률도 다르다. 실제 사건이 몇 번 일어났는지를 프레임 수로 대신 세지 않는다.

4. 촬영에서 업무 판정까지 책임을 나눈다

바로 아래 「라벨 위치가 맞아도 반납을 확정할 수 없는 이유」 그림을 사용한다. 책·라벨·조명에서 촬영·디코딩을 거쳐 방향·색·좌표를 확인하고 관심영역·크기·잡음을 처리한다. 라벨 위치 → 문자 판독 → 도서 기록 대조 → 사서 확인/보류는 각각 별도 출력이다. 촬영조건·오류·정정은 해당 실패 원인을 따라 기록한다.

관심영역(ROI)은 현재 과제에 필요한 부분이다. 라벨 주변만 처리하면 배경 노출과 계산량을 줄일 수 있지만, 잘못 자르면 필요한 글자나 기준점을 잃는다. 원본과 잘라낸 영상의 좌표 변환을 기록해야 결과 상자를 원래 위치에 다시 표시할 수 있다. 예를 들어 원본 가로 1,920픽셀에서 x=960부터 오른쪽 부분만 잘랐고 크기는 바꾸지 않았다고 하자. 잘라낸 영상의 x=0은 원본의 x=960이고, 그 영상에서 찾은 x=10은 원본의 960+10=970이다. 잘라낸 위치를 더하지 않고 원본의 x=10에 결과를 표시하면 다른 위치를 가리킨다.

크기 변환은 새 격자에서 픽셀 값을 정하는 일이다. 보간으로 중간 값을 만들 수 있지만 없던 세부 사실이 관측된 것은 아니다. 축소할 때 반복 무늬가 다른 모양처럼 보이는 현상도 있어 적절한 필터·촬영 해상도·라벨 크기를 함께 검토한다. 과도한 선명화나 생성형 복원을 문자 인식 전에 쓰면 실제 없는 획을 만들 수 있다.

밝기·색 변환은 목적에 맞춰 선택한다. 색이 도서 분류의 근거라면 무조건 흑백으로 바꿀 수 없고, 글자의 경계만 필요하면 밝기 표현이 충분할 수 있다. 조명이 바뀌는 문제를 모델 규모 확대로만 해결하지 않고 조명·노출·라벨 배치라는 더 단순한 대안도 비교한다.

5. 필터의 값을 직접 계산한다

주변 픽셀을 어떤 비중으로 합할지 나타낸 작은 가중치 배열을 영상 필터의 커널이라고 한다. 각 위치에서 이 배열을 옮기며 주변 값에 곱하고 더한다. 경계 밖 값을 0으로 둘지, 가장자리 값을 반복할지 등에 따라 결과가 달라지므로 경계 처리도 연산 조건이다.

자체 IM-F1의 3×3 밝기 격자는 중앙만 90이고 나머지는 0이다.

0   0   0
0  90   0
0   0   0

아홉 값의 평균을 중앙의 새 값으로 쓰면 90/9=10이다. 중앙의 큰 값을 주변과 섞어 완화했다. 같은 아홉 값의 중앙값은 0이다. 중앙의 90이 센서 잡음이었다면 제거가 도움이 될 수 있지만 실제 작은 인쇄점이었다면 정보 손실이다. 어떤 필터도 과제와 무관하게 항상 좋다고 할 수 없다.

상관 연산은 정한 방향의 가중치를 그대로 적용하고, 수학적 합성곱은 가중치 방향을 뒤집어 적용한다. OpenCV의 filter2D는 이름·설명에 convolution이 나와도 실제 계산은 커널을 뒤집지 않는 상관이라고 명시한다.² 대칭 평균 필터에서는 뒤집어도 같지만 비대칭 필터에서는 다르다.

일차원 예로 값 (1,2,4)에 가중치 (−1,0,1)를 그대로 곱하면 −1+0+4=3이다. 뒤집은 (1,0,−1)을 적용하면 1+0−4=−3이다. 둘 다 좌우의 변화와 관련되지만 부호가 다르다. 계산 결과의 의미를 읽을 때 라이브러리 이름보다 실제 연산과 방향을 확인한다.

음수나 255보다 큰 중간 결과를 8비트 영상에 그대로 넣으면 잘릴 수 있다. 차이를 계산할 때에는 적절한 자료형으로 중간 값을 보존하고 표시를 위한 변환과 분석값을 구별한다. 화면에 보기 좋게 바꾼 값을 원래 측정값으로 사용하지 않는다.

6. 고정 필터와 학습하는 특징 추출

합성곱 신경망(CNN)은 국소 영역의 계산을 위치에 걸쳐 공유하면서 특징 표현을 학습하는 신경망 구조다. 「머신러닝·딥러닝·생성형 AI의 층」에서 배운 가중합·활성화가 여러 위치와 채널에 적용된다. PyTorch Conv2d의 공식 식 역시 실제 계산을 상관 연산으로 정의하고 입력·출력 채널과 이동 간격·패딩을 명시한다.³

고정된 평균 필터는 사람이 가중치를 정하지만 학습 가능한 필터의 가중치는 자료와 목표에 따라 조정된다. 특징맵은 각 위치에서 얻은 계산 결과의 배열이다. 여러 층을 통과하며 더 넓은 범위의 관계를 사용할 수 있지만, 각 특징이 반드시 사람이 붙인 이름 하나에 대응하는 것은 아니다.

스트라이드는 필터 위치를 몇 칸씩 옮기는지, 패딩은 입력 가장자리에 계산용 값을 추가하는 방식이다. 이 절에서는 커널 내부 간격을 늘리지 않는 경우만 계산한다. 한 축 입력 길이 W, 커널 길이 K, 양쪽 패딩 각각 P, 스트라이드 S라면 출력 길이는 floor((W+2P−K)/S)+1이다. floor는 소수 부분을 버려 아래 정수로 내리는 연산이다.

출력 수를 작은 예로 세어 보자. 패딩 없는 길이 5에 길이 3의 커널을 한 칸씩 옮기면 1~3번째, 2~4번째, 3~5번째의 세 구간에서 계산한다. 이동할 수 있는 거리는 5−3=2칸이지만 맨 처음 위치도 한 번 계산하므로 2+1=3개다. 두 칸씩 옮기면 1~3번째와 3~5번째의 두 구간이어서 floor(2/2)+1=2개다. 식의 마지막 +1은 이 첫 계산을 포함한다.

W=32, K=3, P=1, S=2에서는 패딩 뒤 길이가 32+2×1=34이고 커널을 뺀 이동 가능 거리는 34−3=31이다. 31/2=15.5에서 완전한 두 칸 이동 15회만 세고 처음 한 번을 더하면 16개다. 따라서 floor(31/2)+1=16이다. 두 축 조건이 같으면 16×16의 위치가 된다. 출력 채널 수나 배치 수는 이 위치 수와 별도로 센다. stride를 크게 하면 계산 위치가 줄지만 작은 라벨과 정밀한 경계의 정보를 잃을 수 있다.

풀링은 작은 영역의 최댓값·평균 등으로 표현을 줄이는 연산이다. 국소 변화에 덜 민감한 표현에 도움이 될 수 있으나 정확한 위치가 필요한 과제에는 손실을 고려해야 한다. CNN 또는 attention 기반 모델을 사용했다는 구조 이름만으로 실제 라벨 검출 성능을 확정하지 않는다.

7. 분류·검출·분할·판독·추적의 출력은 다르다

검출 상자가 맞아도 그 안의 관리번호가 틀릴 수 있다. OCR 결과가 맞아도 다른 판본의 도서 기록에 연결하면 업무 오류다. 모델 점수를 곧바로 반납 완료로 바꾸지 않고 식별값·형식·원장과의 대응 및 사서 확인을 거친다.

같은 물체 주변에 여러 상자가 나올 수 있어 점수와 겹침을 이용한 중복 억제를 사용할 수 있다. 이때 가까운 두 개체를 하나로 지우는 오류도 가능하다. 상자 중복제거와 업무 사건의 중복제거는 대상과 기준이 다르므로 구별한다.

8. 따라 계산 IM-D1: 상자의 겹침과 검출 성능

IoU(Intersection over Union)는 두 영역의 교집합 면적을 합집합 면적으로 나눈 값이다. torchvision의 box_iou도 상자 쌍의 이 비율을 반환한다.⁴ 아래는 연속 좌표의 직사각형이며 너비는 오른쪽x−왼쪽x로 계산한다. 정수 픽셀의 포함 구간을 세는 다른 관례를 섞어 1을 더하지 않는다.

정답 상자 A=(0,0,4,4), 예측 상자 B=(2,0,6,4)라 하자. 좌표 순서는 왼쪽 x·위 y·오른쪽 x·아래 y다. 각 면적은 16, 겹치는 면적은 가로 2×세로 4=8이다. 합집합은 16+16−8=24이므로 IoU=8/24=1/3이다.

B를 (1,0,5,4)로 바꾸면 겹침 12, 합집합 20, IoU=0.6이다. 이 예제의 대응 인정 기준이 같은 범주·IoU 0.5 이상이라면 첫 상자는 기준에 못 미치고 둘째는 만족한다. 0.5는 교육용으로 지정한 기준이지 모든 과제의 법정·공식 합격선이 아니다.

별도 IM-D2는 실제 라벨 20개와 예측상자 22개를 정한 규칙으로 일대일 대응시킨 결과 16개가 맞았다고 가정한다. 정답 하나에 여러 예측을 중복 정답으로 세지 않는다. 참양성 16, 잘못된 예측 6, 놓친 라벨 4다.

정밀도는 16/22≈72.73%, 재현율은 16/20=80%다. 분모가 예측수인지 실제 대상수인지 다르다. 이 수치로 전체 도서 업무 정확도나 OCR 문자 정확도를 알 수 없다. 여러 점수 경계의 정밀도·재현율을 종합하는 AP, 여러 범주의 평균인 mAP를 보고하려면 그 평가 정의와 충분한 결과가 별도로 필요하다.

9. 영상 수보다 독립적인 대상과 조건을 확인한다

같은 책을 연속 촬영한 100장을 학습 90장·시험 10장으로 무작위 분리하면 시험이 지나치게 쉬울 수 있다. 물리적 책·라벨, 촬영 장소·시간·기기와 실제 이용 조건을 고려해 분리한다. 이미지 증강 기법으로 회전·밝기를 바꿔도 원본 하나에서 나온 자료가 서로 독립적인 물체가 되지는 않는다.

촬영 조건별 실패를 구별한다. 반사·가림·작은 글자·색 바뀜·새 라벨·미등록 도서를 포함하고, 확인할 수 없는 경우에는 보류하도록 한다. 낯선 책을 자신 있게 기존 책으로 확정하는 오류와 아예 인식을 거절한 경우의 업무 비용은 다르다.

IM-G1은 라벨 위치와 문자 초안을 사서에게 제시하는 보조안이다. 촬영 담당은 조명·거리·해상도를, 데이터 담당은 정답 상자·문자·대상 분리를, 개발 담당은 전처리·모델·임계값·좌표를, 사서는 원장 대조·보류·정정을 맡는다. 불필요한 주변 인물과 개인정보를 촬영·기록하지 않는 범위를 먼저 정한다.

원천영상·처리영상·예측상자·문자·원장 대조 결과의 필요한 연결을 남기고 자료의 접근·보존을 제한한다. 실제 사용 전 정상·겹침·반사·회전·재시도·미등록·촬영실패를 평가한다. 작은 글자를 생성형 선명화로 꾸민 뒤 확정하는 안과 높은 검출률만으로 반납을 자동 완료하는 안은 기각한다.

10. 자체 10점 문제와 완성 답안

IM-B1의 데이터량과 IM-D1·D2의 검출 지표를 계산하고 영상처리 결과의 한계를 설명하시오.

RGB 8비트의 픽셀당 바이트와 제외 항목을 먼저 적는다. IoU에서는 연속좌표 관례로 면적을 계산하고 검출 지표에서는 실제 20·예측 22·일대일 정답 16을 분리한다.

11. 자체 25점 문제와 완성 설계 답안

반납 도서의 라벨 판독 보조 IM-G1을 표현·처리·모델·평가·운영 관점에서 설계하시오.

촬영과 채널·좌표의 의미부터 일치시킨 뒤 라벨 위치·문자·원장 대응의 실패를 각각 적는다. 보간이나 생성한 획을 실제 관측한 문자 근거로 삼지 않는다.

12. 자기교정

조건 변경

해상도를 960×540으로 줄이면? 한 장 1,555,200바이트로 4분의 1이다. 문자 정보가 유지되는지 별도 확인하며 계산량 감소를 판독 개선으로 쓰지 않는다.

예측이 25개, 일대일 정답이 16개로 바뀌면? 실제 대상 20개가 같다면 정밀도 64%, 재현율 80%다. 잘못된 예측은 9개가 되어 확인 부담이 늘 수 있다.

같은 영상의 오른쪽 절반만 잘랐다면? 잘라낸 영상의 x=0은 원본 x=960에 대응한다. 단순 자르기이며 추가 크기 변환이 없다는 조건에서 x좌표에 960을 더해 되돌린다. 축소·회전까지 했다면 그 변환도 함께 적용한다.

독립 확인: 자른 영상을 다시 축소했을 때

원본에서 x=960부터 오른쪽 영역을 자른 뒤 가로·세로를 각각 1/2로 줄였다. 처리 영상에서 검출한 x=10을 원본의 x로 되돌린다. 추가 회전은 없고 같은 좌표 기준을 쓴다. 실제 20·예측 25·일대일 정답 16의 두 검출 지표도 계산한다.

답안을 닫고 비압축 6.2208 MB와 JPEG 파일 크기, 평균 10과 중앙값 0, 상관 3과 합성곱 −3을 각각 다른 계산 조건으로 설명한다. 커널·CNN의 입력 범위·연산 순서·출력 크기가 바뀌면 같은 답을 쓸 수 없는 이유도 설명한다.

2026-10-05 Torchvision box_iou 공식 문서의 반환 의미와 기본 xyxy 형식을 대조했다. 열람 표제는 0.29이며 기존 2026-09-20 관찰이나 다른 라이브러리 설치 결과를 갱신한 것이 아니다.

근거와 범위

모든 표·도식·계산·문제·답안은 자체 교육용이다. 실제 촬영·영상처리·모델 시험·인식·시각 렌더·독립 검수를 수행하지 않았다.

회독의 핵심

픽셀의 수와 뜻을 알고 촬영·변환·인식·업무결론을 연결한다. 작은 필터 계산과 영역 겹침으로 원리를 확인하되 한 단계의 지표를 전체 정확도로 바꾸지 않는다. 원본 조건·판본·실패·보류·정정까지 있어야 쓸 수 있는 영상 시스템이다.

보강 연습 1: 픽셀량과 실제 행 저장 간격은 다를 수 있다

자체 입력은 가로 641·세로 480, BGR, 채널당 8비트다. 행 시작을 4바이트 배수에 맞추고, 각 행의 끝에 필요한 패딩 바이트를 둔다. 헤더·압축·추가 버퍼는 제외한다. 실제 데이터 픽셀 하나의 BGR 값은 (10,20,250)이다.

패딩 없는 픽셀량과 행 패딩을 포함한 버퍼량을 각각 구하라. 이 픽셀을 RGB 입력으로 바꾸는 값도 적어라. RGB의 빨강 값에 밝기 보정 20을 더한 뒤 0~255로 제한하려는데, 8비트에서 넘친 값을 그대로 사용하는 안을 판단하라.

width, height, channels, alignment = 641, 480, 3, 4
row_bytes = width * channels
stride = ((row_bytes + alignment - 1) // alignment) * alignment
bgr = (10, 20, 250)
rgb = (bgr[2], bgr[1], bgr[0])
intermediate = rgb[0] + 20
clamped = min(255, max(0, intermediate))
print(f"픽셀량={row_bytes * height}, 버퍼량={stride * height}, 행간격={stride}")
print(f"RGB={rgb}, 제한값={clamped}, 순환값={intermediate % 256}")

보강 연습 2: 자르기·축소·여백을 모두 되돌린 상자를 구한다

원본 1,920×1,080에서 왼쪽 위 (480,270)을 시작으로 960×540 영역을 잘랐다. 이를 640×360으로 같은 비율로 축소하고, 위·아래에 각각 140의 여백을 붙여 640×640 입력을 만들었다. 회전은 없으며 모든 상자는 (왼쪽x, 위y, 오른쪽x, 아래y)의 연속 좌표다.

모델 입력에서 상자 (64,152,192,224)를 찾았다. 원본 좌표로 되돌려라. 상자 (64,120,192,130)가 나오면 같은 방식으로 업무에 사용해도 되는지 설명하라.

box = (64, 152, 192, 224)
scale = 640 / 960
left, top, right, bottom = box
original = (
    left / scale + 480,
    (top - 140) / scale + 270,
    right / scale + 480,
    (bottom - 140) / scale + 270,
)
assert original == (576.0, 288.0, 768.0, 396.0)
print(f"원본상자={original}")

보강 연습 3: 중복 상자와 문자 오독이 같은 평가를 만드는가

실제 라벨 T1=(0,0,4,4)·관리번호 B001, T2=(5,0,9,4)·관리번호 B002가 있다. 세 예측은 모두 라벨 범주이며 점수 0.8 이상이다. 점수가 높은 순서로, IoU 0.5 이상인 아직 대응되지 않은 정답 하나와만 연결하는 자체 평가 규칙을 쓴다. 이 예에서는 대응 후보가 둘 이상인 경우가 없다.

검출의 참양성·잘못된 예측·놓친 라벨, 정밀도·재현율을 구하라. 검출 대응에 사용된 예측만 대상으로 관리번호 전체가 정확한 OCR의 비율을 구하고, 자동 반납 완료를 정할 수 있는지 설명하라.