데이터·AI 생명주기 거버넌스

데이터·AI 생명주기 거버넌스

답을 더 많이 맞히는 새 모델을 왜 보류해야 할까

새봄시는 강좌 안내 담당자의 답변 작성을 돕는 AI를 검토한다. 새 후보는 더 많은 질문에 정확한 답을 쓴다. 그런데 담당자가 볼 수 없는 내부 문서 두 건을 검색해 출력에 포함했다. 평균 성능이 좋아졌으니 이 정도는 감수해도 되는가?

이 사례의 접근 범위는 평균 점수로 상쇄할 선호가 아니라 반드시 지켜야 할 조건이다. 데이터의 적법한 이용·판본·품질과 모델의 성능, 사람이 결과를 사용하는 방식이 모두 연결돼야 한다. 거버넌스는 승인 문서 한 장이 아니라 그 조건을 누가 확인하고 무엇을 멈출 수 있는지에 관한 실제 운영이다.

개인정보의 목적·역할, AI 윤리와 감독, RAG와 도구, 릴리스·평가·운영을 복습한다. 이 절에서는 새 용어의 정의를 중복 등록하지 않고 이들을 하나의 안내 보조 서비스로 조합한다. DG-1·E1·H1·G1과 추가 조건은 모두 자체 교육 사례다.

읽는 순서: 원문과 파생자료의 경계에서 조건을 확인하고 DG-E1의 집단과 분모의 이유를 따라간다. 자체 문제는 먼저 답한 뒤 풀이를 펼친다. 조건 변경에서는 결과와 유지되는 원리를 함께 적고 오답 교정으로 돌아간다.

앞선 통합 판단과 연결

앞 절의 통합 판단은 한 사건에서 기술 성능과 권리·책임·운영 결과를 함께 보되 서로 다른 완료를 합치지 않았다. 여기서는 그 방식을 데이터 원문·파생자료·모델·권한·사람 검토의 생명주기에 적용한다.

1. 목적과 금지 용도를 먼저 결정한다

데이터·AI 생명주기 거버넌스는 원문·파생자료·모델·프롬프트·권한·사람의 결정·운영 변경을 같은 릴리스와 책임 경계로 연결하고, 필수 조건 위반 시 확대를 멈출 수 있게 관리하는 활동이다.

DG-1의 목적은 승인된 강좌 안내에서 근거를 찾아 담당자에게 초안을 제공하는 것이다. 주민의 선발·거절·우선순위를 AI가 결정하지 않는다. 원문이 없거나 적용 조건이 충돌하면 확인 불가를 표시하고 담당자가 원문·업무 책임자에게 확인한다.

목적을 넓힐 때는 새 검토가 필요하다. 안내 초안을 잘 만든다는 평가를 주민별 자동 선발의 근거로 쓰지 않는다. 사용하는 정보·오류의 피해·필요한 설명·사람의 권한과 법적 역할이 바뀌기 때문이다. 새로운 기능이 단순한 옵션처럼 보이더라도 위험과 책임이 달라질 수 있다.

NIST AI RMF 1.0은 Govern·Map·Measure·Manage를 생명주기 전반에 연결하며 일회성 순서표나 인증 체크리스트와 구별한다.¹ 아래 역할표는 그 관점을 적용한 자체 설계이지 NIST의 원문 표나 국내 법정 조직도는 아니다.

2. 자료가 지나가는 모든 사본과 목적을 추적한다

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

원문 ID·판본·목적·권한을 파생자료와 연결한다. 수집·보관의 허용과 질의 때 요청자의 권한, 주민에게 안내할 공개 범위를 별도로 확인한다. 정정·폐기는 캐시·평가자료·기록의 실제 반영·실패·재처리와 이미 제공한 안내의 영향까지 확인하며 검색자료 삭제를 학습 매개변수 제거로 바꾸지 않는다.

원문을 지웠는데 조각·색인·캐시가 남으면 새 답변에도 쓰일 수 있다. 정정도 원문만 수정했다고 완료되지 않는다. 원문 ID·판본과 파생 자료의 연결을 따라 반영·실패·재처리를 확인해야 한다. 기존 안내를 받은 사람에게 필요한 정정이 있는지도 별도로 본다.

자료를 저장소에 수집할 권한과 개별 요청자에게 그 자료를 사용할 권한은 다르다. 저장소의 수집·보관 자체가 허용돼야 하고, 질의 때에도 현재 요청자의 범위를 검색·문맥 전달에 적용해야 한다. 문서를 읽을 수 있는 직원이라고 모든 내용을 주민에게 그대로 전달할 권한까지 있는 것은 아니다. 최종 안내의 공개 범위도 확인한다.

학습 자료와 검색 자료는 다르다. 검색 색인에서 항목을 제거하는 일과 이미 학습된 매개변수에 대한 영향을 해소하는 일은 같은 작업이 아니다. 이 사례에서는 주민정보를 모델 학습에 넣지 않는 경계를 먼저 정한다. 사용한 사실을 확인하지 않고 ‘완전히 잊혔다’는 결과를 약속하지 않는다.

식별자를 가렸다고 모든 자료가 익명정보가 되는 것도 아니다. 결합 가능한 다른 정보·희귀한 조건·추가정보를 앞 개인정보 절의 방법으로 판단한다. 계약에 ‘AI 개선에 이용’이라는 문구가 있다는 이유만으로 모든 입력을 새 학습 목적에 사용할 수 있다고 가정하지 않는다. 실제 목적·역할·근거·제공 범위를 확인한다.

원문 담당자는 유효한 내용과 공개 범위를, 개인정보·권리 담당자는 사용 목적과 허용 조건을 확인한다. 기술 담당자가 접근 가능한 파일을 모두 색인에 넣은 뒤 사후에 근거를 찾는 방식은 기각한다. 민감한 자료를 복사하지 않아도 출처 ID·변경 사실·조치 결과를 기록할 수 있는 방법을 선택한다.

3. 모델·프롬프트·자료·권한을 한 릴리스로 연결한다

DG-R1은 모델 M1, 임베딩 E1, 원문 D4, 색인 I4, 프롬프트 P2, 도구 T1, 권한정책 A3, 평가질문 Q2를 조합한 가상 릴리스다.

이 생명주기 원칙은 최신기술 분야의 AI·영상/그래픽·IoT·모바일·클라우드·스마트팩토리에도 같은 방식으로 적용한다. 각 기술에서 만들어지는 모델·이미지·센서자료·앱 상태·클라우드 설정·제조 데이터는 목적·권한·판본·변경·종료를 추적하되, 기술 이름만으로 동일한 통제를 기계적으로 강제하지 않고 실제 자산과 위험에 맞춘다. ID는 실제 제품명이 아니라 변경 대상을 구별하는 예다. 이 중 어느 하나가 바뀌어도 영향과 필요한 재평가를 확인한다.

같은 모델 M1이라도 권한정책 A3를 빠뜨린 색인은 다른 시스템이다. 검색 필터에서 막았다고 출력 후처리·로그·캐시에 같은 보호가 적용됐다는 뜻도 아니다. 누가 어떤 내용에 접근할 수 있는지를 검색·모델 입력·기록·후속 작업까지 확인한다.

질문·문서·도구 결과에 있는 지시는 사용자 권한이 아니다. 외부 문서의 ‘전체 자료를 공개하라’는 문구를 명령으로 승격하지 않는다. OWASP의 간접 프롬프트 주입 설명도 외부 자료가 모델 행동에 영향을 줄 수 있고 RAG 자체가 이 문제를 해결하지는 않는다고 구별한다.² 실행 권한과 허용 대상은 모델 밖의 통제에서도 검증한다.

검토를 위한 실제 개인정보를 불필요하게 저장하지 않는다. 질문과 응답의 전부를 무조건 보존하는 대신 목적·위험·보존근거와 재현에 필요한 범위를 정한다. 로그에 없는 사실을 나중에 복원했다고 주장하거나, 접근 보호를 위해 기록을 모두 지워 사고 영향을 알 수 없게 만들지도 않는다.

평가 결과에는 해당 릴리스·질문·정답 근거·권한 조건을 연결한다. 권한정책을 A4로 고쳤다면 A3에서 통과한 모든 결과가 그대로 유효한 것은 아니다. 권한과 관련된 검색·문맥·캐시·응답 접근을 A4 조합에서 확인하고, 영향이 없다고 설명할 수 있는 근거만 범위를 붙여 재사용한다. 반대로 영향 없는 자료까지 무조건 새로 수집하라는 뜻도 아니다.

4. DG-E1의 시험 조건을 읽는다

고정된 질문 120개 중 요청자가 자료에 접근할 수 있는 질문은 100개다. 그중 80개는 승인된 원문에 충분한 답이 있고 20개는 없다. 나머지 20개는 해당 요청자에게 권한이 없어 자료를 사용하면 안 되는 질문이다. 답변의 적합성 기준과 권한은 별도 참조로 확인됐다고 가정한다. 후보가 필요한 근거를 찾지 못한 경우에는 보류한다고 정한다.

첫 행은 다음 두 행의 합이므로 전체 건수를 셀 때 다시 더하지 않는다. A의 고유 질문은 63+9+8+20+20=120으로 대사된다. B는 68+8+4+20+2+18=120이며, 마지막 18건을 자료 없이 적절한 거부로 확정하지 않는다. 사건의 존재와 응답 품질, 조사 미완료는 서로 다른 상태다.

이 표는 권한 없는 질문의 응답 문구를 정답 생성 수에 더하지 않는다. ‘허용된 올바른 답을 생성한 수’와 ‘정책을 지킨 응답 수’는 서로 다른 평가축이다. 거부가 타당한 질문을 억지로 답하게 해야 점수가 오른다는 기준을 만들지 않는다.

A의 검색 성공은 72/80=90%, 근거가 있는 응답의 정확성은 63/72=87.5%다. 답 가능한 집단의 최종 정답은 63/80=78.75%, 전체 요청의 허용된 정답 제공은 63/120=52.5%다. 전체 요청의 절반 정도에만 정답을 제공했다고 해서 나머지가 모두 실패인 것은 아니다. 본래 답이 없거나 권한이 없는 경우의 적절한 보류·거부가 포함된다.

B는 검색 성공 95%, 검색 뒤 정확성 68/76≈89.47%, 답 가능한 집단의 최종 정답 68/80=85%, 전체 정답 제공 68/120≈56.67%로 높다. 그러나 권한 없는 20개 중 2개에서 자료를 노출했다. 이 한정된 표에서의 위반 비율은 10%이고, 전체 120개에서는 약 1.67%다. 전체 비율이 작다고 피해나 필수 조건 위반이 사라지는 것은 아니다.

현재 선택은 B 확대 보류다. A도 위반이 관측되지 않았다는 제한된 사실만 있으며 미래의 무위반을 보장하지 않는다. 질문의 대표성·원문 변경·다른 권한·누락·검토 부담을 계속 확인한다. 표의 수치만으로 실제 이용자 피해나 통계적 유의성을 계산하지 않는다.

이 시험의 실패를 보고 권한 필터·프롬프트를 고치면 같은 질문의 반복 확인은 알려진 실패가 고쳐졌는지 보는 근거다. 그것을 한 번도 보지 않은 질문에 대한 독립 성능시험으로 이름만 바꾸지 않는다. 영향을 받는 기존 질문의 회귀 확인과, 개발에 사용하지 않은 질문·조건의 별도 평가는 목적이 다르다. 새 평가에서 다른 범주의 오류가 늘지 않았는지도 함께 본다.

5. 사람이 승인한다는 말은 자원과 권한까지 포함한다

DG-H1은 하루 50건 중 일반 40건의 검토에 4분씩, 예외 10건에 8분씩 필요한 고정 시간 모형이다. 필요 공수는 40×4+10×8=240분이다. 담당자에게 가용한 시간이 200분이면 40분이 부족하다.

예외 10건을 먼저 검토하면 80분을 사용한다. 남은 120분에는 일반 30건을 처리할 수 있으므로 총 40건을 처리하고 일반 10건이 남는다. 우선순위는 교육용 가정이며 모든 업무의 정당한 처리 순서를 정한 것은 아니다. 단순히 전체 50건에 4분을 곱해 200분이면 된다고 계산하면 예외의 차이를 지운다.

이 조건이 매일 반복되면 부족은 누적된다. 최초 대기는 없고 매일 일반 40·예외 10건이 새로 들어오며 예외를 먼저 처리하고, 추가 인력·취소·재작업 없이 같은 200분만 쓴다고 하자. 일반 처리능력은 하루 30건이므로 일반 대기는 하루 10건씩 늘어 5일 뒤 50건이다. 이는 한 번만 늦어지는 문제와 다르다. 처리량 제한·검토자원 확보 없이 ‘사람이 확인하므로 안전하다’고 확대할 수 없다.

운영량을 제한할 때는 주민의 정당한 문의 접수와 AI 초안 경로에 넣는 작업량을 구별한다. 검토되지 않은 초안을 보내거나 초과 문의를 기록에서 삭제하지 않는다. 대체 응대도 사람이 수행한다면 같은 인력을 두 경로의 처리능력에 중복 배정하지 않고, 별도 자원·대기 안내·우선순위와 이의 경로를 정한다. 240분은 새로 들어오는 고정 일일 작업량과 같은 값일 뿐 이미 쌓인 대기를 줄일 여유까지 주지는 않는다.

검토자는 근거와 한계를 이해하고, 초안을 수정·거부하고, 필요하면 자동 활용을 중단시키거나 담당자에게 올릴 수 있어야 한다. 내용은 보지 않고 승인 버튼만 누르면 형식적인 사람 개입이다. 반대로 검토를 모두 사람에게 넘긴다는 이유로 개발·운영 담당의 자료·모델·보안 책임이 없어지는 것도 아니다.

현 운영안에서는 처리 범위를 가용한 수준으로 제한하거나 적정 검토 자원을 확보한 뒤 확대한다. 빨리 처리하기 위해 예외를 일반 건으로 숨기거나 검토를 생략하는 안은 기각한다. 담당자의 실제 검토시간과 오류·피로·이의 대응을 관찰할 계획도 남긴다. 노출 사건 조사·정정·휴식·교육에 필요한 시간은 DG-H1의 단순 검토시간에 이미 들어 있다고 가정하지 않는다.

6. 완성 책임표 DG-G1

독립적 검토가 필요한 경우에는 실제로 작성·운영한 사람과 다른 관점의 검토자가 증거를 확인해야 한다. 모델이 자기 답을 다시 검사한 결과를 독립 승인으로 표시하지 않는다. 실제 검토자의 참여와 결론이 없으면 그 상태는 미완료다.

DG-G1은 A를 제한된 안내 보조의 검토 후보로 남기고 B의 노출 경로를 먼저 조사한다. 원문·색인·권한·로그·응답을 대조하여 금지 자료가 어느 단계까지 갔는지 확인한다. 출력에서만 감춘 뒤 문제가 끝났다고 하지 않는다. 필요한 사고·권리·통지 판단은 사실과 적용 법규를 확인해 담당자가 처리한다.

7. 운영·변경·종료를 같은 사건으로 추적한다

운영에서는 입력 분포·원문 판본·검색누락·잘못된 인용·권한 위반·불필요한 거부·지연·비용·검토 대기를 구별한다. 입력 분포가 바뀌었다는 사실만으로 자동 재학습·배포하지 않는다. 먼저 자료 오류인지, 업무 기준 변화인지, 모델의 한계인지 확인한다.

예를 들어 공지의 적용일이 바뀌면 원문·조각·색인·평가답안·이미 제공한 안내에 영향을 준다. 모델을 옛것으로 되돌리는 것만으로 새 공지의 적용이 해결되지 않을 수 있다. 같은 목적·권한을 만족하는 검증된 조합이나 원문 검색·사람 응대의 제한 경로를 선택한다. 과거의 무위반·정답 건수를 새 조합의 결과에 일괄 합산하지 않는다.

잘못된 안내를 보낸 사건은 모델 교체 후에도 남는다. 누구에게 어떤 내용이 전달됐고 어떤 정정이 필요한지 확인한다. 종료 시에는 사용 계정·도구·외부 계약·캐시·파생자료와 필요한 보존 기록을 처리하고, 이미 안내받은 사람의 이의·문의 담당을 유지한다. 삭제·재학습·접근 차단 중 어떤 조치를 했는지 실제 범위로 기록한다. 권한 회수가 과거에 이미 노출된 사본까지 자동 회수하는 것은 아니다.

8. 자체 10점 문제와 완성 답안

DG-E1에서 검색·생성·권한의 평가를 구별하고 후보 B의 확대 여부를 판단하시오.

요구 해석: DG-E1의 질문 집단과 단계별 분모를 구별하고, 성능 개선이 필수 권한 조건을 대신할 수 있는지 판단한다. DG-H1의 검토 용량은 뒤의 25점 설계에서 적용한다.

10점 문제의 작성 과정과 완성 답안 보기

목차: 평가 집단·검색/생성 분모 → 권한 위반·미확인 → 확대 보류·추가 평가

원문·권한·검색·초안·사람 안내의 각 단계에서 위반이나 확인 불가가 발견되면 사용·확대를 보류한다. 권한은 자료 수집, 검색·모델 입력, 도구·로그, 최종 안내에 각각 적용하며, 보류와 기존 오안내 정정을 따로 남긴다.

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

DG-E1의 B는 금지 자료 노출 2건으로 확대를 보류한다. 알려진 실패의 재시험·회귀 확인과 개발에 쓰지 않은 질문의 독립 평가는 구별하며, 실제 독립 승인·미래 무위반을 이 도식으로 주장하지 않는다.

완성 답안

DG-E1은 전체 120개 질문을 접근 가능한 100개와 권한 없는 20개로 나누고, 접근 가능한 집단 안에서도 답이 있는 80개와 없는 20개를 구별한다. A의 검색 성공은 72/80=90%, 검색 후 정확성은 63/72=87.5%, 전체 허용된 정답 제공은 63/120=52.5%다. 검색 누락 8개와 본래 답이 없어 보류한 20개, 권한 거부 20개를 같은 오류로 합치지 않는다.

B는 검색 76개·정답 68개로 검색 95%, 검색 후 정확성 약 89.47%, 전체 정답 제공 약 56.67%로 높다. 그러나 권한 없는 20개 중 2개에서 금지 자료를 노출했다. 나머지 18개의 응답 품질도 미제시 상태다. 필수 접근 조건은 평균 성능으로 상쇄할 수 없으므로 확대를 보류한다.

원문·색인·권한·프롬프트·도구·로그의 실제 노출 경로를 확인하고 수정된 릴리스를 다시 평가한다. 이미 본 실패의 반복 확인과 개발에 쓰지 않은 새 질문의 평가를 구별한다. A의 제한된 무위반 관측도 미래 안전 보장은 아니며 대표 질문·권한·변경·운영 부담을 추가 확인한다. 평가 자료의 원래 건수·분모·목적과 확인 범위를 결론에 붙인다.

9. 자체 25점 문제와 완성 설계 답안

새봄시의 안내 AI를 위한 데이터·모델·사람·운영 거버넌스 DG-G1을 설계하시오. DG-E1과 DG-H1을 적용하시오.

25점 문제의 도식·선택 이유·완성 답안 보기

목차: 목적·금지 → 자료·파생물 → 릴리스·권한 → 평가·사람 → 운영·종료

원문·권리와 파생자료를 모델·프롬프트·정책의 릴리스 묶음에 연결한다. 원문·권리는 정정·삭제로, 파생자료는 평가·권한으로, 릴리스는 실제 사람 검토 자원과 운영으로 연결한다. 세 경계의 변경·보류·종료는 같은 사건의 책임·판본·증거로 대조하며 미완료와 이미 제공한 오안내를 별도로 추적한다.

완성 설계 답안

DG-G1의 목적은 승인된 자료를 찾아 담당자의 안내 초안을 만드는 것이며 자동 선발·거절·외부 발송·주민정보 임의 학습은 제외한다. 업무 책임자가 목적과 금지 용도, 확대·중단을 승인하고 자료·개인정보·권리 담당은 원천의 사용 근거와 접근 범위를 확인한다. 단순 검색과 사람 응대도 비교·대체 경로로 유지하되 실제 담당 자원을 확보한다.

자료는 원문 ID·판본·적용일·권한을 조각·색인·임베딩·캐시·평가·기록에 연결한다. 수집·저장의 허용과 요청자의 자료 사용, 최종 주민 안내의 공개 범위를 구별한다. 정정·폐기 때 파생 자료와 이미 제공된 안내의 영향을 추적한다. 검색 자료 삭제를 모델 학습 내용의 완전 제거로 해석하지 않고, 이 사례에서는 주민정보 학습을 금지한다. 외부 업체의 계약·보관·사용 목적과 실제 자료 경계도 별도로 확인한다.

릴리스는 모델 M1·임베딩 E1·원문 D4·색인 I4·프롬프트 P2·도구 T1·권한 A3·평가 Q2의 묶음으로 관리한다. 외부 문서의 명령을 사용자 승인으로 바꾸지 않고 검색·모델 입력·도구·로그의 권한을 검증한다. 변경된 조합은 영향 있는 기존 실패와 다른 범주의 회귀를 확인하고 별도 독립 평가를 구별한다. 관련 없는 기존 판본의 결과를 새 승인으로 합산하지 않는다.

DG-E1의 B는 정답 68개로 A의 63개보다 많지만 금지 자료 노출 2개가 있어 확대하지 않는다. 성능·근거·보류·권한을 나누고 노출 단계·영향·시정을 확인한다. 제한된 A도 실제 적용 범위·대표성·오류와 검토 부담을 확인한 뒤 사용한다. 자기 채점이나 자동 평가만으로 독립 승인을 대체하지 않는다.

DG-H1의 필요 검토는 240분으로 가용 200분을 넘는다. 예외 10건을 먼저 처리하면 일반 30건까지 총 40건만 가능하고 일반 10건이 남는다. 같은 유입·가용시간을 5일 유지하면 대기가 50건으로 늘어난다는 추가 가정의 계산도 보고한다. AI 경로의 운영량·가용 인력을 조정하고 초과 문의는 실제 자원이 있는 대체 응대·대기 안내로 연결한다. 검토자는 근거 확인·수정·거부·중단 요청 권한을 가지며, 미검토 초안을 승인한 것으로 처리하지 않는다.

운영은 원문 변경·오류·비용·지연·이의·미처리를 관찰하고 담당자를 연결한다. 종료 또는 실패 시 검증된 제한 경로로 전환하고 계정·도구·계약·파생자료·보존 근거를 정리한다. 이미 전달한 오안내는 영향 대상을 찾아 정정하며 기존 이의 대응을 유지한다. 거버넌스의 완료는 역할 이름이 아니라 실제 목적·근거·조치·결과와 남은 위험의 기록으로 판단한다.

10. 자기교정·전이·면접

조건 1 — A가 검색한 72개에서 정답이 66개가 되면: 검색 성공·검색 후 정확성·전체 정답 제공을 각각 계산한다.

조건 1의 풀이와 판단 이유 보기

검색 90%는 그대로이고 검색 후 정확성은 66/72≈91.67%, 전체 정답 제공은 66/120=55%다. 권한·보류·운영 영향도 별도로 대조한다.

조건 2 — 가용 검토시간이 240분으로 늘면: 새 유입 처리와 기존 대기 해소에 필요한 공수를 나누어 설명한다.

조건 2의 풀이와 판단 이유 보기

주어진 고정시간 모형에서 하루 새로 들어오는 50건을 모두 처리할 수 있다. 이미 일반 대기 50건이 있으면 그 대기의 200분은 별도로 남는다. 같은 유입이 지속되는 조건에서 매일 280분을 확보하면 추가 40분으로 일반 10건씩 더 처리해 5일 뒤 그 대기를 해소한다. 실제 시간 변동·휴식·추가 문의·오류에 대한 여유와 품질까지 확보했다고 단정하지 않는다.

조건 3 — 원문은 같고 권한만 바뀌면: 영향을 받는 권한 경계를 고르고 기존 관측을 재사용할 범위를 설명한다.

조건 3의 풀이와 판단 이유 보기

내용 정확도 평가만 반복하지 않는다. 검색 필터·모델에 전달된 문맥·캐시·로그·기존 응답 접근이 새 권한을 지키는지 확인한다. 이전에 노출된 내용은 접근 차단만으로 회수됐다고 표시하지 않는다.

면접 질문: “사람이 검토하는 서비스에도 왜 AI 거버넌스가 필요합니까?”

면접 응답 예와 근거 보기

응답 예: “검토자는 데이터의 사용 근거와 모든 색인·도구 설정을 혼자 책임질 수 없습니다. 업무 목적, 자료 권한, 모델·설정 판본, 실제 검토 자원과 오류 시정의 책임을 연결해야 합니다. 승인 버튼이 있다는 사실보다 내용을 이해하고 바꿀 수 있는 권한·시간이 있는지가 중요합니다. 매일 유입이 처리량을 넘으면 대기가 누적되므로 확대 전에 운영량과 자원도 맞추겠습니다.”

후속 질문과 대응: “자료를 더 많이 넣으면 정확해지지 않습니까?” — “관련성이 없는 자료나 권한 밖 자료, 오래된 판본이 섞이면 근거와 안전이 나빠질 수 있습니다. 질문에 필요한 유효한 근거와 접근 범위를 먼저 정하고 단계별 평가로 추가 자료의 효과를 확인하겠습니다.”

근거와 범위

기술·권리의 상세 근거는 앞의 정보보안·개인정보, 윤리·법규·정책, 최신기술 원고와 연결한다. 반복 평가와 개발 자료 분리의 원리는 자료 준비·학습 및 MLOps 평가에 있다. DG-E1의 숫자·문제·답안·역할표·면접과 DG-H1의 추가 대기 가정은 자체 교육 자료이며 실제 주민정보·모델 평가·도입 승인·독립 검토·프로젝트 빌드와 무관하다. 원문·법규 전문의 기존 미완료를 이번 사례로 해소한 것으로 세지 않는다.

회독의 핵심

자료·모델·권한·사람·운영은 따로 좋은 점수를 받아도 함께 실패할 수 있다. 같은 사건의 목적·판본·근거·실제 전달·영향을 연결하고, 필수 조건 위반은 평균 성능으로 덮지 않는다. 확대·중단·종료도 생명주기 안의 결정이다.

독립 연습 — 개선 수치와 남은 상태를 같은 판본에서 대사하기

다음 세 문제는 DG-E1·H1의 조건을 명시적으로 바꾼 자체 연습이다. 고유 질문·업무·자료 ID를 먼저 대사하고 답을 쓴 뒤 풀이를 펼친다. 실제 모델 평가·삭제 작업·인력 운영을 실행한 기록은 아니다.

문제 1 — 정답은 늘었는데 전에 맞히던 질문을 틀린다

DG-E1의 답 가능한 동일한 80개 질문을 A3와 수정한 권한정책 A4에서 다시 시험했다. 이 80개 질문의 현재 허용 자료·정답 참조는 같고, A3의 정답은 63개였다. 질문별 대조에서 그 63개 중 7개가 A4에서 정답이 아니게 됐고, 나머지 기존 비정답 17개 중 12개가 정답으로 바뀌었다. A4의 나머지 결과는 잘못된 답 6개와 검색 누락 보류 6개다. 답 없는 20개는 모두 보류, 권한 없는 20개는 모두 자료 사용 거부로 확인됐다고 별도로 가정한다. 최종 정답·순증가·새로 나빠진 집단의 비율을 구하고, 이 시험만으로 독립 성능 검증과 확대 승인을 선언할 수 있는지 설명하라. 수정 과정에서 이 질문들을 이미 사용했다.

질문별 이동과 재시험 범위의 풀이 보기

이전 정답 중 유지된 것은 63−7=56, 새로 고친 것은 12이므로 A4의 정답은 56+12=68개다. 순증가는 5개지만 고친 12개와 새로 나빠진 7개를 서로 없던 일로 만들지 않는다. 새 결과도 68+6+6=80, 전체 집단은 80+20+20=120으로 맞는다. 답 가능한 집단의 최종 정답은 68/80=85%, 전체 허용된 정답 제공은 68/120≈56.67%다.

기존 정답 집단에서 나빠진 비율은 7/63≈11.11%, 기존 비정답 집단에서 고친 비율은 12/17≈70.59%다. 두 집단의 분모가 다르므로 두 비율을 빼 순증가율이라고 쓰지 않는다. 전체 80개 질문에서의 정답률 변화는 5/80=6.25%p다. 어떤 7개가 나빠졌는지 권한·근거·생성 단계별로 조사할 필요가 남는다.

이 결과는 개발에 사용한 질문의 재시험·회귀 대조이며 처음 보는 질문의 독립 성능시험이 아니다. 권한 거부의 별도 관측도 미래 무위반이나 독립 승인으로 늘려 쓰지 않는다. 변경 릴리스·알려진 실패·새 회귀·검토 공수의 확인과, 개발에 쓰지 않은 조건의 별도 평가·책임 있는 확대 결정을 연결한다.

문제 2 — 검토시간이 날마다 달라지면 마지막 대기는 얼마인가

DG-H1처럼 매일 일반 40건·예외 10건이 새로 들어오고 건당 검토는 각각 4분·8분이다. 최초 대기는 0이며 예외를 먼저 처리한 뒤 일반을 오래된 순으로 처리한다. 첫째·둘째·셋째 날 가용 검토시간은 200·240·280분이고, 업무는 중단 없이 완결되며 취소·재작업·추가 유입은 없다. 각 날 처리 건수와 마감 시 일반 대기를 구하라. 이어 셋째 날의 같은 담당자가 별도 사건 조사에 20분을 써 검토에 260분만 쓸 수 있을 때를 다시 계산하라. 다른 응대 경로에 같은 시간을 중복 배정하지 않는다.

일별 용량과 잔여 대기의 풀이 보기

예외는 매일 10×8=80분이다. 첫째 날 일반에 120분을 써 30건을 처리하므로 전체 처리 40건·일반 대기 10건이다. 둘째 날 일반에 160분을 써 40건을 처리한다. 이전 10건과 새 40건 중 10건이 남아 전체 처리 50건·일반 대기 10건이다. 셋째 날은 일반에 200분을 써 50건을 처리하므로 전체 처리 60건·일반 대기 0이다. 사흘의 유입 3×50=150건과 처리 40+50+60=150건이 맞는다.

조사 20분을 별도로 빼면 셋째 날 일반 검토는 260−80=180분, 즉 45건이다. 그날 전체 처리는 55건·일반 대기는 5건, 사흘 전체 처리 145건이다. 원래 280분 계획을 실제 가용 검토시간으로 그대로 보고하면 남은 5건을 지운 셈이다. 이 계산은 주어진 고정시간·우선순위 모형이며 실제 피로·시간 변동·휴식의 여유를 확보했다는 증거는 아니다.

문제 3 — 세 담당자의 영향 목록을 더하면 대상이 아홉 개인가

원문 D의 현재 활용을 중지하는 승인 범위에 대해 파생자료 담당은 조각-a, 조각-b, 색인-a, 색인-b, 캐시 담당은 색인-b, 캐시-a, 캐시-b, 평가 담당은 캐시-b, 평가-a를 보고했다. 같은 ID는 동일한 저장 대상이라고 확인됐고 목록 밖의 추가 저장 대상은 없다고 가정한다. 여섯 ID 조각-a, 조각-b, 색인-a, 색인-b, 캐시-a, 평가-a는 정한 현재 활용 차단이 확인됐지만 캐시-b는 실패한 채 담당자에게 인계됐다. 평가-a는 허용된 보존 근거에 따라 별도 보관하며 현재 검색·생성에는 쓰이지 않는다. 별도로 D를 이미 읽은 진행 중 초안 U의 제공 중지는 미확인이고, 과거 오안내 3건의 정정 전달도 미완료다. 고유 저장 대상·확인 비율·남은 작업을 구하고 ‘삭제 완료’라는 보고를 고쳐라. D를 모델 학습에 사용하지 않았다는 사실은 확인됐다고 가정한다.

중복 목록과 현재 활용·과거 영향의 풀이 보기

보고 항목은 4+3+2=9개지만 색인-b와 캐시-b가 각각 중복돼 고유 저장 대상은 7개다. 정한 현재 활용 차단이 확인된 비율은 6/7≈85.71%이고 미완료 저장 대상은 캐시-b 한 개다. 인계는 실패 해소가 아니며 같은 캐시-b를 두 담당이 적었다고 미완료 대상이 두 개가 되는 것도 아니다.

이 비율은 저장 대상의 현재 활용 차단 확인 비율이다. 물리 삭제율·전체 사건 완료율이 아니다. 별도 보존 중인 평가-a는 현재 활용과 보존의 범위를 구분해 기록한다. 진행 중 초안 U는 이미 읽은 내용을 제공할 수 있어 저장소 차단만으로 완료가 되지 않으며, 보류·재생성 등 승인한 제한의 실제 적용을 확인한다. 과거 오안내 3건은 필요한 정정의 실제 전달을 따로 확인한다.

보고는 ‘저장 대상 7개 중 활용 차단 확인 6개, 캐시-b 실패·담당·다음 확인 유지, 초안 U 제한 미확인, 과거 정정 3건 미완료’처럼 범위를 붙인다. 확인된 비학습 조건에서는 모든 모델 재학습을 임의로 추가하지 않되, 실제 사용 사실이 달랐다면 모델 영향도 별도로 검토한다.

Footnotes

1. NIST AI RMF 1.0(2023), Chapter 5 AI RMF Core, Govern·Map·Measure·Manage 및 생명주기·교차 기능. https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ . 2026-09-20의 집필 및 내용 통합 대조에서 관련 공식 HTML을 확인했다. 미발표 개정 내용을 추정하지 않았다. DG-G1은 자체 적용안이며 원문 체크리스트나 인증이라는 뜻이 아니다. ↩

2. OWASP, LLM01:2025 Prompt Injection. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ . 직접·간접 입력과 RAG의 방어 한계를 필요한 범위에서 확인했다. 실제 시스템의 공격·안전성 시험을 수행하지 않았다. ↩