본문 바로가기

문제·기반원리·참조구조·성숙도·생태계

한빛도서관의 사서는 이용 안내를 찾느라 여러 문서를 연다. 업체는 질문을 입력하면 곧바로 답을 쓰는 AI를 보여 준다. 관람객이 준비된 질문을 하자 답이 매끄럽게 나온다. 담당자는 곧바로 구입해도 될까?

시연에서 잘됐다는 말과 우리 업무에서 쓸 수 있다는 말

한빛도서관의 사서는 이용 안내를 찾느라 여러 문서를 연다. 업체는 질문을 입력하면 곧바로 답을 쓰는 AI를 보여 준다. 관람객이 준비된 질문을 하자 답이 매끄럽게 나온다. 담당자는 곧바로 구입해도 될까?

시연은 가능한 행동 하나를 보여 주지만, 문서가 서로 모순될 때 무엇을 답하는지, 폐기된 안내를 어떻게 제외하는지, 직원만 볼 수 있는 문서를 이용자에게 보여 주지 않는지까지 증명하지는 않는다. 문장을 빨리 만드는 기능이 오히려 오래된 안내를 더 그럴듯하게 전달할 수 있다. 필요한 일은 새 기술의 이름을 외우는 것이 아니라 그 기술이 문제를 해결하는 경로와 실패하는 조건을 설명하는 것이다.

이 장의 도서관·질문·수치·시험 조건은 모두 자체 교육 사례다. 특정 제품의 실제 성능·가격·도입 결과가 아니다. 이 장은 비교 방법을, 뒤의 AI·영상·IoT 장은 각 기술의 작동원리를 담당한다. 아직 배우지 않은 기술 이름은 선택의 결론으로 사용하지 않는다.

앞에서 가져올 도구

아키텍처 결정은 구조 선택의 대안·근거·포기한 이점·재검토 조건을 남겼다. 여기서는 그 틀을 아직 충분히 검증되지 않은 기술에 적용한다. 전략과 투자에서 배운 목적·기준선도 같은 범위로 유지한다.

1. 최신기술 평가 프레임의 정의

최신기술 평가 프레임은 해결할 문제를 기준으로 기술의 기반원리, 구성과 정보 흐름, 성숙도, 생태계, 적용조건, 경제성 및 위험을 같은 질문으로 비교하고 도입·제한 시험·보류·기각을 결정하는 틀이다. ‘최신’은 품질 보증이 아니며, 오래된 기술도 같은 문제를 더 단순하게 해결하면 유효한 대안이다.

기반원리는 입력이 어떤 처리로 결과가 되는지 설명하는 핵심 작동 방식이다. 참조구조는 그 방식을 구현할 때 필요한 역할과 연결을 제품명과 분리해 표현한 구조다. 성숙도는 정한 환경과 조건에서 작동함을 어느 정도 확인했는지, 생태계는 구현·운영·교체를 가능하게 하는 공급자·표준·도구·인력·권리·지원의 관계를 뜻한다.

이 네 가지는 서로 보완하지만 서로를 대신하지는 않는다. 논문이 있다는 사실은 운영 지원을 보장하지 않고, 유명 공급자가 있다는 사실은 우리 자료에서의 정확성을 보장하지 않는다. 사용자가 많다는 사실도 폐쇄망, 낮은 전력, 특정 언어처럼 다른 조건에서의 적합성 근거가 되지는 않는다.

2. 기술명 대신 해결할 결정부터 적는다

‘생성형 AI를 도입한다’는 수단이다. ‘사서가 현재 유효한 근거를 찾아 틀린 안내 없이 답하는 시간을 줄인다’는 문제와 원하는 결과다. GOV.UK의 기술 지침도 사용자 필요를 먼저 파악하고 접근성·보안·재사용·통합을 함께 고려한다. 여기서는 그 관점을 참고할 뿐 영국 정부의 절차를 국내 도서관의 의무로 옮기지 않는다.1

자체 문제표 TE-P1을 실제로 채워 보자.

항목한빛도서관의 결정 범위
대상 사용자이용 안내를 확인하는 사서; 일반 이용자에게 자동 발송하지 않음
입력질문과 승인된 이용 안내 문서; 개인 대출이력은 제외
필요한 결과적용일이 맞는 근거와 답변 초안 또는 확인 불가 표시
비교 기준현재 문서 검색과 사서 확인; 안내문 정리만 하는 안도 포함
필수 제약권한 밖 자료 미노출, 삭제·변경 반영, 출처 추적, 사람의 최종 확인
성과전체 업무시간·오안내·미응답·정정 부담; 생성 문장 수는 보조 정보
제외법률 판단·개인별 대출자격 결정·이용자 계정 변경

‘답변 정확도 90%’도 충분히 구체적이지 않다. 어떤 질문을 대상으로, 어떤 문서 판본을 정답 근거로, 미응답을 어떻게 처리하고, 권한 위반을 어떤 방식으로 판단할지 정해야 한다. 날짜가 지난 근거를 인용한 유창한 답은 이 사례에서 성공이 아니다.

업무를 쪼개면 기술이 필요하지 않은 원인도 드러난다. 문서 이름이 불명확하거나 같은 규정의 여러 판본이 섞여 있으면, 검색기보다 먼저 정식 원천과 적용일을 정리해야 한다. 잘못된 자료를 더 빠르게 찾는 것을 문제 해결로 세지 않는다.

3. 원리는 입력·처리·상태·출력·실패로 설명한다

후보 A는 사람이 정한 검색어와 문서 항목을 대조한다. 후보 B는 질문과 문서의 관계를 계산해 관련 내용을 찾고, 그 내용을 바탕으로 답변 초안을 만든다. 뒤 장에서 B의 학습·검색·생성 원리를 자세히 배운다. 지금은 ‘AI가 알아서 한다’는 빈칸을 책임이 있는 처리 단계로 바꾸는 것이 목적이다.

바로 아래 「한빛도서관의 초안은 원천과 확인 책임을 잇는다」 그림을 사용한다. 승인 문서는 판본·권한·삭제 관리로 검색용 자료에 연결하고, 질문·요청자 권한은 찾기·근거 선택에 입력한다. 선택한 원문·적용일에 따라 초안 또는 보류를 만들고 사서가 확인한 뒤 안내한다. 오류·정정 기록은 원문과 검색자료의 판본 갱신으로 되돌아간다.

화살표는 정보와 확인 결과의 이동이다. 모든 문서를 하나의 외부 서비스로 보내라는 뜻이 아니다. 요청자의 권한은 화면에서만 확인하지 않고 근거를 찾고 전달하는 경로에도 적용해야 한다. 로그에도 원문이 남을 수 있으므로 입력·검색 결과·출력·기록의 경계를 모두 본다.

검색용 자료는 원문 자체와 다를 수 있다. 문서를 나누거나 별도 표현으로 바꾸어 저장하면 원문이 삭제돼도 복사된 표현·캐시에 남을 수 있다. 따라서 원문 ID와 판본을 연결하고 수정·폐기 때 영향을 추적한다. 생성 기능을 끄더라도 검색 자료의 관리 책임이 사라지지는 않는다.

상태는 현재 시스템이 기억하는 조건이다. 문서 판본, 사용자 권한, 이전 대화, 캐시 등이 결과를 바꿀 수 있다. 같은 질문에 다른 날 다른 답이 나오면 모델의 무작위성만 탓하지 말고 어떤 상태가 달랐는지 먼저 확인한다. 상태를 기록하지 않은 성공 시연은 재현하기 어렵다.

실패도 단계별로 다르다. 원문 누락, 권한 필터 오류, 엉뚱한 근거 선택, 근거와 다른 초안, 사서의 확인 생략을 한 개의 ‘AI 정확도’로 합치면 어디를 고칠지 모른다. 서로 다른 실패에 서로 다른 조치가 필요한 이유다.

한빛도서관의 초안은 원천과 확인 책임을 잇는다

상자 안의 대상과 화살표의 조건을 함께 읽으세요. 좁은 화면에서는 같은 관계를 세로로 재배치한 도식을 보여 줍니다.

한빛도서관의 초안은 원천과 확인 책임을 잇는다두 입력이 검색에 들어가고 근거에 따른 초안은 사서가 확인한다. 오류·정정은 원문과 검색자료의 판본 갱신으로 돌아간다. 질문·원문·초안·로그의 허용 범위는 각 경로에서 확인한다.te-query → te-search: 입력te-source → te-search: 자료te-search → te-draft: 근거te-draft → te-human: 초안te-human → te-correct: 정정te-correct → te-source: 갱신입력자료근거초안정정갱신사서용 보조의 승인 범위질문·요청자 권한: 허용된 안내 요청질문·요청자 권한허용된 안내 요청승인 안내 문서: 원문 ID·적용일·판본승인 안내 문서원문 ID·적용일·판본찾기·근거 선택: 자료·권한 확인찾기·근거 선택자료·권한 확인초안 또는 보류: 근거 부재는 보류초안 또는 보류근거 부재는 보류사서 확인: 근거 확인 후 안내사서 확인근거 확인 후 안내오류·정정 기록: 원천·판본 영향 확인오류·정정 기록원천·판본 영향 확인
한빛도서관의 초안은 원천과 확인 책임을 잇는다두 입력이 검색에 들어가고 근거에 따른 초안은 사서가 확인한다. 오류·정정은 원문과 검색자료의 판본 갱신으로 돌아간다. 질문·원문·초안·로그의 허용 범위는 각 경로에서 확인한다.te-query → te-search: 입력te-source → te-search: 자료te-search → te-draft: 근거te-draft → te-human: 초안te-human → te-correct: 정정te-correct → te-source: 갱신입력자료근거초안정정갱신사서용 보조의 승인범위질문·요청자 권한: 허용된 안내 요청질문·요청자권한허용된 안내 요청승인 안내 문서: 원문 ID·적용일·판본승인 안내문서원문 ID·적용일·판본찾기·근거 선택: 자료·권한 확인찾기·근거선택자료·권한 확인초안 또는 보류: 근거 부재는 보류초안 또는보류근거 부재는 보류사서 확인: 근거 확인 후 안내사서 확인근거 확인 후안내오류·정정 기록: 원천·판본 영향 확인오류·정정기록원천·판본 영향확인

두 입력이 검색에 들어가고 근거에 따른 초안은 사서가 확인한다. 오류·정정은 원문과 검색자료의 판본 갱신으로 돌아간다. 질문·원문·초안·로그의 허용 범위는 각 경로에서 확인한다.

4. 성숙도는 환경과 증거를 함께 적는다

기술성숙도 TRL(Technology Readiness Level)은 기술의 준비 수준을 단계로 구별하는 방법이다. NASA의 공개 체계는 원리 관찰에서 실제 임무에서의 입증까지 1~9를 사용하며 하드웨어·소프트웨어의 확인 맥락을 나눈다.2 아래는 그 흐름의 학습용 요약이지 국내 사업의 공식 TRL 판정표가 아니다.

구간확인이 발전하는 방향도서관에서 대응해 물을 질문
1~2원리 관찰·기술 개념 구체화어떤 원리가 무엇을 가능하게 한다는가
3개념의 분석·실험적 입증제한 자료에서 핵심 가정이 작동하는가
4~5구성요소 통합·관련 환경에서의 확인실제 문서·권한·언어·오류 조건과 얼마나 가까운가
6~7대표 시제품과 운영 환경의 시연전체 흐름과 운영 연결을 확인했는가
8~9완성체 검증·실제 사용에서의 입증승인된 구성의 지속 운영과 결과 근거가 있는가

TRL은 성공 확률이나 수익률이 아니다. TRL 8이라고 도입 성공 확률이 80%인 것도 아니다. 평균을 내어 ‘검색 9, 생성 7, 권한 2이므로 전체 6’이라고 승인하지 않는다. 핵심 통제가 준비되지 않으면 그 부분이 전체 적용을 막을 수 있다.

같은 기술도 환경에 따라 필요한 확인이 달라진다. 공개 영어 문서에서 성공한 결과를 한글 표·스캔·내부 권한이 섞인 문서에 그대로 옮길 수 없다. 통신이 안정적인 사무실의 시연은 오프라인 분관의 운영 증거가 아니다. 원리의 가능성과 대상 환경에서의 통합 가능성을 나누어 기록한다.

PoC는 정한 가정의 가능성을 확인하는 작은 시험이고, 파일럿은 제한된 실제 적용 조건에서 전체 흐름과 운영을 확인하는 시범 적용이다. 두 용어는 조직마다 범위가 다를 수 있으므로 이름보다 대상·환경·기간·참여자·성공/중단 조건을 적는다. PoC를 했다는 체크만으로 다음 단계의 권한·운영 준비를 대신하지 않는다.

5. 생태계는 공급자의 수보다 교체 가능한 책임을 본다

기술은 작동해도 유지할 사람이 없거나 자료를 꺼낼 수 없으면 오래 사용할 수 없다. 생태계 검토에는 문서화된 인터페이스, 표준 판본, 지원 기간, 취약점 대응, 실제 라이선스, 학습·운영 인력과 대체 공급 가능성이 들어간다.

개방형 표준은 상호운용 규칙에, 오픈소스는 코드 이용·수정·배포의 조건에 관한 말이다. 하나가 다른 하나를 자동으로 뜻하지 않는다. 공개 규격을 지원해도 특정 확장 기능·데이터 형식 때문에 교체가 어려울 수 있다. GOV.UK의 공개 표준 안내도 두 개념을 구별한다.3

확인 대상선언 대신 확보할 근거안 되면 생기는 문제
연결판본·필수 기능·오류 처리의 실제 문서같은 이름의 규격인데 상호작용 실패
자료 이동원문·판본·권한·기록을 내보내는 범위문장만 꺼내고 판단 근거는 잃음
지원지원 주체·기간·취약점 통보와 수정 경로장애 때 담당을 찾지 못함
비용·자원사용량 단위·최소 약정·자원 한계확장 뒤 비용·지연 급증
권리코드·모델·자료 각각의 실제 조건공개 모델이라는 이유로 무제한 이용 가정
운영 인력자료 갱신·평가·장애 담당자의 가용성담당자 퇴사 뒤 시스템 방치

프로젝트의 별(Star) 개수나 다운로드 수는 탐색 신호가 될 수 있지만 위 표의 직접 근거는 아니다. 한 공급자를 쓰는 것이 항상 잘못은 아니지만 대체가 어려운 부분과 그 비용·위험을 알고 선택해야 한다. ‘나중에 바꾸면 된다’는 말 대신 최소한 내보내기·권한 재구성·운영 재검증에 무엇이 필요한지 설명한다.

6. 따라 계산 TE-E1: 답한 비율과 맞힌 비율

비교용 질문 100개를 미리 고정하고, 문서 근거·적용일·허용 범위를 만족하면 올바른 답으로 판정한다고 하자. 후보는 80개에 답하고 20개에는 확인 불가를 표시했다. 답한 80개 중 60개가 올바르고 20개는 잘못됐다. 질문과 결과는 별도 교육 자료다.

답변 범위는 80/100=80%다. 답한 질문 중 올바른 비율은 60/80=75%다. 전체 질문 중 올바른 답을 제공한 비율은 60/100=60%다. 서로 다른 분모를 가진 세 수치이며 마지막 값은 80%×75%로도 얻는다. 미응답 20개를 성공으로 넣지 않는다.

후보가 위험한 질문에 답을 보류하는 것은 유용할 수 있다. 그러나 답을 거의 하지 않고 소수 쉬운 질문만 맞혀 높은 정확도를 만든 경우와 구별하려면 답변 범위와 정답률을 함께 보고, 어떤 질문을 보류했는지도 살펴야 한다. 모든 보류를 무조건 오류로 합치거나 무조건 좋은 통제로 세는 것도 부정확하다.

이 자료에는 사서의 수정시간과 실제 이용자의 오안내 피해가 없다. 따라서 시간 절감·피해 감소를 계산할 수 없다. 허용되지 않은 문서가 한 번 노출됐다면 높은 평균과 별개로 필수 조건 위반을 다뤄야 한다. 문제별 중요도가 다를 때 단순 건수 합계만으로 최종 선택하지 않는다.

시험 질문을 보고 문구를 계속 수정하면 그 질문은 개발의 일부가 된다. 최종 비교에는 별도 질문·변경 문서·예외 조건을 남기고, 알려진 질문만 잘 맞히는지 확인한다. 자료 분리의 원리는 앞 데이터마이닝 절에서 배운 것을 적용한다.

7. 실제 평가안 TE-G1

TE-G1은 공개 이용 안내만 다루는 사서용 보조를 검토한다. 우선 문서의 정식 원천·적용일·폐기 여부를 정리한다. 대안은 문서 정리만, 기존 검색 개선, 검색과 답변 초안의 결합이다. 처음부터 계정 변경이나 자동 외부 발송을 넣는 안은 비교 대상에서 제외한다.

문서 담당은 기준 자료와 정답 근거를, 사서 대표는 실제 질문·보완시간을, 기술 담당은 처리 경로와 상태를, 보안 담당은 권한·로그·삭제를 맡는다. 평가 책임자는 후보별 같은 질문·환경·판본을 고정하고 권한 위반과 보류의 처리를 정한다.

우선 원문 갱신·폐기 반영, 허용 밖 자료의 거부, 원문이 없을 때의 보류, 잘못된 근거의 정정 경로를 확인한다. 이 조건이 준비되지 않으면 성능 점수 비교로 넘어가 승인하지 않는다. 조건을 갖춘 후보에 한해 전체 답변 범위·정확성·업무시간·반복 운영비와 대체 가능성을 비교한다.

TE-E1의 후보는 전체 올바른 답 60%라는 근거만 확보했다. 따라서 현재 결론은 전면 도입이 아니라 오류 원인과 실제 보완시간을 확인할 제한 시험 준비다. 최종 결과표에는 시험 범위·환경·확인된 사실·미확인·권고·결정권자·다음 확인을 적는다. 이 원고가 실제 시험을 수행한 것은 아니다.

8. 자체 10점 문제와 완성 답안

최신기술의 성숙도와 도입 적합성을 구별하고 TE-E1의 결과를 해석하시오.

먼저 성숙도의 환경과 실제 도입의 업무 제약을 다른 칸에 적는다. 100·80·60을 각각 어떤 수로 읽는지 적은 뒤 보류와 오답이 필요한 다음 확인을 설명한다.

10점 자체 연습의 구성과 완성 답안

구성 과정: 정의 → 성숙도와 환경 → 세 분모 → 승인할 수 없는 결론 순서로 쓴다. 기술 이름의 장점 목록은 사례 판단을 대신하지 못한다.

문제·환경을 고정하고 성숙도의 확인 근거와 다음 세 분모를 구분한다.

TE-E1의 비율원수·분모결과
답변 범위80개 답변 / 100개 질문80%
답한 질문 중 정답60개 정답 / 80개 답변75%
전체 정답 제공60개 정답 / 100개 질문60% = 80%×75%

이 결과만으로 전면 도입을 승인하지 않고 제한 시험·보류·재검토를 정한다.

완성 답안

최신기술 평가는 문제를 기준으로 기반원리·구조·성숙도·생태계·적용조건·경제성·위험을 비교하여 적용 여부를 결정하는 활동이다. 성숙도는 특정 환경에서의 기술 준비 근거이고 도입 적합성은 우리 업무·자료·권한·인력·비용까지 충족하는지의 판단이다. TRL을 성공 확률이나 구성요소 점수의 단순 평균으로 해석하지 않는다.

TE-E1은 100문제 중 80개에 답해 범위 80%, 그중 60개가 올바르므로 답한 범위의 정답률 75%, 전체 올바른 답 제공률 60%다. 보류 20개와 오답 20개의 유형·영향을 구별해야 하며 이 자료만으로 업무시간 절감이나 권한 안전을 입증할 수 없다.

같은 자료·판본·환경에서 기존 검색과 비교하고 필수 보호조건·정정·삭제·운영 책임을 확인한다. 현재는 오류 원인과 보완시간을 확인할 제한 시험이 타당하며 유창한 시연만으로 전면 도입을 승인하지 않는다.

9. 자체 25점 문제와 완성 설계 답안

한빛도서관의 이용 안내 보조 기술에 대한 평가안 TE-G1을 설계하시오. 문제·참조구조·성숙도·생태계·증거·결정 조건을 포함하시오.

문서 정리만 하는 안부터 포함해 같은 목표의 대안을 적는다. 권한·판본·삭제가 없는 구성의 높은 평균을 승인 근거로 쓸 수 있는지 설명한다.

25점 자체 연습의 설계 과정과 완성 답안

목차: 목적과 경계 → 정보·책임 구조 → 필수 조건과 비교 실험 → 운영·재검토.

문제·기준선을 고정한 뒤 원천·권한·적용일과 검색·초안·사서 확인 그림을 적용한다. 원천에는 삭제·갱신을, 검색·초안에는 오류·보류를, 사서 확인에는 시간·정정을 대응시킨다. 세 경로의 근거를 모아 결정·재검토를 남긴다.

완성 설계 답안

평가 대상은 공개 이용 안내의 근거를 찾고 사서가 확인하는 보조 기능이다. 목적은 문장 생성량 확대가 아니라 적용일이 맞는 안내를 더 적은 업무 부담으로 제공하는 것이다. 개인별 자격 판단·계정 변경·자동 외부 발송은 제외한다. 문서 정리만 하는 안, 기존 검색 개선안, 검색과 초안을 결합하는 안을 같은 경계에서 비교한다.

참조구조는 승인 원문과 적용일·권한 관리, 질문 입력, 검색, 근거 선택, 초안 또는 보류, 사서 확인과 정정 기록으로 나눈다. 원문과 검색 자료의 판본을 연결하여 삭제·변경이 사본과 기록에 미치는 영향을 추적한다. 화면뿐 아니라 검색·전달 경로에서 허용 범위를 확인한다.

성숙도는 원리 입증, 관련 환경 통합, 실제 운영의 증거를 구별한다. 다른 언어·공개 문서의 성공을 현재 권한·변경 조건의 성공으로 대체하지 않는다. 표준 지원도 판본·기능·오류 동작을 대조하며 자료 내보내기·지원 주체·취약점 대응·이용권·운영 인력으로 지속 가능성을 확인한다.

문서 담당은 원천·정답 근거, 사서 대표는 실제 질문과 보완시간, 기술·보안 담당은 상태·권한·삭제·실패를 책임진다. 시험 전 질문·판본·환경·보류 처리와 필수 통과 조건을 고정한다. TE-E1의 전체 올바른 답 제공률 60%만으로 도입을 승인하지 않고 오답·미응답의 위치와 수정시간을 추가 확인한다. 권한 밖 노출·삭제 미반영·구제 불능이 발견되면 해당 적용을 중단한다.

최종 산출물은 문제표·참조구조·환경별 증거표·생태계 위험표·원수와 분모가 있는 비교표·제한 시험 또는 보류의 결정 기록이다. 실제 자료 변경이나 공급 조건 변화 시 같은 근거를 다시 확인한다. 제품의 유명세나 시험에 없는 효과를 도입 사유로 쓰지 않는다.

10. 자기교정

잘못 쓴 답왜 부족한가수정 예복습
최신이므로 기존 기술보다 낫다해결할 문제와 비교 근거가 없음같은 목적의 기존 검색·문서 정리와 비교문제
TRL 8은 성공확률 80%다단계와 확률을 혼동환경·확인 근거가 있는 준비 수준성숙도
여러 부품의 TRL 평균으로 승인한다낮은 핵심 통제를 숨김권한·운영 제약을 각각 확인성숙도
공개 규격이면 코드도 자유롭게 수정한다표준과 라이선스의 대상이 다름규격·코드·모델 권리를 분리생태계
80개에 답했으니 정확도 80%다답변 범위와 정답을 혼동범위 80%, 답한 질문 중 75%, 전체 60%계산
원문을 지웠으니 모든 사본이 사라졌다검색 자료·캐시·로그 누락원문 ID로 사본·판본 영향 추적구조
시연 질문을 반복 수정해도 독립 시험이다평가가 후보 선택에 사용됨개발용과 최종 비교 질문 분리증거
좋은 평균이면 권한 위반 한 건은 무시한다필수 경계를 점수로 상쇄노출 원인·확산·해소 전 적용 보류평가안

조건을 바꾸어 판단한다

80개 답변 중 올바른 답이 72개가 되면? 범위 80%, 답한 질문 중 90%, 전체 72%다. 전체 정답률이 90%라고 보고하지 않는다. 여전히 시간·권한·운영 근거가 별도다.

공개 안내가 아니라 직원 전용 문서를 추가하면? 기존 성공의 권한 범위가 바뀐다. 원천·검색·초안·로그의 권한과 반출을 새 조건으로 확인하기 전 기존 승인을 그대로 적용하지 않는다.

지원 업체가 서비스 종료를 공지하면? 원리와 과거 성능이 같아도 운영조건이 바뀐다. 자료·판본·권한·기록의 반환과 대체 경로·검증 비용을 평가하고 새 결정을 남긴다.

독립 확인: 보류를 줄였는데 개선됐을까

같은 100문제에서 새 후보는 90개에 답하고 그중 63개가 올바르다. 기존 80개 답변·60개 정답과 답변 범위·답한 질문 중 정답률·전체 정답 제공률을 비교하고, 숫자만으로 전면 도입을 승인할 수 있는지도 답한다.

변경 조건의 완전한 풀이와 오답 교정

새 후보는 90/100=90%, 63/90=70%, 63/100=63%다. 기존 80%·75%·60%에 비해 범위는 10%포인트, 전체 올바른 제공은 3%포인트 늘고 답한 질문 중 정답률은 5%포인트 낮아진다. 오답은 20에서 27로 늘었다. 어떤 질문의 보류가 줄고 오답 영향이 무엇인지, 권한·삭제·수정시간을 함께 확인해야 한다. 90%를 정확도라고 쓰는 답은 답변 범위를 바꾸어 불렀고, 전체 63%만 보고 승인을 내리는 답은 필수 제약과 오답의 피해를 건너뛰었다.

답안을 닫고 원수 100·90·63·27·10을 각 상태로 다시 배치한다. 서로 다른 환경의 TRL과 이 문항 정답률을 하나의 점수로 평균을 내지 않는다.

2026-10-05에는 NASA ESTO의 TRL 표와 GOV.UK 사용자 필요 지침을 대조했다. 여기서는 환경·증거와 사용자 문제를 구별하는 관점만 사용하고 국내 사업의 공식 평가·법적 의무로 바꾸지 않는다.

근거와 범위

모든 숫자·표·도식·판단안·문제·답안은 자체 작성이다. 실제 제품 시험·독립 기술 검토·공식 출제문항의 채점을 수행한 기록이 아니다.

회독의 핵심

문제를 먼저 정하고 입력에서 결과까지의 경로를 설명한다. 성숙도는 환경·증거와 함께, 생태계는 운영·교체·권리와 함께 읽는다. 같은 분모로 비교하되 필수 조건을 평균으로 지우지 않는다. 기술 이름이 아니라 확인 가능한 선택을 남기는 것이 평가다.

추가 독립 판단: 같은 질문 수라도 한 지표만 올릴 수 있다

아래 세 문제는 새로운 교육 조건이다. 앞의 TE-E1과 수치를 섞지 말고 각 문제에서 고정한 질문·판본·허용 범위를 먼저 적는다. 수치 비교는 시험 설계의 일부이며 실제 도서관 시험을 수행했다는 뜻이 아니다.

문제 1 — 많이 보류한 후보의 높은 정답률

동일한 승인 문서와 동일한 100개 질문에서 X는 80개에 답해 60개가 맞았고, Y는 30개에 답해 29개가 맞았다. 각 후보의 답변 범위·답한 질문 중 정답률·전체 정답 제공률을 계산하라. Y가 더 높은 정답률을 얻었으니 모든 업무에서 더 낫다는 결론을 내릴 수 있는가? 별도로 100개 질문 모두에 보류한 Z의 답한 질문 중 정답률은 얼마인가?

답변 대상의 분모부터 복원하는 풀이

X는 80%·75%·60%다. Y는 30/100=30%, 29/30≈96.7%, 29/100=29%다. Y는 답한 범위의 정답률이 높지만 전체 정답 제공은 31%포인트 낮고, 보류는 20개에서 70개로 늘었다. Y의 오답은 1개, X의 오답은 20개이므로 위험한 오답을 줄이는 목적에는 가치가 있을 수 있다. 어느 질문을 보류했는지와 오답·미응답의 영향, 최종 확인 공수가 없어 우열을 모든 업무에 일반화할 수 없다.

Z의 답변 범위와 전체 정답 제공률은 0%다. 답한 질문 중 정답률은 0/0이므로 정의되지 않는다. 이를 100% 성공 또는 0% 정답률로 임의 대입하지 않고 ‘답변 없음으로 산출 불가’라고 표시한다. 분모가 0인 칸과 실제 오답으로 낮아진 칸은 다른 상태다.

문제 2 — 전체 평균 뒤에 남는 어려운 질문

별도 시험은 쉬운 질문 90개와 어려운 질문 30개를 포함한다. 쉬운 질문은 모두 답해 81개가 맞았고, 어려운 질문은 9개만 답해 3개가 맞았다. 각 집단과 전체의 세 비율을 계산하라. “답한 질문 중 약85%가 맞으므로 어려운 질문에도 충분히 준비됐다”를 교정하라. 집단 구분과 올바른 답의 판정 기준은 시험 전에 고정했다고 가정한다.

집단별 원수와 전체 원수를 분리하는 풀이

쉬운 집단은 범위 90/90=100%, 답한 중 81/90=90%, 전체 제공 81/90=90%다. 어려운 집단은 9/30=30%, 3/9≈33.3%, 3/30=10%다. 전체는 질문 120개·답변 99개·정답 84개이므로 82.5%·약 84.8%·70%다. 집단별 비율 두 개를 단순 평균하지 않고 해당 지표의 원수와 분모를 합친다.

전체 답한 질문 중 정답률이 약 84.8%여도 어려운 집단에는 30개 중 3개만 올바른 답을 제공했다. 집단별 필요한 업무 범위와 보류 처리부터 확인해야 한다. 쉬운 집단의 표본 수가 더 큰 전체 평균을 어려운 환경의 성숙도·운영 승인으로 바꾸지 않는다. 이 표만으로 집단 차이의 원인이나 실제 피해도 확정할 수 없다.

문제 3 — 원문·검색 자료가 바뀌었는데 초안 캐시는 그대로라면

교육용 안내 D의 v1은 접수 마감 10시, 승인된 v2는 12시라고 하자. 09:30에 v2가 적용됐고 검색 색인은 09:35에 갱신됐다. 09:20에 만든 v1 초안 캐시가 09:40 요청에도 반환된다. 요청자의 권한은 같고 날짜·문서 ID D도 같다고 가정한다. 색인이 최신이므로 캐시 초안도 승인할 수 있는가? 반환·사서 확인 전에 대조할 최소 조건과 기존 그림의 정정 경로를 설명하라.

자료 ID와 판본을 함께 대조하는 풀이

09:40에는 적용 중인 판본이 v2인데 초안 근거는 v1이다. 문서 ID와 요청자 권한이 같고 색인 갱신이 끝났어도 캐시의 판본 일치는 증명되지 않는다. 초안에 남긴 원문 ID·판본·적용일과 현재 유효한 원천을 대조하고, 불일치하면 기존 초안을 그대로 전달하지 않는다. v2의 허용된 근거로 다시 만들거나 사서의 원문 확인으로 보류를 해소한다.

그림의 ‘오류·정정 기록 → 승인 안내 문서’ 갱신에는 해당 판본을 사용한 검색 표현·캐시 등 파생 자료의 영향 확인이 필요하다. 갱신 통보를 보냈다는 기록만으로 모든 사본이 바뀌었다고 결론 내리지 않고, 반환되는 초안의 근거 판본도 확인한다. 이 문제의 ID·판본 비교는 필요 조건 설명이며 실제 캐시 삭제·권한 필터 시험이나 법적 보존 정책 검증은 아니다.

Footnotes

  1. GOV.UK, Define user needs, 공개 지침의 사용자·운영·상업적 필요 항목. https://www.gov.uk/guidance/define-user-needs . 2026-09-20 확인. TE-P1·TE-G1은 자체 사례이며 영국의 의무를 국내 법규로 사용하지 않는다. ↩

  2. NASA Earth Science Technology Office, Technology Readiness Levels, 단계·소프트웨어 설명. https://esto.nasa.gov/trl/ . 2026-09-20 확인. 단계 흐름만 요약했고 NASA의 공식 평가나 특정 제품 TRL을 부여하지 않았다. ↩

  3. GOV.UK, Make use of open standards, open source와 open standards의 차이 및 상호운용 관점. https://www.gov.uk/guidance/make-use-of-open-standards/ . 2026-09-20 확인. 공개 코드의 구체 권리 조건은 해당 라이선스로 별도 확인한다. ↩