분석기획·문제정의·성과기준

1. 잘 맞힌 모델이 왜 쓸모없는 과제가 될까

도서관 강좌의 불참을 줄이겠다며 예측 모델을 만들었다. 하지만 담당자는 하루 스무 건만 안내할 수 있고, 예측은 강좌 시작 뒤에야 도착한다. 과거의 불참을 잘 맞혀도 그 시점에는 필요한 행동을 할 수 없다.

분석기획은 도구를 정한 뒤 데이터를 찾는 작업이 아니다. 누가 언제 무엇을 달리 결정할지, 그 결정이 왜 가치가 있으며 어떤 증거로 확인할지부터 정한다. 이 절의 AP-LIB는 도서관 강좌를 소재로 만든 별도 가상 분석과제다. 앞 UI/UX 사례에서 실제 불참 문제가 관찰되었다고 가정하거나 참가자 조사 결과를 가져온 것은 아니다.

앞 절에서 가져올 판단

검증·확인·운영 피드백의 운영 피드백은 실제 사용·오류·업무가치의 증거를 다음 변경으로 돌려주는 흐름이었다. 지표를 모으는 것만이 아니라 담당자가 행동하고 다시 확인해야 순환이 닫혔다.

앞 절에서 가져올 판단

정형 데이터 준비·특징·학습에서는 한 행의 대상과 예측 시점, 특징·정답의 이용 가능 시점을 구별하고 학습·선택·시험의 역할을 나누었다. 그 경계를 이번에는 프로젝트를 착수할 조건과 결과의 사용 계획에 적용한다.

앞 절에서 가져올 판단

품질차원·규칙·측정·개선체계는 용도별 규칙과 통과·위반·미확인의 분모를 정하고 개선 뒤 재측정했다. 과제 기획에서도 데이터가 있다는 사실과 그 결정에 사용할 품질이 확보되었다는 사실을 구별한다.

정확한 정의와 이 절의 경계

빅데이터 분석 생명주기는 의사결정 문제와 성과기준을 정하고 자료 탐색·모델링·해석·적용·관찰의 증거를 다음 판단과 개선에 연결하는 순환이다.

이 절은 생명주기의 공통 지도와 기획·문제정의·성과·실행 가능성의 기준을 담당한다. 데이터마이닝의 특징·라벨·자료 분할 정의는 정형 데이터 준비·특징·학습을 재사용하며 후속 절의 탐색·모델링·평가 상세와 인과 추정 이론을 대체하지 않는다.

모형을 만드는 일과 과제를 성립시키는 일

분석과제는 특정한 업무 질문에 대해 사용할 자료·분석 결과·의사결정·성과 확인의 범위를 묶어 정의한 작업 단위다. 데이터가 많아도 결정권자·행동·마감이 없으면 결과는 보고서에서 끝날 수 있다.

AP-LIB의 질문은 ‘누가 불참할까’에서 멈추지 않는다. ‘강좌 전 정한 시각에 담당자가 최대 20건을 안내할 때 누구를 우선하고, 기존 안내보다 실제 불참을 줄이며 부담을 감당할 수 있는가’로 넓힌다. 예측할 수 있는 것과 바꿀 수 있는 것을 분리해야 한다.

Google의 문제 정의 교육도 먼저 풀 문제와 적절한 해결수단을 검토하고 업무 결과·모델 출력·성공지표를 구별한다. [AP-S1][AP-S3] 이 사례의 스무 건 제한과 수치 목표는 그 문서에서 측정한 효과가 아니다.

생명주기는 단계별 증거와 되돌아갈 이유를 가진다

자료 가능성이 없으면 구현까지 밀고 가지 않고 기획으로 돌아가 범위 축소·보류를 검토한다. 점선은 이유와 증거를 다음 기획으로 전달하는 경로이며 미확인을 자동 승인으로 바꾸지 않는다.

기획에서는 목적·범위·성공과 중단 조건을 남긴다. 탐색에서는 실제 자료의 뜻·분포·누락과 위험을 확인하고, 모델링에서는 가설과 후보를 비교한다. 해석·검증에서는 결과의 불확실성과 적용 조건을 판단하며, 적용 뒤에는 실제 행동·업무 결과·오류·비용을 관찰한다.

이는 이 교재의 공통 지도이며 특정 방법론의 단계명을 그대로 복제한 고정 절차가 아니다. 자료 가능성이 없으면 구현 후가 아니라 기획으로 돌아가고, 운영 목표가 달라지면 같은 모델을 계속 돌리는 대신 질문을 다시 정한다. 뒤 절에서 각 단계의 상세 활동과 책임을 이어 다룬다.

AP-LIB: 의사결정 계약을 한 장으로 쓴다

자료의 개인 식별·연락 허용 근거와 접근 책임은 별도로 확인해야 한다. 이 표가 있다는 사실은 동의나 실제 안내 허가가 존재한다는 뜻이 아니다. 조건을 확인할 수 없는 신청을 편의상 허용 대상으로 바꾸지 않는다.

업무 목표, 분석 목표, 산출물을 구별한다

좋은 예측 점수가 자동으로 좋은 업무 결과는 아니다. 안내 담당자가 사용하지 못하거나 안내 효과가 없는 대상만 잘 찾으면 차이가 생긴다. 반대로 단순한 일정 안내 개선이 복잡한 모델보다 목적을 더 직접적으로 해결할 수도 있다. 업무 목표와 모델 지표의 구별은 기획에서부터 유지한다. [AP-S1]

같은 조건에서 비교할 기준을 정한다

분석 기준선(baseline)은 새 분석 방법의 추가 가치를 비교하기 위해 같은 대상·정보·시점·자원 조건에서 미리 정한 기존 방법이나 단순한 방법이다. 기존 운영 정책, 고정 규칙, 단순 예측 등이 후보가 될 수 있으며 목적에 맞게 선택한다.

AP-LIB는 기존 규칙 B와 후보 M이 모두 같은 100건 중 20건을 안내한다고 정한다. B에는 오래된 자료만 주고 M에는 이후 정답까지 주면 비교가 아니다. 같은 조건을 정했다는 문장도 실제 추출·실행·판정이 그 조건을 지켰다는 증거로 보완해야 한다.

항상 모든 건을 ‘불참 아님’으로 내는 방법은 전체 맞힘 비율의 비교에는 쓰일 수 있지만 스무 건 안내라는 행동 기준선을 대신하지 못한다. 어떤 결정을 비교하는지에 따라 기준선도 달라진다.

모델이 아니라 문제를 해결할 대안을 비교한다

기존 안내 문구·시간표를 고치는 안, 간단한 업무 규칙으로 우선순위를 정하는 안, 통계 모델을 사용하는 안을 비교한다. 결과가 필요한 시각과 해석 책임, 자료 품질·유지 비용이 다르면 모델 점수 하나로 순위를 정하지 않는다.

이미 업무 규칙으로 정확히 판정할 수 있는 문제를 불확실한 예측으로 바꿀 필요는 없다. 기록조차 없으면 예측 모델보다 수집 과정과 의사결정 절차를 먼저 개선해야 할 수 있다. 문제의 성격과 간단한 해결수단을 검토하는 것이 ML 문제 정의의 앞 단계다. [AP-S3]

중요한 선택은 ‘최신 알고리즘을 쓸까’보다 ‘이 과제를 이 범위로 착수할 근거가 있는가’다. 불필요한 자동화를 하지 않는 결정도 정상적인 기획 결과다.

2. 필요한 데이터가 아니라 쓸 수 있는 데이터를 확인한다

데이터 목록에는 소유자·대상·기간·갱신 주기·단위·접근·정답 확인·품질과 과거 시점 재현 가능성을 적는다. 값이 저장되어 있어도 필요한 시각에 도착하지 않거나 사용 권한·용도 조건을 확인하지 못하면 입력 준비가 끝난 것이 아니다.

Microsoft의 AI 도입 계획은 조직의 역량·자료 준비·기술 자원과 실행 계획을 함께 검토한다. [AP-S2] 여기서는 특정 클라우드를 선택하라는 처방으로 쓰지 않고, 과제의 자료·사람·시간·운영 능력을 같이 확인하는 맥락으로 사용한다.

기획 결과에 ‘데이터팀이 나중에 준비’만 적으면 중요한 가능성 판단이 구현 뒤로 밀린다. 누가 어떤 표본과 기준으로 언제까지 확인할지, 실패하면 어떤 범위를 줄이거나 중단할지 남긴다.

AP-T1: 과거에 발생했어도 그때 읽을 수 없었다

같은 날 09:00을 판단시각 t0라고 하자. 아래 시각은 동일 시간대이며 AP-T1의 전체 입력이다.

A는 발생과 이용 가능 모두 t0 이전이다. B는 사건이 과거여도 실제로 늦게 들어와 그때 읽을 수 없고, C는 아직 발생하지 않은 목표 결과다. 모든 값을 현재 표에서 조회해 특징으로 쓰면 과거 의사결정 시점이 재현되지 않는다.

이 검산은 세 행의 명시된 시각을 비교한 것이다. 실제 추출의 시계 오차·접근 지연·변경 이력까지 검증한 것으로 확대하지 않는다.

대리 목표가 행동을 잘못 유도할 수 있다

대리 목표(proxy target)는 직접 얻기 어려운 실제 목적을 대신하여 측정·예측에 사용하는 관찰 가능한 목표다. 예컨대 강좌 안내의 목적을 ‘문자 링크 클릭’으로 대신하면 클릭은 많지만 실제 출석은 늘지 않을 수 있다. 대리 목표와 최종 목적의 관계를 확인해야 한다. [AP-S1]

AP-LIB에서 실제 불참 결과가 늦게 확정된다는 이유로 ‘마지막 접속 없음’을 불참 라벨로 바꾸지 않는다. 다른 뜻의 관찰이라면 이름·한계·검증 계획을 따로 두고, 정답을 확보하지 못한 건은 미확인으로 남긴다.

직접 목적도 여러 요소일 수 있다. 불참만 줄이려다 과도한 연락·부담·특정 집단 배제라는 부작용이 커지면 성공이라고 승인하기 어렵다. 어떤 목표를 우선하고 어떤 조건은 넘으면 안 되는지 구별한다.

과제 가능성 확인을 작게 실행할 계획

처음부터 전체 모델을 만들지 않고 대표할 원천·기간의 소량 자료로 식별·연결·시점·정답 확보를 확인하는 계획을 세운다. 이것은 전체 성능의 대표 표본을 확보했다는 선언이 아니라, 앞 단계의 막힌 조건을 일찍 찾기 위한 점검이다.

예를 들어 AP-T1처럼 당시 이용 가능한 값이 거의 없다면 실제 운영 입력으로 쓸 특징부터 다시 설계한다. 동일 신청이 여러 강좌·채널에 걸칠 경우 앞서 배운 관측 단위와 그룹·시간 경계를 기준으로 학습·평가 가능성을 확인한다.

품질 점검에서 특정 집단이 빠졌다면 그 집단에 결과를 적용할 근거도 별도로 마련한다. 자료 범위를 줄여 쉬운 대상만 남긴 결과를 전체 대상의 과제 성공이라고 표시하지 않는다.

성과 판단에서 넘지 말아야 할 조건

보호 조건(guardrail)은 주된 성과를 개선하더라도 넘지 않도록 사전에 정한 위험·품질·운영상의 제한이다. AP-LIB에서는 허용되지 않은 연락 0건, 자동 취소 금지, 스무 건 처리 한도와 중요한 집단의 검토를 예로 든다. 모두 가상 기획 조건이며 법률의 숫자 기준을 제시하는 것이 아니다.

예측의 맞힘·놓침은 분석 지표, 실제 불참 변화와 비용은 업무 지표, 허용 조건 위반은 별도 판단이다. 좋은 총점으로 보호 조건 위반을 상쇄하지 않는다. 어떤 검사는 전수, 어떤 평가는 표본으로 확인할지도 구분한다.

기준을 정할 때 출발 수준·기대 효과·측정 기간·분모·오류 비용을 기록한다. 측정할 수 없는 결과는 좋은 값으로 채우지 않고 근거를 확보할 계획이나 착수 보류 이유로 남긴다.

3. AP-V1: 두 방법 모두 스무 건을 안내한다

아래는 설명용 예측 대조표다. 같은 100건에서 뒤에 확인한 실제 불참은 10건이고, 각 방법은 당시 정보로 20건을 골랐다고 가정한다. 연락 허용·시점·대상은 동일하다.

M은 선택한 스무 건 중 실제 불참이 8건으로 B의 4건보다 많다. 이것은 안내 대상을 예측상 더 많이 포착한 비교이지 8건의 불참을 막았다는 결과가 아니다. 안내받아도 참석할 수 없는 이유가 있을 수 있으며, 실제 행동의 효과는 별도 근거가 필요하다.

선택 수를 80으로 늘려 불참을 더 많이 찾은 결과를 스무 건 정책과 바로 비교하지 않는다. 처리 한도는 계산 뒤 붙이는 장식이 아니라 기획한 결정의 제약이다.

조건부 편익을 계산하고 가정을 드러낸다

AP-V1에 다음 가정을 계산을 위해서만 추가한다. 선택한 실제 불참 중 안내로 막는 비율을 두 방법에서 똑같이 q=0.5, 한 건 방지의 편익을 20 비용단위, 안내 한 건의 비용을 1, M에만 드는 추가 분석 비용을 배치당 30으로 둔다. 독립·동일 효과와 비용이 실제로 확인된 것은 아니다.

B 순편익 = 4 × 0.5 × 20 − 20 × 1 = 20
M 순편익 = 8 × 0.5 × 20 − 20 × 1 − 30 = 30
M의 B 대비 추가 편익 = 30 − 20 = 10 비용단위

이것은 동일한 가정을 넣은 기대 계산이지 실제 이익·효과의 추정치가 아니다. 안내가 영향을 주지 않으면 q가 달라지고, 특정 대상의 부담이나 고정 개발비·운영비를 더하면 결론도 바뀐다. 고려하지 않은 비용을 0으로 확인한 것처럼 쓰지 않는다.

가정을 바꾸면 선택이 뒤집히는 경계

앞 계산에서 공통 q만 바꾸면 추가 편익은 (8−4)×q×20−30 = 80q−30이다. 따라서 q=0.375에서 같고, q가 그보다 클 때만 이 식의 추가 편익이 양수다. q=0.25이면 −10, q=0.5이면 +10이다.

임계값 0.375는 이 가상 비용·포착 건수에서 도출되며 모든 분석과제의 채택 기준이 아니다. B와 M의 대상이 달라 안내 반응 비율도 다르다면 같은 q라는 가정을 풀고 각 반응·비용을 따로 계산해야 한다.

서로 다른 반응 비율의 손익 경계를 구해 보기

같은 포착 건수·비용에서 B의 순편익은 80q_B−20, M은 160q_M−50이다. 따라서 추가 편익은 160q_M−80q_B−30이고, 양수가 되려면 q_M>0.5q_B+0.1875여야 한다. 등호일 때는 편익이 같다. 앞의 공통 q 식은 이 식에 q_B=q_M=q를 대입한 특별한 경우다.

아직 효과를 모르므로 기획에서 q_B=0.4~0.6, q_M=0.35~0.55를 가능한 가정으로 비교한다고 하자. 두 범위의 모든 조합을 계산 후보로 두면 가장 작은 추가 편익은 160×0.35−80×0.6−30=−22, 가장 큰 값은 160×0.55−80×0.4−30=26이다. 양수와 음수가 모두 가능하므로 한 점의 좋은 값만으로 M이 항상 낫다고 할 수 없다. 이 범위는 효과를 측정해 얻은 신뢰구간이나 발생 확률이 아니라 후속 확인의 중요도를 살피기 위한 가정이다. 두 비율 사이에 제약이 있다면 가능한 조합부터 다시 정한다.

기획자는 좋은 한 점만 보고하지 않고 어떤 입력이 바뀌면 결론이 달라지는지 알려 준다. 효과를 확인할 자료가 없다면 이 표를 승인 근거가 아니라 다음 확인의 우선순위를 정하는 자료로 사용한다.

독립 변형: 포착 건수·안내 건수·비용은 그대로이고 B가 선택한 대상의 방지 비율은 0.5, M이 선택한 대상의 방지 비율은 0.25라고 각각 가정한다. B와 M의 순편익 및 M의 추가 편익을 다시 계산한다. 앞의 80q−30을 그대로 쓸 수 있는지도 판단한다.

예측 대조와 업무 효과 검증을 분리한다

인과 효과를 확인하는 통계적 설계는 담당 절에서 상세히 다룬다. 여기서는 그 근거가 필요하다는 사실을 기획에 넣고, 단순 전후 차이만으로 모델 덕분이라고 결정하지 않는다. 계절·일정·모집 구성·안내 방식이 함께 바뀌면 영향을 분리할 수 없기 때문이다.

착수·축소·보류를 선택할 조건

AP-LIB는 목표·결정권자·대상·출력 마감과 자료 접근·품질 확인이 있어야 후보 분석을 시작한다. 09:00 이전 입력 확보가 불가능하면 출력 마감 또는 과제 자체를 재검토한다. 허용되지 않은 자료를 써서 성능을 높이는 안은 선택하지 않는다.

일부 원천만 준비되었다면 검증된 범위로 축소하는 안과 전체 확인까지 보류하는 안의 영향을 비교한다. 사업 일정이 촉박하다는 이유로 미확인을 통과로 바꾸지 않는다. 필요한 추가 수집·담당·확인 기준이 명확해야 보류도 다음 작업으로 이어진다.

착수는 실제 운영 승인과 다르다. 탐색에서 확인한 사실로 계획을 갱신하고, 최종 적용에는 독립 평가·사용 책임·보호 조건·변경과 중단 경로의 증거를 다시 확인한다.

과제 정의서를 결과 사용까지 연결한다

정의서에는 배경과 가설, 의사결정자·행동·시점, 대상·관측 단위, 입력·정답의 기간과 가능성, 기준선, 분석·업무·보호 지표, 자원·역할, 단계별 산출물, 착수·중단·적용 조건을 적는다.

각 항목에서 확정 사실·계산 가정·미확인을 구별한다. AP-V1의 q는 가정이므로 ‘50% 개선 확인’이라고 쓰지 않고, 효과를 확인할 비교 자료와 책임을 후속 확인으로 남긴다. 결과 전달 형식도 점수 파일 하나가 아니라 담당자가 해석할 설명·예외·마감과 연결한다.

이 정의서는 매번 새 문서로 과거 결정을 숨기는 것이 아니라 변경 이유와 적용 판본을 남기는 기준이다. 이전 질문과 다른 목표가 되었다면 같은 과제의 성능 추세로 섞지 않는다.

적용 뒤 새로운 데이터가 생기는 경로도 기획한다

안내 정책을 적용하면 연락받는 대상과 결과가 달라질 수 있다. 그 결과만 다시 학습하면 기존에는 잘 보이지 않았던 선택 효과가 기록에 들어온다. 운영에서 누가 어떤 정책으로 어떤 행동을 받았는지와 뒤의 결과를 연결해 해석해야 한다.

업무 담당자는 실제 사용·부담을, 분석 담당자는 입력·모델·평가의 판본을, 운영 담당자는 시간·누락·장애를 확인한다. 무엇이 바뀌었을 때 조사·제한·재평가할지 미리 정하면 운영 피드백이 다음 기획으로 돌아간다.

이번 절에서 실제 효과·성능을 측정한 적은 없다. 이후 탐색·모델링·검증 단계는 이러한 질문과 경계를 유지하면서 근거를 추가하는 과정이다.

AP-LIB 기획 결론의 작성 예

AP-LIB는 허용된 신청 건 중 배치당 최대 20건의 안내 우선순위를 09:00 이전에 제공하는 과제다. 자동 취소는 범위 밖이다. 기존 규칙 B와 같은 조건에서 후보 M을 비교하고, 당시 이용 가능한 입력과 완결된 정답을 확인한다. AP-V1의 계산은 q=0.5에서 추가 편익 10이지만 q=0.375가 손익 경계라는 가상 분석이다. 실제 안내 효과·접근 조건·보호 조건이 미확인인 동안 운영 승인은 보류하며 담당별 확인을 기획한다.

계획의 끝을 ‘AI 도입’으로 쓰지 않고 행동·기준·자료·미확인으로 적으면 다음 담당자가 무엇을 해야 하는지 알 수 있다. 과제의 성공은 파일 납품과 업무 성과를 구별할 때 평가할 수 있다.

공식 범위와 답안의 연결

분석 생명주기의 공통 지도에서 기획은 의사결정 문제·성과·데이터 가능성·역할·자원과 검증·중단 조건을 연결한다. 본 절은 단계 간 입력·출력·되먹임을 설명하고 착수부터 적용의 판단 기준을 제시한다. 탐색·모델링·해석의 세부 실행과 실제 성과 검증은 후속 담당 절의 증거와 함께 완성한다.

4. 자체 10점 문제

분석기획에서 업무 목표·분석 목표·성과 기준을 구별하고 기준선과 데이터 이용 가능 시점이 필요한 이유를 설명하시오.

실제 기출이 아닌 자체 작성 문제다. 기법 목록보다 결정·정보·비교 조건과 지표의 의미를 연결한다.

5. 자체 25점 문제

강좌 불참을 줄이기 위해 담당자가 최대 20건을 안내하려 한다. 분석 생명주기와 과제 기획을 제시하고, AP-T1의 정보 경계 및 AP-V1의 조건부 추가 편익·민감도를 해석하여 착수·검증·운영 승인 조건을 설계하시오.

실제 기출이 아닌 자체 작성 문제다. 수치 계산의 가정과 실제로 확보한 증거를 분리하고, 분석의 성공과 운영 승인을 같은 것으로 쓰지 않는다.

복습 경로. 목표가 모델 지표로 바뀌었다면 업무·분석·산출물의 구분, 과거 사건을 곧바로 입력에 넣었다면 AP-T1 이용 가능 시점, 추가 편익을 실측 효과로 썼다면 민감도와 손익 경계를 다시 설명한다.

다시 읽을 핵심

분석의 시작은 모델 이름이 아니라 바꿀 결정이다. 업무 목표·출력·비교대상·시점·성과·위험을 정한 뒤 자료 가능성을 확인한다. 계산 가정과 실측을 나누고, 적용 뒤 실제 행동과 결과를 다음 기획으로 돌려 생명주기를 닫는다.

출처와 검증의 경계

[AP-S1] Google for Developers. Framing an ML problem. 판본: official live guide, accessed 2026-09-05. 발행일: 원문에서 최초 발행일 미확정. 확인: 2026-09-05. 위치: Define the ideal outcome; Identify the output; Proxy labels; Define the success metrics 원문: https://developers.google.com/machine-learning/problem-framing/ml-framing?hl=en

[AP-S2] Microsoft Learn. Plan for AI adoption. 판본: Named primary HTML passages observed 2026-09-06. 발행일: 원문에서 최초 발행일 미확정. 확인: 2026-09-06. 위치: Assess AI skills; Access AI resources; AI adoption plan 원문: https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai/plan

[AP-S3] Google for Developers. Overview: Problem Framing. 판본: Named primary HTML passages observed 2026-09-06. 발행일: 원문에서 최초 발행일 미확정. 확인: 2026-09-06. 위치: Overview; two steps of ML problem framing; technical feasibility and goals 원문: https://developers.google.com/machine-learning/problem-framing/problem-framing?hl=en

주장의 정확한 원문 위치는 명시 입력에도 연결했다. 수치·대상·의사결정·문제·답안·도식은 집필자의 가상 사례이며 원문 실험이나 참가자 관찰의 재현이 아니다. 보존 원문을 공개 재배포하지 않으며 사람 기술·권리·독자 검수와 최종 발행 승인은 남아 있다.

연습: 효과·비용·마감을 바꾸어 착수 근거를 확인하기

1. AP-V1의 포착 건수·안내 건수·비용은 그대로이며 q_B=0.5다. q_M=0.4,0.4375,0.45일 때 B·M 순편익과 M의 추가 편익을 구하라. 어느 가정에서 추가 편익이 양수인지, 이 계산만으로 실제 운영을 승인할 수 있는지도 설명하라.
2. 공통 q=0.5 가정의 AP-V1 배치를 b번 반복한다고 하자. 배치마다 두 방법의 대상·포착 건수·효과·비용은 같고 대상은 서로 겹치지 않는다. 기존의 M 추가 분석 비용 30은 여전히 배치마다 들며, 이번에는 M에만 일회 준비 비용 50을 더한다. 다른 비용·할인·효과 변화는 이 계산에 넣지 않는다. 누적 B·M 순편익과 추가 편익 식, b=4·5·6의 값, 누적 안내 건수를 구하라. 일회 비용을 매 배치 다시 빼거나 빼지 않는 계산은 왜 틀릴까?
3. 같은 날 09:00 이전에 이용 가능한 입력과 우선순위 출력이 필요하다. 필요한 입력·최종 출력은 아래가 전부이며 나머지 품질 조건은 충족했다. 허용 여부가 미확인이면 안내 대상에 넣지 않는 AP-LIB 조건을 적용한다. 어느 신청을 제때 제공할 안내 대상에 넣을 수 있는지와 보류 이유를 판단하라. 최대 20건이라는 이유로 나머지 자리를 채워도 될까?