프로토타입·사용성 평가·개선
도서관 강좌 신청 화면의 버튼을 누른 사람이 ‘끝났다’고 말한다. 그러나 화면은 제출 전 검토 상태이고 실제 신청 결과는 없다. 조사자가 옆에서 제출 위치를 알려 주어 마쳤다면 처음부터 혼자 성공한 것과도 다르다.
1. 버튼을 눌렀다고 과업을 마친 것은 아니다
도서관 강좌 신청 화면의 버튼을 누른 사람이 ‘끝났다’고 말한다. 그러나 화면은 제출 전 검토 상태이고 실제 신청 결과는 없다. 조사자가 옆에서 제출 위치를 알려 주어 마쳤다면 처음부터 혼자 성공한 것과도 다르다.
평가의 출발점은 ‘사람들이 좋아했다’는 반응이 아니라 누가 어떤 조건에서 무엇을 시도했고 실제로 어디까지 해냈는지 확인하는 것이다. 이 절의 UT-LIB와 기록은 전부 설명용 가상 자료다. 앞 절의 UR-M1 조사와 같은 참가자를 재측정한 것이 아니며 실제 연구를 실시하지 않았다.
앞 절에서 가져올 판단
조사 계획과 성공조건 사용자 조사·문제정의·UX 계획에서는 관찰 사실과 해석·미확인을 나누고 경험 목표를 조사 질문·방법·기준에 연결했다. 이번에는 그 계획을 프로토타입과 과업, 기록·판정·개선의 형태로 구체화한다.
앞 절에서 가져올 판단
정보구조와 확정 상태 콘셉트·정보구조·상호작용의 C01~C05와 UR-S1은 탐색·조건 확인·검토·제출·확정의 의미를 나누었다. 평가에서도 버튼 클릭이나 검토 화면 도달을 실제 신청 확정과 같은 결과로 세지 않는다.
앞 절에서 가져올 판단
공통 행동과 접근성 UX 아키텍처·디자인시스템·접근성은 같은 요청의 상태와 접근성·공통 요소의 행동 계약을 여러 화면에서 유지했다. 일부 자동 검사 통과와 전체 접근성 적합·실제 사용자 검증은 서로 다른 증거였다.
정확한 정의와 이 절의 경계
사용성 평가는 정한 사용자·과업·맥락에서 설계나 제품을 사용한 행동과 결과를 관찰·측정하고, 문제의 원인·영향·개선 및 재검증을 판단하는 활동이다.
앞 세 절에서 정한 조사 질문·정보구조·상호작용·접근성 조건을 프로토타입과 과업으로 확인한다. 여기서는 관찰 단위와 판정을 고정하고, 발견한 문제를 수정 가설·재검증으로 잇는 과정을 배운다.
시험 대상은 사람의 능력이 아니라 설계다
사람이 화면에서 멈췄을 때 ‘사용자가 이해력이 부족하다’고 바로 결론 내리지 않는다. 필요한 정보가 보이지 않거나, 같은 말이 다른 행동을 뜻하거나, 조작 방식이 맞지 않는 것일 수 있다. 과업·환경·참가자의 경험과 설계의 상호작용을 살펴야 한다.
사용성 평가에서는 목표를 제대로 달성했는지, 시간이 얼마나 걸렸고 어떤 오류나 도움이 있었는지, 경험을 어떻게 받아들였는지를 구별한다. 성공·자원·주관적인 반응은 같은 값이 아니다. 높은 만족도만으로 과업 정확성을 입증하거나 빠른 오작동을 좋은 결과로 세지 않는다.
GOV.UK의 진행자 동반 시험 안내도 서비스의 특정 과업을 시도하는 행동을 관찰하고 참가자를 심사하는 것이 아님을 설명하도록 안내한다. [UT-S2] 이 절은 그 방법을 실제 참가자에게 수행했다는 보고가 아니다.
설계에서 다시 설계로 돌아오는 근거
| 추적하는 연결 | 다음 판단 |
|---|---|
| 경험 목표·사용자 맥락 → 검증 질문·모형 범위 | 어떤 설계 질문을 어디까지 시험할 것인가 |
| 검증 질문·모형 범위 → 과업·판정 기준 | 어떤 결과를 정확한 완료로 기록할 것인가 |
| 과업·판정 기준 → 행동·결과·지원·미측정 | 네 결과를 분리하여 실제 관찰을 남긴다 |
| 행동·결과·지원·미측정 → 영향·원인 가설 | 관찰과 해석을 구별한다 |
| 영향·원인 가설 → 개선·재검증 → 경험 목표·사용자 맥락 | 수정 뒤 같은 조건에서 증거를 다시 얻는다 |
관찰 기록과 해석을 나누고, 수정한 판본에서 같은 질문을 다시 확인한다. 이 표는 자체 방법 요약이며 실제 참가자 연구를 수행했다는 증거가 아니다.
2. 질문에 맞는 프로토타입과 과업을 만든다
어떤 부분을 흉내 냈고 무엇은 아직 없는가
프로토타입은 설계 가설을 탐색·전달·검증하기 위해 제품이나 서비스의 일부 모습을 선택적으로 구현한 모형이다. 종이 화면도 될 수 있고, 연결된 화면이나 실행 가능한 코드일 수도 있다. 구현 수준은 만들 수 있는 것보다 검증할 질문으로 정한다. [UT-S1]
‘제출이라는 말이 이해되는가’를 보는 데 실제 결제·개인정보 저장을 붙일 필요는 없다. 반대로 키보드 초점·보조기기 인식·응답 유실 뒤 상태를 시험하면서 정지 이미지 하나만 제공하면 필요한 행동을 관찰할 수 없다. 가상 데이터와 모의 응답을 썼다면 그 범위를 표시한다.
화면이 사실적이어도 보안·성능·운영 처리가 구현되었다고 할 수 없다. 코드 프로토타입을 실제 서비스와 혼동하게 공개하거나 그대로 운영 코드로 사용하지 않는다. [UT-S1]
충실도는 하나의 척도로만 판단하지 않는다
프로토타입 충실도는 모형이 평가에 필요한 모습·내용·행동·데이터를 실제 설계와 어느 정도 가깝게 표현하는가의 정도다. 이 절에서는 다음 네 측면을 나누어 기록한다. 모든 산업의 공통 등급표라고 주장하는 것은 아니다.
| 측면 | 확인할 질문 | UT-LIB의 선택 예 |
|---|---|---|
| 시각 | 글자·배치·대비를 판단할 수 있는가 | 실제 크기와 긴 강좌명을 넣음 |
| 내용 | 조건·오류·결과가 의미 있게 존재하는가 | 검토·확정·미확인 문구를 따로 준비 |
| 행동 | 입력·수정·초점·돌아가기가 가능한가 | 상태 전환과 키보드 경로를 구현 |
| 데이터 | 실제 저장·동시성·응답이 있는가 | 모의 결과임을 기록; 운영 검증 제외 |
한 측면이 높아도 다른 측면이 비어 있을 수 있다. 마지막 행을 구현하지 않은 시험에서 실제 신청이 중복되지 않았다고 결론 내리지 않는다. 같은 결과 화면의 뜻을 이해했는지와 서버 처리의 정확성은 다른 질문이다.
UT-P1: 물을 질문과 관찰할 결과를 먼저 연결한다
| 질문 | 준비할 장면 | 관찰할 결과 | 남는 미확인 |
|---|---|---|---|
| 검토와 제출을 구별하는가 | REVIEW에서 시작하는 과업 | 끝났다고 생각한 시점·이유 | 실제 서버 확정 |
| 조건에 맞는 강좌를 찾는가 | C01~C03에 유사한 선택지 | 최종 선택과 조건 대조 | 모든 이용자 집단의 성공률 |
| 시간초과 뒤 다음 행동을 아는가 | R1의 UNKNOWN 모의 응답 | 다시 신청 대신 결과 확인 여부 | 실제 네트워크·중복 통제 |
| 키보드로 수정·제출이 가능한가 | 동작하는 입력·대화상자 | 초점·조작·안내의 경로 | 모든 보조기기 조합의 적합 |
이 표는 아직 관찰 결과가 아니라 조사 설계다. 접근성 자동 도구나 작동 모형 하나로 전체 적합을 결정할 수 없으며 사람 판단이 필요한 부분을 남긴다. [UT-S5]
과업 문장에 정답 위치를 넣지 않는다
평가 과업은 사용자가 달성할 목적과 필요한 조건을 주고, 그 목적을 이루는 행동·결과를 관찰하기 위한 시도 단위다. ‘오른쪽 아래 파란 제출 버튼을 누르세요’라고 안내하면 버튼을 스스로 찾는지 평가할 수 없다.
UT-LIB에서는 ‘토요일 오전에 참여할 수 있는 강좌를 찾아 신청하고, 신청이 끝났는지와 다음에 할 일을 확인해 주세요’처럼 목적·조건을 준다. 사용자의 말을 관찰하되 특정 경로를 힌트로 주지 않는다. 과업은 실제로 할 법해야 하고 필요한 초기 자료·계정·출발 상태도 같아야 비교가 가능하다. 중립적인 목표와 지시를 사용하는 방법은 GOV.UK 안내에 근거한다. [UT-S2]
성공의 기준도 미리 정한다. 지정한 조건에 맞는 강좌를 고르고, 의도한 요청의 결과를 올바르게 이해하며 다음 행동을 설명하는 것으로 한다. 다른 강좌의 성공 화면을 보거나 REVIEW를 완료로 오인하면 클릭을 했더라도 이 과업의 성공은 아니다.
계획·예행·관찰의 조건을 고정한다
대상 사용자와 포함하지 못한 집단, 검증 질문, 모형 판본, 과업·초기 상태, 성공·도움·중단·미측정의 기준, 기록 범위를 적는다. 의사소통·기기·보조기기의 필요를 반영하고 참여·기록 범위에 관한 설명과 동의를 준비한다. 실제 개인정보가 필요하지 않은 모형에는 안전한 가상 값을 쓴다.
예행은 본 평가에서 과업 문장이 모순되거나 모형이 열리지 않는 문제를 줄이기 위한 것이다. 예행 참가자의 결과를 본 평가 수치에 몰래 합치지 않는다. UT-P1에서 모의 UNKNOWN이 항상 발생하도록 만든 조건도 실제 장애율 관찰로 해석하지 않는다.
수행 중 설명·개입이 달라지면 그대로 기록한다. 연구 질문에 맞는 준비·중립 지시·관찰 및 개인의 보조기기 환경을 고려하는 절차는 GOV.UK 안내를 참조한다. [UT-S2] 이 문단의 동의·개인정보 처리를 실제로 수행했다고 기록한 것은 아니다.
문제를 찾는 평가와 안정된 지표 비교를 구별한다
형성적 평가는 설계를 개선할 문제와 원인을 발견하는 데 초점을 둔 평가다. 총괄적 평가는 정한 조건과 기준에서 설계의 성과를 종합해 판단하는 평가다. 이 절에서는 목적을 구별하기 위한 용어로 사용하며 특정 표본 수를 이 이름만으로 정하지 않는다.
형성적 관찰에서는 막힌 이유를 묻거나 회복을 돕고 다음 문제를 배울 수 있다. 반면 판본 간 성공률·시간을 비교하면서 한 집단에만 길을 알려 주면 같은 조건의 비교가 아니다. 중간에 과업·모형·도움 규칙을 바꿨으면 바뀐 전후를 나누어 기록한다.
생각을 소리 내어 말하는 관찰은 이해 과정을 알아보는 데 도움이 되지만 시간 지표의 해석을 바꿀 수 있다. 그러한 세션의 시간과 조용히 수행한 시간을 같은 성능 수치로 직접 비교하지 않는다. [UT-S4] 검산 예의 시간도 실제 연구나 제품 속도의 측정치가 아니다.
3. 기록의 단위와 분모를 끝까지 유지한다
성공·도움·실패·미측정을 별도 상태로 기록한다
UT-M1에서 독립 성공은 정한 과업을 진행자의 경로·정답 도움 없이 정확히 마친 경우다. 도움을 받은 완료는 지원 완료로, 관찰된 미달성은 실패로, 기술적인 문제로 결과를 관찰하지 못했으면 미측정으로 둔다. 안전을 위해 필요한 지원을 억지로 막는 것이 목적은 아니다. 개입을 기록하고 그 결과를 다른 상태로 집계하는 것이다.
일부 진행이 있었음을 기록할 수 있지만 사전에 정하지 않은 가중치로 부분 성공을 더해 수치를 높이지 않는다. 성공의 조작적 기준과 부분·실패 구분을 명확히 하는 것이 지표의 전제다. [UT-S4]
과업 중 모형이 꺼졌다면 사용자가 해당 목표를 못했다고 확인한 것은 아니다. 그렇다고 성공으로 세거나 표에서 조용히 지워서도 안 된다. 무엇이 측정되지 않았고 어떤 분모로 비율을 냈는지 남긴다.
화살표의 방향과 조건을 따라 연결을 읽습니다.
서로 다른 관찰 결과의 분류다. 미측정을 실패나 0초로 바꾸지 않는다. 전체 분모 8과 미측정을 제외한 분모 7을 구별하며, 지원 완료를 독립 성공에 넣지 않는다.
UT-M1: 여덟 명에게 한 과업씩 배정한 결과를 가상 집계한다
UT-M1은 앞 절 UR-M1과 별개의 합성 자료다. 모형 판본 P1에서 U1~U8에게 같은 과업을 한 번씩 배정했다. 아래 시간은 독립 성공 사례의 측정 경계를 설명하기 위한 가상 초 단위 값이다. 다른 상태의 시간을 0초로 채우지 않는다.
| 기록 | 판정 | 독립 성공 시간(초) |
|---|---|---|
| U1 | independent | 40 |
| U2 | independent | 50 |
| U3 | independent | 70 |
| U4 | independent | 80 |
| U5 | assisted | 미대상 |
| U6 | assisted | 미대상 |
| U7 | failure | 미대상 |
| U8 | unmeasured | 미측정 |
전체 배정 8건을 기준으로 확인된 독립 성공은 4/8=50%다. 실제 결과를 관찰한 7건만의 조건부 비율은 4/7≈57.14%이며 미측정 한 건을 제외한 분모라고 명시한다. 어느 쪽도 모형을 이용할 모든 사람의 참 성공률을 확정한 값은 아니다.
도움을 포함해 완료한 것은 6건이므로 전체 배정 대비 6/8=75%다. 이것을 독립 성공률이라고 이름 붙이지 않는다. 미측정 원인을 해결하고 추가로 관찰할 필요와 기존 자료의 한계를 함께 남긴다.
UT-T1: 성공한 사람의 시간은 전체 경험의 시간이 아니다
UT-M1의 독립 성공 네 건의 시간은 정렬하면 40·50·70·80초다. 가운데 두 값의 평균을 쓰는 중앙값 규약에서는 (50+70)/2=60초다. 이 수치는 독립 성공 네 건에 조건부인 시간 요약이다.
실패·도움·미측정을 빠른 성공으로 바꾸거나 0초를 넣지 않는다. 전반적인 효율을 판단하려면 성공 여부와 지원·오류·중단을 함께 보고 시간의 대상과 시작·종료를 명시한다. 성공자가 적어졌는데 남은 쉬운 성공의 시간만 줄어들었다면 전체 경험이 좋아졌다고 단정할 수 없다.
한 사람의 반복 시도가 여러 개면 연습 효과도 고려한다. 여섯 사람이 두 과업씩 했다면 기록은 12개지만 독립된 참가자가 12명인 것은 아니다. 사람·과업·시도·모형 판본과 시행 순서를 함께 보관한다.
UT-I1: 관찰 횟수와 영향을 받은 사람 수를 구별한다
가상 문제 I1 ‘검토를 완료로 오인’이 U2에게 두 번, U5에게 한 번 기록되었다고 하자. 관찰은 3회지만 영향을 받은 사람은 2명이다. U2의 같은 재생 기록을 다시 붙인 중복 메모라면 새 관찰로 세지 않는다.
이 문제를 관찰할 기회가 있었던 사람이 7명이었다는 별도 조건에서는 영향을 받은 사람의 비율이 2/7이다. 전체 배정 8명을 분모로 삼은 2/8과 뜻이 다르다. 다른 문제에서 노출 기회가 달라지면 자동으로 같은 분모를 쓰지 않는다.
빈도는 우선순위의 한 근거이지 전부가 아니다. 한 번만 보인 키보드 차단이 중요한 과업 전체를 막거나 필수 조건을 위반했다면 낮은 빈도로 덮지 않는다. 이 사례는 관찰 방법을 가르치는 가상 기록이며 실제 접근성 위반을 발견했다고 주장하지 않는다.
관찰·해석·개선 가설을 다른 칸에 쓴다
| 층위 | UT-LIB의 가상 예 | 확인할 근거 |
|---|---|---|
| 관찰 | REVIEW에서 완료라고 말하고 더 진행하지 않음 | 상태·행동·시점·발언 기록 |
| 해석 | 검토 화면이 완료처럼 보일 가능성 | 다른 사례·반례·질문 대조 |
| 개선 가설 | 검토와 확정 문구·다음 행동을 구분하면 혼동이 줄어듦 | 수정안과 후속 관찰 |
| 판단 | 아직 개선 효과는 미확인 | 정한 재검증 조건의 결과 |
GOV.UK 분석 안내는 직접 보고 들은 기록을 해석과 구별하고, 기록을 묶어 발견 사항과 다음 행동을 정리한다. [UT-S3] 이 과정에서 원래 기록의 위치를 유지하면 동료가 해석을 다시 확인할 수 있다.
‘버튼이 작아서 실패했다’는 것은 원인을 확인하지 않았다면 해석이다. 진짜 문제는 문구·권한·과업 지시일 수도 있다. 의견이 갈리는 지점은 삭제하기보다 반례와 추가 질문을 남긴다.
문제의 심각도는 영향·회복·필수 조건으로 설명한다
사용성 문제의 심각도는 그 문제가 과업 달성·회복·사용자 피해에 미치는 영향의 크기를 평가한 정도다. 한 가지 점수 이름보다 어떤 사용자가 어떤 상황에서 얼마나 막히며 스스로 회복할 수 있는지를 적는 것이 중요하다.
UT-LIB에서는 잘못된 강좌 확정, 미확인을 완료로 오인, 키보드로 과업을 끝낼 수 없음 등을 단순한 여백 취향과 구별한다. 같은 사용자의 반복 피해, 발생 기회, 회복에 필요한 도움, 필수 조건의 위반을 같이 검토한다. 실제 피해와 발생률은 이 가상 사례에서 측정하지 않았다.
쉬운 수정만 먼저 하면 중요한 문제가 남을 수 있다. 담당·조치·재검증과 함께 순서를 정하고, 근거가 부족한 원인을 확정 진단처럼 쓰지 않는다.
수정 후 다시 볼 조건을 미리 정한다
I1의 개선 기록에는 영향을 받는 사용자·과업·상태, 원래 증거, 원인 가설, 바꾼 문구·배치·행동, 모형 판본 P2와 재검증 조건을 남긴다. ‘문구 수정함’은 구현 사실이고 ‘사용자가 더 잘 이해함’은 새로운 증거가 필요한 주장이다.
P2에서 같은 조건의 과업을 수행하여 REVIEW와 CONFIRMED를 구별하는지, UNKNOWN에서는 R1의 결과 확인을 선택하는지 본다. 정상 경로뿐 아니라 중단·수정·오류·키보드·보조기기 사용의 필요한 범위도 함께 본다. 새 변경이 다른 문제를 만든 경우 새 기록으로 연결한다.
GOV.UK의 분석에서 다음 모형 변경과 후속 연구를 행동으로 연결하는 방식을 참조한다. [UT-S3] 이번 교재에는 실제 P2 관찰 결과가 없으므로 I1의 상태는 ‘수정 가설·재검증 대기’다. 승인자를 적는 것과 승인을 받았다는 것은 다르다.
판본 A와 B를 비교할 때도 결과를 만든 조건을 묻는다
같은 사람이 A를 써 본 뒤 B를 쓰면 배운 경로 때문에 B가 쉬워 보일 수 있다. 서로 다른 사람에게 다른 과업·지원을 제공했다면 판본의 차이만으로 효과를 설명하기 어렵다. 비교 목적에 맞게 대상·과업·환경·지원·순서를 정하고 관찰 단위를 유지한다.
이 절은 실제 무작위 실험이나 A/B 검정을 수행하지 않는다. 작은 질적 관찰에서 문제를 발견한 것과 모집단의 차이·인과 효과를 수치로 확정한 것을 나눈다. 결과가 애매하면 불확실성을 남기고 다음 판단에 필요한 자료를 정한다.
반복 평가에서 수치가 올라가도 기준을 느슨하게 바꾸거나 도움을 성공으로 합쳤다면 개선 증거가 아니다. 같은 지표 이름이 같은 정의와 범위를 가리키는지 먼저 확인한다.
빨리 배우는 모형과 실제 환경의 확인을 연결한다
| 선택 | 얻을 수 있는 것 | 그것만으로 확인할 수 없는 것 |
|---|---|---|
| 종이·낮은 구현 모형 | 구조·명칭 대안의 빠른 탐색 | 실제 키보드·보조기기·처리 성능 |
| 상호작용 모형 | 경로·상태·회복의 관찰 | 실제 저장·권한·동시성 |
| 실행 코드의 제한된 시험 | 지원 환경의 실제 행동 | 모든 사용자·과업·기술 조합 |
| 운영 관찰 | 실제 사용 조건의 사건과 변화 | 관찰되지 않은 원인·인과 효과 자동 확정 |
값비싼 모형이 항상 더 좋은 출발점은 아니다. 가장 위험한 질문에 답할 수 있는 표현을 만들고, 그 표현의 한계를 다음 검증으로 이어 가는 것이 선택 기준이다. 학습 편의를 위해 가상 결과를 썼으면 사용자 조사 결과나 운영 승인으로 포장하지 않는다.
완료 보고 대신 근거와 남은 판단을 읽는다
UT-M1은 합성 기록이며 실제 참가자 연구가 아니다. 전체 배정 8건 중 독립 성공 4건, 지원 완료 2건, 실패 1건, 미측정 1건이다. 독립 성공 비율은 전체 기준 50%, 측정된 7건 조건부로 약 57.14%이며 독립 성공 시간 중앙값은 60초다. I1은 3회·2명의 관찰 예로 묶고 해석과 개선 가설을 구분한다. P2에서 같은 상태 의미와 필요한 입력·키보드·결과 확인을 재검증하기 전에는 개선 효과나 전체 접근성 적합을 승인하지 않는다.
이렇게 적으면 수치를 낮춰 보이게 만드는 것이 아니라 수치가 무엇을 뜻하는지 드러난다. 설계 목표→구현 범위→과업→증거→개선→재검증을 추적할 수 있을 때 앞 세 절의 계획과 구조가 실제 학습으로 이어진다.
공식 범위와 답안의 연결
조사 계획의 검증 조사 계획의 질문과 관찰할 행동을 연결한다. 대상·과업·지원 조건과 성공 기준을 정한 뒤, 예상과 다른 관찰도 원자료와 함께 남긴다.
공식 범위와 답안의 연결
정보구조·상호작용의 검증 정보구조와 상호작용의 의도를 실제 과업에서 확인한다. 경로 도달과 올바른 확정을 구별하고, 발견한 혼동을 문구·배치·행동의 수정 가설로 옮긴다.
공식 범위와 답안의 연결
공통 계약·접근성의 검증 공통 요소와 채널의 계약을 실제 사용 맥락에서 확인한다. 키보드·보조기기·미확인 결과의 회복 조건을 검증하고, 바뀐 판본의 재관찰 전에는 개선 효과를 보고하지 않는다.
독립 연습 — 수정 완료를 개선 효과로 바꾸지 않는 보고
다음은 본문 사례의 조건을 적용하거나 바꾼 자체 연습이다. 먼저 판단과 근거를 적고 풀이를 펼친다.
UT-M1은 독립 성공 4 건, 지원 완료 2 건, 실패 1 건, 미측정 1 건이며 독립 성공 시간은 40·50·70·80 초다. 팀은 문구를 고쳐 P2를 만들었으나 P2에서 새 관찰은 하지 않았다.
- 전체 배정 기준 독립 성공률, 측정된 건에 조건부인 성공률, 시간 중앙값을 각각 보고하라.
- P2에 대해 지금 주장할 수 있는 것과 다음 검증에 남길 것을 두 문장으로 쓰라.
풀이와 오답 교정 보기
전체 기준은 4/8=50%, 측정된 7 건 조건부로는 4/7≈57.14%다. 독립 성공 시간 중앙값은 (50+70)/2=60 초이며 전체 8 건의 시간이 아니다. P2를 구현했다는 사실과 수정 가설을 남길 수 있지만 이해가 개선됐다는 효과는 아직 주장할 수 없다. 같은 과업·초기 상태·지원 및 필요한 접근성 조건에서 REVIEW/CONFIRMED 구별과 R1의 UNKNOWN 회복을 재관찰해야 한다.
미측정을 성공·실패로 확정했다면 결과 상태, 수정 사실을 효과로 썼다면 재검증 조건에 맞춰 보고서를 고친다.
4. 자체 10점 문제
프로토타입 기반 사용성 평가에서 과업·성공 기준·도움·미측정의 관계와 개선 후 재검증의 필요성을 설명하시오.
실제 기출이 아닌 자체 작성 문제다. 모형 제작 자체가 목적이 아니며 수치와 실제 증거·승인의 경계를 명확히 한다.
10점 풀이와 답안 구성 보기
10점 답안 목차
- 질문과 모형 범위
- 과업과 성공 정의
- 단위와 분모
- 개선과 재검증
10점 도식 대조표
| 답안 연결 | 주의할 증거 |
|---|---|
| 계획·설계 질문 → 모형 검증 범위 → 과업·판정 기준 | 질문에 맞는 관찰 조건을 먼저 고정 |
| 관찰·분모·해석 → 수정 가설 | UT-M1 네 결과와 분모를 분리 |
| 수정 가설 → 재검증·판단 | 수정 완료만으로 효과를 보고하지 않음 |
이 표의 결과 분류를 독립·지원·실패·미측정 그림과 대조한다. 같은 관찰을 네 결과 중 어디에 둘지 먼저 정하고, 각 분모와 재검증의 의미를 설명한다.
10점 모범답안
1. 질문과 모형 범위
조사 목적과 과업에 맞는 내용·행동·표현을 가진 모형을 선택한다. 시각적으로 사실적이어도 실제 저장·권한·접근성의 모든 동작이 구현되었다고 할 수 없으며 확인할 수 없는 범위를 명시한다.
2. 과업과 성공 정의
경로를 알려 주지 않는 목적·조건을 주고 정확한 결과와 도움의 기준을 미리 정한다. REVIEW를 실제 완료로 오인하거나 다른 강좌를 선택한 경우는 클릭 자체와 구별해 판정한다.
3. 단위와 분모
독립 성공·지원 완료·실패·미측정을 분리하고 배정 수와 실제 관찰 수를 함께 보고한다. 시간도 성공에 조건부인지 표시하고 같은 사람의 반복을 독립 참가자로 세지 않는다.
4. 개선과 재검증
관찰에서 해석·개선 가설을 나누고 영향·담당·새 판본·종료 기준을 기록한다. 수정 사실은 효과 증거가 아니므로 필요한 과업·기술 조건으로 다시 관찰한 뒤 판단한다.
5. 자체 25점 문제
도서관 신청 모형을 UT-M1의 8명에게 한 과업씩 배정했다. 독립 성공 4건의 시간은 40·50·70·80초, 지원 완료 2건·실패 1건·기술적 미측정 1건이다. UT-I1에서 같은 문제가 한 사람에게 두 번, 다른 사람에게 한 번 관찰되었다. 평가 설계, 단위별 수치 해석, 문제 분석·우선순위와 개선 후 재검증 방안을 제시하시오.
실제 기출이 아닌 자체 작성 문제다. 주어진 수치의 계산과 실제 수행한 사용자 연구를 구별한다. 반복 관찰을 참가자 수로 바꾸거나 지원 완료를 독립 성공으로 합치지 않는다.
25점 풀이와 답안 구성 보기
25점 답안 목차
- 평가 설계와 모형
- 일관된 과업과 기록
- 성공 분모
- 시간과 반복 단위
- 문제와 우선순위
- 수정·재검증·한계
25점 도식 대조표
| 관계 | 사례의 판정 |
|---|---|
| 질문·지원 환경 → 과업·P1 모형 → 독립/지원/실패/미측정 | 독립 4, 지원 2, 실패 1, 미측정 1을 구분 |
| 관찰과 해석 → 영향·원인 가설 → P2 변경 | 관찰 사실과 원인 가설을 분리 |
| P2 변경 → 같은 조건 재검증·회귀·미확인 | P2는 새 관찰이 없어 수정 가설·재검증 대기 |
이 표의 결과 분류를 독립·지원·실패·미측정 그림과 대조한다. 같은 관찰을 네 결과 중 어디에 둘지 먼저 정하고, 각 분모와 재검증의 의미를 설명한다.
25점 모범답안
1. 평가 설계와 모형
UR-LIB의 정보·상태 목표를 검증 질문에 연결하고 실제로 필요한 내용·행동·키보드 경로를 준비한다. 모의 데이터와 결과가 있는 범위를 밝히며 실제 운영 처리의 검증과 구별한다.
2. 일관된 과업과 기록
중립적 목적·조건과 초기 상태를 주고 성공·도움·중단·미측정을 미리 정한다. 참가자·과업·시도·모형·지원·시행 순서를 기록하고 필요한 보조기기와 안전한 자료 사용 조건을 준비한다.
3. 성공 분모
확인된 독립 성공은 전체 4/8=50%, 측정된 7건에 조건부로 4/7≈57.14%다. 지원을 포함한 전체 완료 6/8=75%는 독립 성공률이 아니다. 미측정을 실패나 성공으로 확정하거나 숨기지 않는다.
4. 시간과 반복 단위
독립 성공 네 건의 시간의 중앙값은 (50+70)/2=60초이며 전체 배정의 시간 평균이 아니다. I1은 관찰 3회·영향을 받은 사람 2명으로 구분하고 문제를 볼 기회가 있는 사람의 분모를 사용한다.
5. 문제와 우선순위
상태·행동·발언의 관찰과 원인 해석·수정 가설을 나눈다. 빈도뿐 아니라 과업 차단·잘못된 확정·회복·피해·필수 조건을 보며 드문 심각 문제를 횟수로 덮지 않는다.
6. 수정·재검증·한계
P2의 변경과 근거·담당·성공 조건을 남기고 같은 과업·정상·오류·미확인 및 필요한 접근성 조건을 재검증한다. 실제 관찰이 없는 이번 합성 기록에서 개선 효과·모집단 성공률·전체 적합을 승인하지 않는다.
다시 읽을 핵심
사용성 평가는 목적·과업·모형의 범위와 관찰 단위를 먼저 정하는 일이다. 성공·도움·실패·미측정을 분리하고 관찰→해석→개선 가설→재검증을 연결한다. 잘 동작하는 모형, 작은 표의 높은 수치, 수정 완료라는 기록 어느 하나도 전체 서비스의 효과·접근성·독립 승인을 대신하지 못한다.
출처와 검증의 경계
[UT-S1] UK Government Digital Service. Making prototypes. 판본: Named primary HTML passages observed 2026-09-06. 발행일: 2016-10-18. 확인: 2026-09-06. 위치: Types of prototypes; code prototypes; prototype code is not production code 원문: https://www.gov.uk/service-manual/design/making-prototypes
[UT-S2] GOV.UK Service Manual. Using moderated usability testing. 판본: Primary guide, last updated 2017-10-03. 발행일: 2017-02-21. 확인: 2026-09-06. 위치: Design the tasks; Run a session; Researching with assistive technologies 원문: https://www.gov.uk/service-manual/user-research/using-moderated-usability-testing
[UT-S3] UK Government Digital Service. Analyse a research session. 판본: Named primary HTML passages observed 2026-09-06. 발행일: 원문에서 최초 발행일 미확정. 확인: 2026-09-06. 위치: Extract observations; Determine findings; Decide actions 원문: https://www.gov.uk/service-manual/user-research/analyse-a-research-session
[UT-S4] Jakob Nielsen and Raluca Budiu / Nielsen Norman Group. Success Rate: The Simplest Usability Metric. 판본: Article originally published 2001-02-17; reviewed 2021-07-20. 발행일: 2001-02-17. 확인: 2026-09-06. 위치: Completion definition; partial success; quantitative measures and think-aloud limitations 원문: https://www.nngroup.com/articles/success-rate-the-simplest-usability-metric/
[UT-S5] W3C WAI. Selecting Web Accessibility Evaluation Tools. 판본: Named primary HTML passages observed 2026-09-06. 발행일: 원문에서 최초 발행일 미확정. 확인: 2026-09-06. 위치: Evaluation tools cannot determine accessibility; human judgment 원문: https://www.w3.org/WAI/test-evaluate/tools/selecting/
주장의 정확한 원문 위치는 명시 입력에도 연결했다. 수치·대상·의사결정·문제·답안·도식은 집필자의 가상 사례이며 원문 실험이나 참가자 관찰의 재현이 아니다. 보존 원문을 공개 재배포하지 않으며 사람 기술·권리·독자 검수와 최종 발행 승인은 남아 있다.