2022년 테스팅 사례 공유 - VR 0000 제품 성능효율성 테스팅

2022년 고품질 SW개발 컨설팅 및 테스팅 지원 사업 테스팅 사례 공유 합니다.

(재)전주정보문화산업진흥원의 SW품질역량센터에서는

2011년 부터 전라북도 ICT/SW기업을 대상으로 품질 향상을 위한 컨설팅 및 테스팅을 지원하고 있습니다.

본 테스팅 사례는 기업에서 개발한 VR제품에 대해서 국제표준 ISO/IEC 25023 성능 효율성(Performance efficiency) 기준으로 시험을 진행하였습니다.

목차

 

1. 테스팅 개요

- 기업명 : 000 소프트

- 기업주소 : 전라북도 전주시 ***

- 테스팅 내용 :  VR 0000 제품 성능 효율성 테스팅 지원

- 테스팅 목적 : 기업 개발한 어플리케이션을 성능 테스트를 통해서 성능 목표에 적합한지 제3자 검증을 통하여 고객에게 고품질 제품을 전달하기 위한 테스팅을 목표

 

2. 테스팅 일정

수 행 일 정	컨설팅 내용	담 당 자
2022년 9월 7일	신청서 제출	기업 담당자
2022년 9월 15일	사전 미팅	기업 담당자 테스터(JICA)
2022년 9월 19일 ~ 2022년 9월 28일	성능 테스팅 -성능 테스팅 -시험기록 작성 -시험성적서 작성 -시험기록 및 시험성적서 검토	테스터(JICA)
2022년 10월 11일	테스팅 보고서 작성 및 기업 제공	테스터(JICA)

 

3. 테스팅 결과 요약

본 테스팅의 지원 내용은 다음과 같습니다.

 

1) 시험 환경

○ 시험 도구

도구 명	용도
Watchy v1.0.0.0 (이하 “스톱워치”)	0000지속 시간을 측정하기 위해 사용되는 시험 도구
GoPro HERO8 Black (이하 “시험녹화도구”)	시험 방법 과정을 촬영하기 위해 사용되는 시험 도구
GOM Player v2.3.78 (이하 “시험영상분석도구”)	촬영된 영상이 시험기준을 만족하는지 확인하기 위해 사용되는 시험 도구
Gom Cam v2.0.28.25 (이하 “시험촬영도구”)	000 및 0000 정확도 시험 과정을 촬영하기 위해 사용되는 시험 도구

 

○ 사용 플랫폼

No	구 분	기본정보
2	사용 플랫폼	언리얼 엔진, 블루프린터
5	분석 유형	성능 테스트

 

○ 시험구성도

 

< 시험항목 1, 2, 3, 4, 5, 6, 7 구성도 >

※ “TEST PC1”에는 시험 대상 제품인 “VR 0000  v2.1”이 설치되어 사용됨

※ “TEST PC1”은 “TV”와 연결되어 “VR 0000   v2.1”을 “TV”로 송출함

※ “TEST PC1”은 “링크박스”를 통해 “VR 0000”를 “VR HMD 기기”로 송출함

 

< 시험항목 8 구성도 >

※ “TEST PC1”에는 시험 대상 제품인 “VR 0000  v2.1”이 설치되어 사용됨

※ “TEST PC1”은 “TV”와 연결되어 “VR 0000   v2.1”을 “TV”로 송출함

※ “TEST PC1”은 “링크박스”를 통해 “VR 0000”를 “VR HMD 기기”로 송출함

※ 시험 과정을 촬영하기 위해 사용되는 시험도구 “0000”는 “TEST PC1”에 설치됨

 

< 시험항목 9 구성도 >

※ “TEST PC1”에는 시험 대상 제품인 “VR 0000  v2.1”이 설치되어 사용됨

※ “TEST PC1”은 “TV”와 연결되어 “VR 0000   v2.1”을 “TV”로 송출함

※ “TEST PC1”은 “링크박스”를 통해 “VR 0000”를 “VR HMD 기기”로 송출함

※ 시험도구 “Watchy v1.0.0.0”는 “TEST PC2”에 설치됨

 

 

○ 시험환경 (TEST PC1)

구분	사양
TEST PC1	HW	CPU	AMD Ryzen 7 3800x 8-Core Pro
		Storage	500 GB / 1 TB
		RAM	32 GB
	SW	OS	Microsoft Windows 10 Pro 64 Bit
		기타SW	Unreal Engine 4.27

 

○ 시험환경 (TEST PC2)

구분	사양
TEST PC2	HW	CPU	Intel(R) Core(TM) i7-8650U CPU @ 1.90 GHz
		SSD	500 GB
		RAM	16 GB
		NIC	1 000 Mbps 1 port
	SW	OS	Windows 10 Pro 64 Bit

 

○ 시험환경 (VR HMD 기기)

구분	사양
VR HMD 기기	HW	디스플레이	DUAL AMOLED 3.5
		해상도	2 880 x 1 600 pixels combined
		시야각	110 °
		주사율	90 Hz
	SW	기타SW	SteamVR

 

 

2) 시험 장소

신청 기업 내에서 현장 시험을 진행하였음

 

3) 점검 항목

점검 항목은 ISO/IEC 25023 성능 효율성(Performance efficiency) 기준으로 기능 품질 특성 기반으로 설정함

순번	분류	품질특성	항목 내용
1	성능효율성	8.3.1 Time behavior	측정된 응답시간이 명시된 목표치에 얼마나 도달하는지 성능 측정
2	성능효율성	8.3.2 Resource utilization	특정 Task를 수행하기 위해 사용되는, Task 동작시간 대비 실제 프로세서, 메모리 사용량 측정

 

[표 7] 점검 항목

 

4) 결과 요약

(1) 사전 미팅

  - 어플리케이션 소개

  - 테스팅 범위 및 방법

  - 테스팅 일정

 

(2) 성능 효율성 테스팅

번호	테스팅 항목명	시험기준
1	000 응답 처리 속도	000 의 구동 시점 속도가 5회 평균 100 ms (millisecond) 이하인지 확인 (소수점 첫 번째 자리까지 표시)
2	000 정보 전달 속도	000 의 구동 시점 속도가 5회 평균 100 ms (millisecond) 이하인지 확인 (소수점 첫 번째 자리까지 표시)
3	화면 노출 응답 시간	000 의 구동 시점 속도가 5회 평균 20 ms (millisecond) 이하인지 확인 (소수점 첫 번째 자리까지 표시)
4	fps 초당 프레임 수	000 구동 시점에서 프레임 속도가 5회 평균 90 fps (frames per second) 이상인지 확인 (소수점 첫 번째 자리까지 표시)
5	GPU 사용률	000  구동 시점에서 GPU 사용률이 5회 평균 70 % 이하의 상태로 유지되는지 확인
6	CPU 사용률	000 구동 시점에서 CPU 사용률이 5회 평균 50 % 이하의 상태로 유지되는지 확인
7	RAM 사용률	000  구동 시점에서 메모리(RAM) 사용률이 5회 평균 40 % 이하의 상태로 유지되는지 확인
8	000 추적 정확도	000 구동 시점에서 000 픽셀 위치가 화면의 정중앙 기준 ± 10 % 이내로 벗어나는지 확인
9	000  팝업	000 구동 시점에서 000 팝업이 5회 평균 (3 ± 1) s (second) 이내로 지속 유지되는지 확인 (소수점 두 번째 자리까지 표시)

상세한 시험 내용은 기술하지 않았습니다.

 

 

김영찬 (소프트웨어 품질 전문가)

(재)전주정보문화산업진흥원(JICA)

소프트웨어 개발자로 10년간 발로 코딩 하다가 한계를 느끼고, 

2015년부터 소프트웨어 품질에 몸을 담고 기업을 돕고 있음

email.  sweng@jica.or.kr  / tel. 063-281-4113

주업무 : 소프트웨어 품질 컨설팅, 테스팅,  KOLAS 기술책임자, 개발자 네트워크 운영

자격

  - SP, CMMI, VSE(ISO 29110), ISMS(ISO 27001) 인증 심사원

  - AIT, ISTQB FL, CSTS, 29119 외 다수