2022년 테스팅 사례 공유 - 00스마트팜 GS인증평가모듈 기반 테스팅(성능효율성)

2022년 고품질 SW개발 컨설팅 및 테스팅 지원 사업 테스팅 사례 공유 합니다.

(재)전주정보문화산업진흥원의 SW품질역량센터에서는

2011년 부터 전라북도 ICT/SW기업을 대상으로 품질 향상을 위한 컨설팅 및 테스팅을 지원하고 있습니다.

본 테스팅 사례는 00 스마트팜 GS인증평가모듈 '성능효율성' 항목에 대해서 테스팅을 수행한 사례입니다.

 

목차

 

1. 테스팅 개요

- 기업명 : 000 소프트

- 기업주소 : 전라북도 군산시 ***

- 테스팅 내용 :  0000 FARM v1.2

- 테스팅 목적 : 사용자설명서 내에 성능 목표 대비 실제 성능을 시험함으로써 제품의 품질 검증 및 GS인증 취득을 용이하기 위함

2. 테스팅 일정

수 행 일 정	테스팅 내용	담 당 자
2022. 3. 10.(목)	테스팅 신청	기업 관계자
2022. 3. 22.(화)	테스팅 신청서 접수	컨설턴트(JICA)
2022. 6. 7.(화)	GS인증 평가모듈 기반 성능 테스팅	기업 관계자 컨설턴트(JICA)
2022. 6. 27.(월)	테스팅 보고서 작성 및 기업제공	컨설턴트(JICA)

 

3. 테스팅 결과 요약

본 테스팅의 지원 내용은 다음과 같습니다.

 

1) 시험 환경

도 구 명	용 도
Watchy v1.0.0.0 (이하 ‘스톱워치’)	RemoteMV V.1.0 Server프로그램에서 모니터링 및 원격제어 시 화면 초당 프레임을 측정하기 위한 시험 도구
VEGAS Pro 16.0 (이하 ‘시험영상분석도구’)	녹화된 영상을 바탕으로 진단 결과 분석 시간을 확인하고, 프로그램 프레임 처리 성능 확인을 위한 시험 영상 분석 도구
iPhone 13Pro (이하 ‘녹화도구’)	녹화 도구

분	항목		사양
관리 서버 (모델명 : LG B80GV)	HW	CPU	Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz 2.90 GHz
		RAM	16 GB
		HDD	250 GB, 1 TB
		NIC	1000 Mbps 1 EA Port
	SW	OS	MS Window11 Home
		DBMS	MS-SQL Server Express(64 bit) v15.0.2000

구분	항목	규격
복합 환경 제어기	터치 PC	LCD PANEL : 7" (800*600) Color TFT CPU : 000 HDD : 128 MByte DDR2 SDRAM USB : 1 Port, Serial=RS232C 1 PORT
	PLC Controller	Base : 기본유닛 – XBM-000*1EA Network : 입력=000*2EA, 출력=00A*2EA 통신=RS232C / RS483-1CH ETHERNET-1 PORT PLC 출력 PC - DF-000
		통신 PCB-TB-000 전원 PCB-000 I/O PCB–000 PLC 기본유닛 PCB –000 PLC 입력 PCB – 000
	수동 제어보드, 릴레이 보드

* 상기 시험 환경에 대한 상세 스펙은 명시하지 않았습니다.

 

2) 시험 구성도

[그림 2] 시험항목 1번 시험 구성도

※ 시험 대상 제품인 000FARM v1.2는 관리서버에 설치됨

※ 시험 도구 Watchy v1.0.0.0은 시험PC에 설치됨

[그림 3] 시험항목 2번 시험 구성도

※ 시험 대상 제품인 0000FARM v1.2는 관리서버에 설치됨

 

 

3) 시험 장소

0000 신청 기업에 현장 방문하여 시험을 진행하였습니다.

 

4) 점검 항목

성능 평가 목표 항목은 2가지입니다.

번호	평가 항목	단위	성능 목표치	평가 방법
1	장치 동작 속도	초(s)	3s 이내	포그(분무기) 작동 명령 시에 평균 동작시간을 측정
2	솔루션 내 센서 업데이트 시간	초(s)	2s 이내	시스템 메인 화면 내에 디스플레이 되는 센서(내온, 내습, 외온, 외습) 데이터 업데이트 시간 측정

 

4) 결과 요약

(1) 시험항목 1

  - 시험항목명 : 장치 동작 속도

  - 성능 평가 목표 항목

평가 항목	단위	성능 목표치	평가 방법
장치 동작 속도	초(s)	3s 이내	포그(분무기) 작동 명령 시에 평균 동작시간을 측정

  - 시험절차

    .......

  - 시험증적

    ------

  - 시험결과 

    평균 장치 동작 속도는 3 s 이내를 만족함

횟수	시작시점(A)	종료시점(B)	동작속도 (C= B-A)
	‘설정’버튼 클릭	아이콘 동작하는 시점
1차	8.7897423	9.6030752	0.8133329
2차	8.7636986	10.0875903	1.3238917
3차	6.8277233	8.3851297	1.5574064
4차	11.5344852	12.3448806	0.8103954
5차	8.6824322	9.4933483	0.8109161
최종평균			1.0631885

 

(2) 시험항목 2

  - 시험항목명 : 솔루션 내 센서 업데이트 시간

  - 성능 평가 목표 항목

평가 항목	단위	성능 목표치	평가 방법
솔루션 내 센서 업데이트 시간	초(s)	2s 이내	시스템 메인 화면 내에 디스플레이 되는 센서(내온, 내습, 외온, 외습) 데이터 업데이트 시간 측정

  - 시험절차

    .......

  - 시험증적

    ------

  - 시험결과 

차수	기기	시간	측정시간
		센서	1초	2초	3초	4초	5초	6초	7초	8초	9초	10초
1차	-	시간	15:48:45	15:48:46	15:48:47	15:48:48	15:48:49	15:48:50	15:48:51	15:48:52	15:48:53	15:48:54
	솔루션	내온	22.4	22.4	22.4	22.4	22.5	22.5	22.4	22.4	22.4	22.4
		내습	54.9	54.9	54.9	54.9	54.9	54.9	54.9	54.9	54.9	54.9
		외온	27.0	27.0	27.8	27.8	27.8	27.8	28.5	28.5	29.1	29.1
		외습	46.2	46.2	45.7	45.7	45.7	45.7	43.5	43.5	42.5	42.5
	복합환경제어기	내온	22.4	22.4	22.4	22.5	22.5	22.4	22.4	22.4	22.4	22.4
		내습	54.9	54.9	54.9	54.9	54.9	54.9	54.9	54.9	54.9	54.9
		외온	27.0	27.0	27.8	27.8	28.5	28.5	28.5	29.1	29.1	29.1
		외습	46.2	45.7	45.7	45.7	49.5	43.5	43.5	42.5	42.5	42.5
2차	-	시간	15:49:07	15:49:08	15:49:09	15:49:10	15:49:11	15:49:12	15:49:13	15:49:14	15:49:15	15:49:16
	솔루션	내온	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4
		내습	55.0	55.0	55.0	55.1	55.1	55.1	55.2	55.2	55.2	55.2
		외온	31.6	31.6	31.6	32.3	32.3	32.9	32.9	32.9	32.9	32.9
		외습	36.6	36.6	36.6	35.7	35.7	34.7	34.7	34.7	34.7	34.7
	복합환경제어기	내온	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4
		내습	55.0	55.0	55.0	55.0	55.1	55.1	55.1	55.2	55.2	55.2
		외온	31.6	31.6	31.6	32.3	32.3	32.3	32.9	32.9	34.0	34.0
		외습	36.6	36.6	36.6	35.7	35.7	35.7	34.7	34.7	32.4	32.4
3차	-	시간	15:49:27	15:49:29	15:49:30	15:49:31	15:49:32	15:49:33	15:49:34	15:49:35	15:49:36	15:49:37
	솔루션	내온	22.5	22.5	22.4	22.4	22.4	22.4	22.4	22.4	22.5	22.5
		내습	55.7	55.7	55.8	55.8	55.8	55.9	55.9	55.9	56.0	56.0
		외온	35.9	35.9	36.6	36.6	36.6	36.9	36.9	37.5	37.5	37.5
		외습	29.8	29.8	28.5	28.5	28.5	28.3	28.3	27.2	27.2	27.2
	복합환경제어기	내온	22.5	22.5	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.5
		내습	55.7	55.7	55.8	55.8	55.8	55.8	55.9	55.9	55.9	56.0
		외온	35.9	36.9	36.6	36.6	36.9	36.9	36.9	37.5	37.5	37.5
		외습	29.8	29.8	28.5	28.5	28.3	28.3	28.3	27.2	27.2	27.2
4차	-	시간	15:49:48	15:49:48	15:49:49	15:49:50	15:49:51	15:49:52	15:49:53	15:49:54	15:49:55	15:49:56
	솔루션	내온	22.5	22.5	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4
		내습	56.3	56.3	56.4	56.4	56.4	56.5	56.5	56.5	56.5	56.5
		외온	39.7	39.7	40.0	40.0	40.2	40.2	40.2	40.6	40.6	40.6
		외습	24.6	24.6	24.4	24.4	24.3	24.3	24.3	24.1	24.1	24.1
	복합환경제어기	내온	22.5	22.5	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4
		내습	56.3	56.3	56.4	56.4	56.4	56.5	56.5	56.5	56.5	56.5
		외온	39.7	40.0	40.0	40.0	40.2	40.2	40.2	40.6	40.6	40.7
		외습	24.6	24.4	24.4	24.4	24.3	24.3	24.3	24.1	24.1	23.9
5차	-	시간	15:50:07	15:50:08	15:50:09	15:50:10	15:50:11	15:50:12	15:50:13	15:50:14	15:50:15	15:50:16
	솔루션	내온	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4
		내습	56.9	56.9	56.9	56.9	56.9	57.0	57.0	57.0	57.0	57.0
		외온	41.4	41.4	41.4	41.6	41.7	41.7	41.7	41.8	41.8	41.8
		외습	23.2	23.2	23.2	22.9	22.8	22.8	22.8	22.7	22.7	22.7
	복합환경제어기	내온	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4	22.4
		내습	56.9	56.9	56.9	56.9	56.9	57.0	57.0	57.0	57.0	57.0
		외온	41.4	41.6	41.6	41.6	41.7	41.7	41.7	41.8	41.8	41.8
		외습	23.2	22.9	22.9	22.9	22.8	22.8	22.8	22.7	22.7	22.7

    시험 결과 센서 데이터 업데이트 2 s 이내를 만족함

 

 

김영찬 (소프트웨어 품질 전문가)

(재)전주정보문화산업진흥원(JICA)

소프트웨어 개발자로 10년간 발로 코딩 하다가 한계를 느끼고, 

2015년부터 소프트웨어 품질에 몸을 담고 기업을 돕고 있음

email.  sweng@jica.or.kr  / tel. 063-281-4113

주업무 : 소프트웨어 품질 컨설팅, 테스팅,  KOLAS 기술책임자, 개발자 네트워크 운영

자격

  - SP, CMMI, VSE(ISO 29110), ISMS(ISO 27001) 인증 심사원

  - AIT, ISTQB FL, CSTS, 29119 외 다수