모바일 테스트 자동화 시스템 Q&A
기타   |  
CM Mobile
좋아요 : 1개
성원상
작성일 18/05/30 16:33

* 실 고객측 가장 많은 질문사항들을 모아 정리했습니다.

Q. CheckMATE Mobile 에 관해 설명해 주세요.
A. Mobile 자동화 테스트 도구이며, 스크립트 방식에 의해 구동 됩니다.

Q. 시나리오 작성방식은?
A. 레코딩 방식의 스크립트 작성 방식과, Auto Scripting(테스트 수행하듯이 클릭 만으로 기록을 남겨 스크립트로 치환) 방식으로 두가지 방식을 제공합니다. 레코팅 역시, 프로그램 Object를 인식하는 방식과, 이미지를 인식하는 방식 두 가지를 모두 지원 합니다.

Q. 현실적으로 현업직원이 시나리오를 작성하기 어렵지않나? (오토스크립트) 가능하다면 어떻게 사용할 수 있는지?
A. 간단한 업무(로그인, 조회)의 경우는 쉽게 작성이 가능합니다. 하지만, 데이터 처리나 조건 분기와 같은 테스트 스킬이 필요한 부분에는 어느 정도의 노력이 필요합니다. 작성된 스크립트의 유지보수는 충분히 할 수 있습니다. (수행 기간 동안의 교육 수료이후)

Q. 특정 단말에서 작업한 다양한 작업을 스크립트화 할 수 있는지? 복수의 단말기가 OS 사양이 다른데 동시 작업이 가능한지?
A. 기본 작업 기준은 iOS, Android 두 개의 스크립트는 따로 작성하여야 합니다. (원래가 다른 App 입니다.)
모바일 테스트에서 가장 많이 사용하게 될 멀티컨트롤(미러링) 기능이 있습니다. 이 기능은 한 대의 모바일 기기에서 테스트 수행 시, 연결된 다른 기기에서 함께 테스트 되는 구성입니다. 이때, Auto Scripting 기능을 활성화 하시면, 연결된 모든 기기에서 테스트 함과 동시에 스크립트가 생성이 됩니다. 이 기능으로 여러 케이스의 상이환경(OS version, patch version, 제조사, 해상도 등..)에서 매번 따로 테스트 수행하시던 것을 한번에 수행하여 기존 작업시간의 최소 5배 이상의 시간을 줄여 드립니다. 

<수행 예시> 

Q. 안드로이드와 iOS를 동시에 테스트 할 수 있는지? 안된다면 이유는?
A. 작업이 완료된 Script를 Play 시 동시 테스트 수행이 가능 합니다. 하지만, 멀티컨트롤 테스트에는 따로 구동 합니다. 이유는 다른 App이기 때문입니다.

Q. 단위테스트, 통합테스트를 수행하려면 시나리오를 작성해야 하고 시나리오를 작성하려면 개발이 되어 있어야 하지 않느냐? 
A. 단위/통합테스트는 단위 테스트 기간에 작성된 자동화 테스트 스크립트를 이용하여, 비용이 많이 드는 통합테스트 기간에 매일 수행 가능합니다. 뿐만 아니라, BVT(Build Verification Test) 빌드 후, 메인업무(Critical Business Flow)의 영향도 검사에 사용하여 시스템 크리티컬 이슈에 사전 대처가 가능합니다.

Q. 단위 테스트에서는 결함이나 개선 사항이 계속적으로 발생할 텐데 스크립트 기반의 시나리오가 작성 된다면 이것에 대한(지속적인 결함이나 개선사항 변경) 대응이 어렵지 않은가?
A. 채크메이트는 타 제품과 달리 개발 소스형태가 아니라 이미지 캡처 형태입니다.
 
UI 변경 시, 간단히 이미지 캡처하는것 만으로도 유지보수가 가능합니다. 

<스크립트 예시>

Q. 한대의 에이전트 PC에서 40대까지 사용 가능하다는 것이 현재 기준으로 말씀하자면? 자세하게 설명해주세요.
A. R&D 팀 내부 테스트 수행 결과, 한대의 Agent(Client PC)에 40대의 기기를 연결한 뒤 테스트 수행 결과 Agent PC의 CPU가 약 75%~85% 사용되었습니다.

Q. 하드웨어 구성에서 에이전트는 어떤 것인지?
A. Agent PC는 모바일 기기와 채크메이트와의 연결하기위한 PC입니다.
 Android는 ADB Connector가 iOS는 Apple Connector가 필요하며, 이를 연결합니다. 

Q. 안드로이드를 맥북에 붙이기는 어려운가?
A. 불가능한 것은 아닙니다. 다만, Android의 경우 윈도우 머신에서 훨씬 빠른 성능(이미지 인식속도: Android (0.2sec), iOS(0.5sec))을 보이고있어, 맥북에서 구동되는 것 보다 훨씬 성능상 유리합니다. 기본적으로 Apple 개발자 정책상 제한이 있는 경우가 많아, 윈도우를 사용하는 것이 더 유리합니다.

Q. APK/IPA 자동 배포가 무엇인지?
A. 테스터가 새로운 클라이언트 배포 시, 모바일 기기 하나씩 설치하는 형태가 아닌 자동화 연결된 모든 기기에 한번에 설치/삭제가 가능한 기능입니다.

Q. 업무구성도 및 흐름도에서 체크메이트와 디펙메이트 관련 전체가 자동화 프로 그램인지? 아니면 어디 까지가 자동화가 가능한지?
A. 현재는 일부기능(결함 생성)에 Sync 되어있습니다. 하지만 내년(19') 출시 예정인 QualityMATE에서는 자동화 테스트 도구와 디펙메이트가 상당부분 자동화 될 예정입니다.
ex) 테스트 자동화 수행 중 오류 발생 시 해당 테스트 케이스 하위에 결함을 자동 생성 하고 해당 담당자에게 알림 기능이 추가됩니다.

Q. 타 솔루션과 비교할 때 에이전트 PC 한대당 붙는 단말의 수가 적은데 당사 제품이 가능한 이유는?
A. 타 납품된 사이트에서 동일 질문을 많이 받았으나, 따로 분석 하진 않았습니다. 체크메이트는 여러 디바이스 연결에도 문제가 없습니다.

Q. 통계 정보라든지 리소스 정보 제공범위는? 어떤 정보를 제공해주는지?
A. 테스트 수행관리 부분과 테스트 자동화 결과에 대해 제공됩니다. 테스트 자동화 결과는 응답시간 분포, 오류상세, 성공율, 기기 CPU, Memory정보, 테스트 케이스별 결과, 이벤트별 결과 등 상세 정보를 확인 가능하며 협의에 따라 커스터마이징 된 보고서를 제공 가능합니다.

Q. 레포트 제공에 대해서 자세히 설명해 주세요
A. 기본 Report 템플릿(Web)이 제공됩니다. 더하여, 협의된 커스텀 리포트를 제공할 예정입니다. (위 정보를 기반으로한). 리포트는 Web 리포트로 그래프와 테스트결과 수치 및 통계수치가 제공 됩니다.

Q. 시스템 구성도에 관해 설명해주세요.
A. 두개의 서비스(테스트 공정관리, 자동화 테스트)로 구성 되어있으며, Client, Device 관리, 관리서버로 구성됩니다. 1대의 Agent PC에 연결 가능한 Device 개수는 40대이지만 20대 이하를 권장합니다.(Agent PC 다운에 의한 서비스 중지 등..)


<시스템 구성 예시>

Q. 디펙메이트의 통계작업을 위한 데이터는 어디에 쌓이는지? 
A. 테스트 공정관리 솔루션은 MariaDB를 사용하여 데이터를 저장하고 있습니다. 서버 내 DBMS에 저장됩니다.

Q. 다른 건물, 환경 등에 있는 사용자도 에이전트 피씨에 접속이 가능한지?
A. 채크메이트의 경우, 특정 port를 이용하여 데이터를 주고 받습니다.  보안정책상 문제가 없으며, port만 열려 있다면 어디서든 접속 가능합니다.

Q. 모바일 앱에서 프로그램 로직의 성능이나 수행 속도 등도 체크가 가능한가?
A. 모바일 기기 내 Proxy 서버를 활성화 하여, 요청(Request)별 Network 응답 시간확인이 가능합니다. 이 기능은 App 성능 분석용으로 사용 가능합니다.

Q. 이상징후(장애발생징후) 발생 감지 및 리포티 가능 여부?
A. 가능합니다. 기본적으로 응답시간지연, 오류(장애포함 비 정상판단) 발생 시 기본 이메일(smtp - 사내 메일서버 이용) 발송 기능이 있습니다.
 
SMS 서버 연동이 가능하다면, SMS 발송 역시 가능합니다. (단, SMS I/F연동 API가 제공되어야 합니다.)

Q. 솔루션 버전은 무상 유지보수 기간이 지나도 수시 업그레이드 가능한지?
A. 솔루션 버전 업그레이드는 유상 유지보수에 포함이 됩니다. 무상 유지보수 이후 유상(라이선스 연 15%) 유지보수로 수시 업그레이드 가능합니다.
 
모바일 자동화 솔루션의 경우, 매년 2회 OS(Android, iOS) 필수 업그레이드가 되어야 합니다.

Q. 무상유지보수 기간 동안 시나리오 작성 및 편집에 대한 인력 지원 및 사용자 교육 계획은?
A. 초기 무상유지보수 기간(납품 후 1년)동안 기본적으로 설치 및 기술지원에 대한 연 12(Day, 8시간 기준)회 방문 지원이 포함되어 있습니다.
이 기간을 
시나리오 작성.편집 및 사용자 교육 등으로 활용하실 수 있습니다.

Q. 최대 동시 접속자(사용자) 제한 여부
A. 모바일 자동화 솔루션 라이선스의 기준은 동시 사용 모바일 기기(ex. 30대)에 있습니다.
 
 따라서, 1명이 접속하여 30대를 모두 사용하는 경우와, 30명이 접속하여 1대씩 사용하는 경우 모두 30대 라이선스를 사용하는 것입니다. 리포팅을 위해 접속만 한 사용자는 라이선스 카운터에 포함되지 않습니다.

Q. 음성 ARS 지원 가능 여부
A. 음성인식엔진을 사용해야합니다. 

1. 개발 측면
해당 음성 ARS 인식 > 텍스트 변경 > 내용중 보안 숫자 인식 의 단계로 가야합니다. 해당 음성 ARS 인식을 각 모바일 기기마다 해야합니다. 이 의미는 모바일 기기에서 흘러나오는 음성을 따로 추출하여 사운드 파일로 저장이 가능한지 먼저 확인 해야 합니다.​ (만약, 안드로이드나 Apple에서 지원을 하지 않는다면 불가능 할 수 있습니다.) 

2. 음성인식 엔진 측면 
음성인식 엔진의 라이선스 비용도 간과 할 수 없습니다. 최근 구글, Apple(뉘앙스) 등 음성인식 서비스 제공 회사 모두 서버 side 음성인식엔진으로 제공되고 있는 상황에 음성인식 엔진 도입 방법에도 고민이 있습니다. (offline 엔진도 존재하나, 인식률이 상당히 떨어지고, 커스터마이징 비용(ARS 성우에 따른 인식률 상승)이 매우 비쌉니다.)


<제품 로드맵>


  • 문의 카테고리
    기타
  • 문의 제품
    CM Mobile
  • 소프트웨어 버전
    1.1.4
  • 태그
    문의  Q&A