今年,在疫情的影響下遠(yuǎn)程辦公成為了“新常態(tài)”和新的工作組織模式,這種模式下也使得很多業(yè)務(wù)開始主動(dòng)或被動(dòng)的上云、遠(yuǎn)程、自動(dòng)化等等。對于廣大的測試工程師來說,這種情況下給測試工作又提出了新的難題,測試設(shè)備如何解決?測試環(huán)境如何構(gòu)建?時(shí)間緊任務(wù)急,如何解決效率的問題?

我們在調(diào)研了20名測試工程師之后,發(fā)現(xiàn)他們都不約而同的提到了“遠(yuǎn)程真機(jī)”(也稱:云真機(jī))這類的服務(wù),我們也針對市面上主流的遠(yuǎn)程真機(jī)服務(wù)進(jìn)行了體驗(yàn)和評(píng)測,從多維度為廣大測試工程師總結(jié)經(jīng)驗(yàn),少走彎路。

遠(yuǎn)程真機(jī)是隨著移動(dòng)互聯(lián)網(wǎng)的興起而出現(xiàn)的一種服務(wù)模式,目前已經(jīng)較為完善,它是將各種品牌、型號(hào)、系統(tǒng)的手機(jī)/硬件放在云端,通過遠(yuǎn)程控制的形式在云端完成真機(jī)環(huán)境下的測試/調(diào)試,遠(yuǎn)程真機(jī)使用方便,減少了開發(fā)測試人員設(shè)備不足的煩惱,也解決了硬件購置成本、手機(jī)型號(hào)、系統(tǒng)版本復(fù)雜,碎片化嚴(yán)重等問題,極大地降低了購置、運(yùn)維的費(fèi)用,也將測試效率有了規(guī)?；奶嵘２⑶以谝咔榄h(huán)境下,開發(fā)測試人員可以在全球任何地點(diǎn)、任何時(shí)間提交測試任務(wù)和使用遠(yuǎn)程真機(jī),不受時(shí)間和地域的限制,極大的方便了測試工程師的日常工作。

目前市面上主流的遠(yuǎn)程真機(jī)服務(wù)商有:Testin云測、騰訊Wetest、百度MTC、TestBird、精靈云測、澤眾云等,設(shè)備上基本覆蓋Android、iOS和鴻蒙等主流設(shè)備,通過遠(yuǎn)程真機(jī)可以進(jìn)行手工測試、代碼調(diào)試、自動(dòng)化腳本錄制及執(zhí)行等等,我們和20名測試工程師進(jìn)行了一場針對“遠(yuǎn)程真機(jī)”的測試,并針對市面上的遠(yuǎn)程真機(jī)從實(shí)際使用中的資源、操控、功能、傳輸、操作便利、報(bào)告等維度進(jìn)行了測評(píng),評(píng)測數(shù)據(jù)的時(shí)間點(diǎn)為2022年6月28日,為方便區(qū)分,測評(píng)圖表中綠色標(biāo)記為最佳;黃色標(biāo)記為最差;如整體對比好壞各一半,不標(biāo)記;所有廠商一樣,不標(biāo)記。

1、 遠(yuǎn)程真機(jī)資源方面

資源方面,我們從系統(tǒng)平臺(tái)、真機(jī)數(shù)量、各系統(tǒng)版本機(jī)型、系統(tǒng)分布四個(gè)指標(biāo)進(jìn)行體驗(yàn),我們發(fā)現(xiàn)Testin云測在資源方面是六家中最豐富的,擁有1000多臺(tái)在線的遠(yuǎn)程真機(jī)設(shè)備,同時(shí)在最新版的iPhone 13系列機(jī)型、過往版本的Android和鴻蒙設(shè)備上資源是業(yè)內(nèi)最多的。

在真機(jī)數(shù)量的豐富程度上行業(yè)水平線是在線700+臺(tái)設(shè)備,資源豐富程度排名依次是:Testin云測、TestBird、百度MTC、澤眾云、精靈云測、騰訊Wetest,第一名Testin云測基本上是最后一名騰訊Wetest的真機(jī)數(shù)量的2倍左右。在實(shí)際使用中真機(jī)數(shù)量多,可以擴(kuò)大篩選滿足自己測試需求的設(shè)備,從而快速定位設(shè)備,如果機(jī)型量較少,就無法第一時(shí)間找到自己想要的設(shè)備,從而需要去其他平臺(tái)尋找或聯(lián)系客服人員詢問資源情況和協(xié)調(diào)上線。

在 Android、iOS、HarmonyOS版本機(jī)型情況上,行業(yè)水平線是:Android 9-13每個(gè)大版本100臺(tái)設(shè)備在線、iOS擁有最新的iPhone 13系列機(jī)型、HarmonyOS設(shè)備在線40臺(tái)。該維度綜合排名依次是:Testin云測、百度MTC、TestBird、精靈云測、騰訊Wetest、澤眾云。Testin云測基于豐富的真機(jī)數(shù)量上在系統(tǒng)版本的豐富程度上也是最佳,尤其是在鴻蒙系統(tǒng)的數(shù)量上涵蓋了所有鴻蒙設(shè)備。澤眾云雖然在真機(jī)數(shù)量上處于行業(yè)中等水平,但在各系統(tǒng)版本的豐富度上有欠缺。在實(shí)際使用中系統(tǒng)版本的支持的范圍可以讓我們快速定位自己想要測試的設(shè)備,進(jìn)而提高測試效率,如果版本較少,我們就無法精準(zhǔn)的測試到對應(yīng)版本的設(shè)備。

系統(tǒng)平臺(tái)和系統(tǒng)分布維度,各家平臺(tái)差距不大。但百度MTC有國內(nèi)、外機(jī)型的分類,區(qū)分起來比較方便;Testin云測在iOS版本中覆蓋率最高,包含了iOS 9-16的各個(gè)大版本,在iOS過往版本的測試中更有優(yōu)勢。

2、 遠(yuǎn)程真機(jī)平臺(tái)使用方面

在遠(yuǎn)程真機(jī)平臺(tái)使用方面,Testin云測和騰訊Wetest都是表現(xiàn)不錯(cuò)的平臺(tái),其他家體驗(yàn)一般。

Testin云測在過濾選擇中是唯一一家支持設(shè)備上市時(shí)間分類的選擇條件項(xiàng),同時(shí)在安裝包管理中也是唯一一家可實(shí)現(xiàn)三入口上傳(平臺(tái)應(yīng)用包管理、實(shí)時(shí)上傳、安裝常用APK)的平臺(tái),在實(shí)際使用中測試工程師可以根據(jù)自己測試需求,選擇對應(yīng)的安裝方式,快速進(jìn)行安裝調(diào)試,如果安裝方式較少,對于不熟悉安裝方式的人來說會(huì)浪費(fèi)很多時(shí)間了解安裝方式。同時(shí)安裝方式越多,使用起來越便利。

騰訊Wetest是唯一一家設(shè)計(jì)了頁面布局切換按鈕的平臺(tái),同時(shí)騰訊Wetest支持上傳安裝包大小為3G,在實(shí)際使用中我們可以根據(jù)自己的喜好切換自己的瀏覽方式,方便我們在網(wǎng)絡(luò)不佳的情況下使用列表形式,圖表顯示可以讓我們精準(zhǔn)的參考設(shè)備的詳細(xì)參數(shù)信息,方便我們選擇對應(yīng)設(shè)備使用,而支持上傳安裝包的大小可以讓我們控制打包的大小,方便我們實(shí)時(shí)上傳,如果未能明顯體現(xiàn),在不清楚的情況下,我們需要一個(gè)一個(gè)適配支持Apk大小,從而浪費(fèi)很多適配時(shí)間,增加了工作量,不能及時(shí)處理問題,這會(huì)影響我們的上線發(fā)版時(shí)間。

3、 遠(yuǎn)程真機(jī)使用中的功能方面

在遠(yuǎn)程真機(jī)平臺(tái)使用方面,Testin云測依舊是各家中表現(xiàn)最優(yōu)的平臺(tái),顯示當(dāng)前網(wǎng)絡(luò)狀態(tài)情況和手機(jī)調(diào)試錄像都是獨(dú)家的功能,同時(shí)支持多機(jī)聯(lián)動(dòng)。在實(shí)際使用中我們可以根據(jù)界面顯示的網(wǎng)絡(luò)狀態(tài)定位我們本地網(wǎng)絡(luò)情況及時(shí)調(diào)整,從而使調(diào)試界面更加流暢,在測試過程中遇到的問題可以通過調(diào)試錄像記錄問題復(fù)現(xiàn)的原因,方便我們后續(xù)問題定位。多機(jī)聯(lián)動(dòng)則決定了我們可以通過使用一臺(tái)手機(jī)去控制多臺(tái)手機(jī),從而節(jié)約了測試時(shí)間,高效的完成測試工作。

騰訊Wetest和百度MTC均不支持切換清晰度,在實(shí)際使用中如果遇到需要適配清晰度的情況,就不滿足測試的需求,對于我們視頻流暢測試者是不好的體驗(yàn),另外在調(diào)試過程中,界面顯示不清晰無法正常觀察調(diào)試界面,從而增加了工作量。

精靈云測不支持截圖功能,在實(shí)際使用中我們需要快速截取測試過程中存在的問題,如果未能及時(shí)提供截圖,需要我們點(diǎn)擊設(shè)備手動(dòng)操作,這樣無法快速定位到問題,對于偶現(xiàn)的問題如果沒有截圖功能就很難復(fù)現(xiàn)。

精靈云測、澤眾云、Testin云測均不支持在手機(jī)上調(diào)試遠(yuǎn)程真機(jī),在實(shí)際使用中如果已經(jīng)發(fā)布的版本在上線后發(fā)現(xiàn)問題,如果支持手機(jī)上調(diào)試,我們就可以隨時(shí)隨地配合研發(fā)人員進(jìn)行遠(yuǎn)程調(diào)試,從而盡快恢復(fù)正常保證客戶體驗(yàn)好感。如果不能滿足手機(jī)調(diào)試,需要使用PC設(shè)備進(jìn)行控制,增加了工作量。

4、 遠(yuǎn)程真機(jī)文件傳輸方面

在遠(yuǎn)程真機(jī)平臺(tái)使用方面除表現(xiàn)最差的澤眾云之外其他各家功能整體一致,百度MTC的iOS端和澤眾云不支持圖片上傳到手機(jī)、直接輸入U(xiǎn)RL打開網(wǎng)站、文本輸入框直接復(fù)制、粘貼文本功能,這在實(shí)際使用中不能及時(shí)上傳測試需要的文件,我們需要通過adb連接開發(fā)工具進(jìn)行上傳,對于不會(huì)使用工具的測試者來說,增加了上傳圖片的難度。如果滿足文件傳輸我們可以快速上傳到測試設(shè)備進(jìn)行測試。

5、 遠(yuǎn)程真機(jī)操作便利性方面

在遠(yuǎn)程真機(jī)平臺(tái)便利性方面百度MTC的Android端和Testin云測表現(xiàn)最優(yōu),支持功能較多,剩余其他家基本一致。在實(shí)際使用中我們可以根據(jù)操作者的使用習(xí)慣,快速根據(jù)提示進(jìn)入測試,定位跟蹤問題,從而快速完成測試,提高測試效率。

6、 數(shù)據(jù)采集和報(bào)告體驗(yàn)方面

在數(shù)據(jù)采集和報(bào)告體驗(yàn)方面TestBird和Testin云測表現(xiàn)最優(yōu),功能豐富。騰訊Wetest、百度MTC、精靈云測、澤眾云在性能數(shù)據(jù)手機(jī)上基本為空,支持?jǐn)?shù)據(jù)采集在實(shí)際使用中可以根據(jù)性能測試數(shù)據(jù)獲取單個(gè)App的性能以及查看設(shè)備的參數(shù)值,更快速的獲取我們需要的數(shù)據(jù),提前完成測試任務(wù),獲取測試環(huán)境信息。

同時(shí)在調(diào)試記錄查詢/下載上,騰訊Wetest、百度MTC、精靈云測均不支持該功能,如果支持調(diào)試記錄查詢/下載在實(shí)際使用中我們可以根據(jù)調(diào)試記錄更客觀的瀏覽測試數(shù)據(jù),根據(jù)下載的日志定位問題,從而節(jié)約時(shí)間處理問題。

最后,我們嘗試對這六家遠(yuǎn)程真機(jī)平臺(tái)的價(jià)格進(jìn)行對比,但發(fā)現(xiàn)因?yàn)檫h(yuǎn)程真機(jī)服務(wù)通常會(huì)以套餐包的形式進(jìn)行售賣(量大相應(yīng)價(jià)格越低),這當(dāng)中部分平臺(tái)還會(huì)有套餐包基礎(chǔ)上的折扣價(jià)格,每家的檔位和計(jì)費(fèi)規(guī)則都不盡相同,公示的標(biāo)準(zhǔn)價(jià)格在實(shí)際使用中還是有出入的,所以價(jià)格這部分我們給出了整體評(píng)估的結(jié)果,不公示詳細(xì)價(jià)格(實(shí)際按使用量大小不同可能有出入),價(jià)格從低到高依次為:澤眾云、精靈云測、TestBird、百度MTC、騰訊 Wetest 、Testin云測。

以上就是我們和20名測試工程師針對國內(nèi)主流的遠(yuǎn)程真機(jī)平臺(tái)的使用和調(diào)研情況,整體來看在六家遠(yuǎn)程真機(jī)平臺(tái)中,Testin云測是資源最豐富、功能、體驗(yàn)、便利性方面最佳的平臺(tái),騰訊Wetest、百度MTC、TestBird、精靈云測處于行業(yè)平均水平,澤眾云在很多點(diǎn)上仍有改進(jìn)的空間,這也從一個(gè)側(cè)面反應(yīng)了整個(gè)測試服務(wù)商的行業(yè)格局和地位。

同時(shí)需要說明的是,本次測評(píng)我們和20名測試工程師采用的是測試者角度的匿名體驗(yàn),當(dāng)中展現(xiàn)的參數(shù)和是否支持該功能均來自真實(shí)使用環(huán)境下以及該平臺(tái)方的詢問回復(fù),同時(shí)我們也對使用中功能出現(xiàn)問題的情況進(jìn)行了標(biāo)注,評(píng)測內(nèi)容可能存在小幅度的錯(cuò)誤,還請指正。

“無需擁有設(shè)備,云端即可控制真機(jī),真正還原真實(shí)測試環(huán)節(jié)”這些都是遠(yuǎn)程真機(jī)平臺(tái)方宣傳時(shí)所用的描述,但也真實(shí)的向廣大開發(fā)測試工程師展現(xiàn)了遠(yuǎn)程真機(jī)的方便之處,尤其是在疫情常態(tài)化的當(dāng)下,遠(yuǎn)程真機(jī)的需求又得到了進(jìn)一步擴(kuò)大,我們希望可以通過這樣的橫向評(píng)測可以給到大家挑選、選擇遠(yuǎn)程真機(jī)平臺(tái)一些建議和參考,僅此而已。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）