ndroid黑盒測(cè)試過(guò)程中如何進(jìn)行有效的打點(diǎn)是我們經(jīng)常遇到的問(wèn)題，我們一般會(huì)在腳本內(nèi)部進(jìn)行數(shù)據(jù)打點(diǎn)，也可以使用其他進(jìn)程錄屏或截圖。那我們?nèi)绾芜x取合適的方式進(jìn)行打點(diǎn)記錄呢？下圖是對(duì)常用打點(diǎn)方式的統(tǒng)計(jì)！對(duì)于測(cè)試開(kāi)發(fā)人員來(lái)說(shuō)有效的關(guān)鍵截圖信息是最直觀的數(shù)據(jù)，可以很快定位問(wèn)題場(chǎng)景！本文重點(diǎn)介紹如何在Shell進(jìn)程內(nèi)統(tǒng)計(jì)屏幕截圖變化。

第三方服務(wù)截圖

本方案可以在uiautomator1.0腳本內(nèi)實(shí)現(xiàn)，也可以自定義Shell進(jìn)程服務(wù)來(lái)實(shí)現(xiàn)。個(gè)人推薦自定義Shell服務(wù)，然后用app_process命令啟動(dòng)。即使腳本出現(xiàn)異常退出了也不會(huì)影響截圖服務(wù)，并且可以截取腳本啟動(dòng)前和結(jié)束后的狀態(tài)。最主要的是Android R開(kāi)始不再支持uiautomator1.0腳本。

主要通過(guò)Activity監(jiān)聽(tīng)、定時(shí)器、進(jìn)程監(jiān)聽(tīng)服務(wù)觸發(fā)截圖操作：在頁(yè)面變化時(shí)、進(jìn)程狀態(tài)變化時(shí)以及定時(shí)檢測(cè)頁(yè)面狀態(tài)。除此之外我們需要一個(gè)App提供圖片相似度的比較，或者搭建其他圖片匹配服務(wù)也可以。

Activity變化和應(yīng)用異常時(shí)截圖

1.首先我們要注冊(cè)ActivityController

①. 直接通過(guò)IActivityController.Stub()方法獲取ActivityController對(duì)象；

②. 通過(guò)ActivityManager的setActivityController方法設(shè)置監(jiān)聽(tīng)，設(shè)置成功后切換頁(yè)面時(shí)就會(huì)回調(diào)對(duì)應(yīng)的方法；

2.我們可以在ActivityController的回調(diào)中記錄關(guān)鍵截屏信息，主要信息有：

**①. **新打開(kāi)的Activity：點(diǎn)擊按鈕跳轉(zhuǎn)頁(yè)面時(shí)；

**②. **恢復(fù)顯示的Activity：按返回鍵退回到上一級(jí)頁(yè)面時(shí)顯示的頁(yè)面；

**③. **App產(chǎn)生崩潰的詳細(xì)信息以及截圖；

**④. **App產(chǎn)生ANR時(shí)的詳細(xì)信息以及截圖；

**⑤. **我們可以在activityStarting和activityResuming方法中對(duì)打開(kāi)的頁(yè)面進(jìn)行控制。

3.缺點(diǎn)

**①. **如果其他進(jìn)程也注冊(cè)這個(gè)服務(wù)，那么會(huì)相互影響，只有最后注冊(cè)的服務(wù)有效；

**②. **當(dāng)在頁(yè)面中切換Fragment時(shí)無(wú)法感知到事件變化；

**③. **必須在Shell進(jìn)程內(nèi)執(zhí)行，普通App內(nèi)是無(wú)法注冊(cè)成功的；

IActivityController mActivityController=new IActivityController.Stub() {
    //當(dāng)調(diào)用Activity的onCreate方法（跳轉(zhuǎn)新頁(yè)面）時(shí)回調(diào)此方法，
    //return false時(shí)不會(huì)啟動(dòng)Activity；return true時(shí)正常啟動(dòng)Activity
    //不要在這個(gè)方法內(nèi)做耗時(shí)操作
    @Override
    public boolean activityStarting(Intent intent, String pkg) throws RemoteException {
        return true;
    }
    //當(dāng)調(diào)用Activity的onResume方法（比如dialog消失）時(shí)會(huì)調(diào)用這個(gè)方法
    @Override
    public boolean activityResuming(String pkg) throws RemoteException {
        return true;
    }

    /**
     * 有應(yīng)用在Java層產(chǎn)生異常時(shí)回調(diào)此方法
     * 返回true時(shí)，會(huì)顯示應(yīng)用crash的彈窗，返回false時(shí)會(huì)立即kill應(yīng)用
     */
    @Override
    public boolean appCrashed(String processName, int pid, 
        String shortMsg, String longMsg, long timeMillis, 
        String stackTrace) throws RemoteException {
        return false;
    }

    /**
     * 檢測(cè)到ANR異常時(shí)就會(huì)回調(diào)此方法
     */
    @Override
    public int appEarlyNotResponding(String s, int i, String s1) throws RemoteException {
        return 0;
    }

    /**
     *  應(yīng)用產(chǎn)生ANR時(shí)回調(diào)此方法，
     * Return 0 時(shí)顯示 "應(yīng)用停止響應(yīng)" 彈窗。
     * Return 1 時(shí)不做任何操作，等待應(yīng)用恢復(fù)正常；
     * Return -1 時(shí)結(jié)束產(chǎn)生ANR的應(yīng)用.
     */
    @Override
    public int appNotResponding(String processName, int pid, 
        String processStats) throws RemoteException {
        return -1;
    }

    /**
    * 系統(tǒng)停止響應(yīng)時(shí)回調(diào)此方法，可以在這個(gè)方法里面對(duì)設(shè)備進(jìn)行些恢復(fù)工作         
    */
    @Override
    public int systemNotResponding(String msg) throws RemoteException {
        return 0;
    }
};

進(jìn)程變化監(jiān)聽(tīng)

由于ActivityController服務(wù)存在被干擾的情況，我們需要其他服務(wù)進(jìn)行輔助判斷，通過(guò)ActivityManager注冊(cè)IProcessObserver可以獲取進(jìn)程變化的回調(diào)，特別是在onForegroundActivitiesChanged方法內(nèi)可以判斷是否觸發(fā)頁(yè)面切換。

通過(guò)IProcessObserver可以實(shí)現(xiàn)的功能：

**①. **在onForegroundActivitiesChanged方法內(nèi)監(jiān)聽(tīng)頁(yè)面變化；

**②. **在onProcessStateChanged和onProcessDied方法內(nèi)可以統(tǒng)計(jì)App的線(xiàn)程生命周期；

**③. **可以統(tǒng)計(jì)app運(yùn)行期間創(chuàng)建的線(xiàn)程信息；

**④. **該服務(wù)被不同進(jìn)程注冊(cè)時(shí)，相互間互不影響；

缺點(diǎn)：

**①. **沒(méi)有直觀信息，需要使用uid進(jìn)行關(guān)聯(lián)，處理復(fù)雜；

IProcessObserver mProcessObserver=new IProcessObserver.Stub() {
    //與用戶(hù)交互的Activity發(fā)生變化時(shí)foregroundActivities為true，否則foregroundActivities為false
    //uid產(chǎn)生該活動(dòng)的應(yīng)用標(biāo)識(shí)，可以用包信息匹配到具體的應(yīng)用
    //pid 當(dāng)前活動(dòng)的線(xiàn)程/進(jìn)城ID
    @Override
    public void onForegroundActivitiesChanged(int pid, int uid,
         boolean foregroundActivities) throws RemoteException {
        if(foregroundActivities) {
        //
        }
    }

    //活動(dòng)狀態(tài)發(fā)生變化時(shí)調(diào)用，在此方案內(nèi)實(shí)際意義不大
    @Override
    public void onProcessStateChanged(int pid, int uid, int importance) 
        throws RemoteException {
    }
    //結(jié)束時(shí)調(diào)用
    @Override
    public void onProcessDied(int pid, int uid) throws RemoteException {
    }
};

綜合應(yīng)用

上面兩種方案各有優(yōu)劣，我們可以將他們整合在一個(gè)流程內(nèi)實(shí)現(xiàn)較為完善的截圖機(jī)制：

①. 首先我們的服務(wù)主要依賴(lài)于ActivityController進(jìn)行頁(yè)面變化的感知，以便于獲取詳細(xì)的信息和精確控制；

**②. **我們注冊(cè)IProcessObserver進(jìn)行輔助驗(yàn)證，當(dāng)頁(yè)面發(fā)生變化時(shí)我們進(jìn)行截屏，并通過(guò)ActivityController最后一次接收事件的時(shí)間判斷其服務(wù)狀態(tài)，如果服務(wù)狀態(tài)異常，那么我們重新注冊(cè)ActivityController服務(wù)；

**③. **開(kāi)始監(jiān)控頁(yè)面時(shí)我們初始化一個(gè)定時(shí)器，可以定時(shí)（2S）截取屏幕，將當(dāng)前截圖Bitmap與上一次的截圖Bitmap做圖像匹配，如果圖片相似度小于0.8，那么可以認(rèn)定頁(yè)面發(fā)生了變化，如果5S內(nèi)沒(méi)有保存過(guò)頁(yè)面信息，那么需要重新初始化ActivityController服務(wù)。

Root設(shè)備的特殊方案

Android系統(tǒng)是基于Linux系統(tǒng)的移動(dòng)操作系統(tǒng)。它們可以通過(guò)getevent命令輸出鍵盤(pán)和屏幕事件，包括響應(yīng)事件的坐標(biāo)區(qū)域和鍵盤(pán)key值。但是Android系統(tǒng)基于安全考慮，大部分真機(jī)系統(tǒng)是沒(méi)有權(quán)限執(zhí)行g(shù)etevent命令的，它不會(huì)輸出任何有效信息，但是華為手機(jī)（榮耀20 i）上卻可以正常使用。這是一個(gè)非常危險(xiǎn)的權(quán)限，大家自己的手機(jī)還是不要開(kāi)啟開(kāi)發(fā)者模式了！

/dev/input/event2: EV_ABS       ABS_MT_POSITION_X    0000024b
/dev/input/event2: EV_ABS       ABS_MT_POSITION_Y    0000065d
/dev/input/event2: EV_ABS       ABS_MT_PRESSURE      000000f5
/dev/input/event2: EV_ABS       ABS_MT_TRACKING_ID   00000000
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MAJOR   000000a5
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MINOR   00000087
/dev/input/event2: EV_ABS       ABS_MT_ORIENTATION   ffffffc6
/dev/input/event2: EV_ABS       ABS_MT_BLOB_ID       00000002
/dev/input/event2: EV_SYN       SYN_MT_REPORT        00000000
/dev/input/event2: EV_KEY       BTN_TOUCH            DOWN
/dev/input/event2: EV_SYN       SYN_REPORT           00000000
/dev/input/event2: EV_ABS       ABS_MT_POSITION_X    0000024b
/dev/input/event2: EV_ABS       ABS_MT_POSITION_Y    0000065c
/dev/input/event2: EV_ABS       ABS_MT_PRESSURE      00000067
/dev/input/event2: EV_ABS       ABS_MT_TRACKING_ID   00000000
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MAJOR   000000b4
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MINOR   000000a5
/dev/input/event2: EV_ABS       ABS_MT_ORIENTATION   ffffffc1
/dev/input/event2: EV_ABS       ABS_MT_BLOB_ID       00000002
/dev/input/event2: EV_SYN       SYN_MT_REPORT        00000000
/dev/input/event2: EV_SYN       SYN_REPORT           00000000
/dev/input/event2: EV_SYN       SYN_MT_REPORT        00000000
/dev/input/event2: EV_KEY       BTN_TOUCH            UP
/dev/input/event2: EV_SYN       SYN_REPORT           00000000

**ABS_MT_POSITION_X **屏幕的橫坐標(biāo)，后面一列是坐標(biāo)的十六進(jìn)制數(shù)據(jù)

**ABS_MT_POSITION_Y **屏幕縱坐標(biāo)，后面一列是坐標(biāo)的十六進(jìn)制數(shù)據(jù)

BTN_TOUCH 代表屏幕事件，后面如果是DOWN則代表按下，后面如果是UP代表抬起

我們可以根據(jù)ABS_MT_POSITION_X和ABS_MT_POSITION_Y信息和BTN_TOUCH為DOWN的事件計(jì)算響應(yīng)按下事件的屏幕位置，然后通過(guò)BTN_TOUCH為UP的事件計(jì)算抬起的屏幕位置，然后用按下和抬起的坐標(biāo)差來(lái)判斷該時(shí)間是點(diǎn)擊還是滑動(dòng)，然后我們可以進(jìn)行屏幕截圖，甚至在截圖上繪制事件的軌跡。

https://qrcode.ceba.ceshiren.com/link?name=article&project_id=qrcode&from=toutiao×tamp=1662310800&author=Muller

點(diǎn)定位功能概述

配合H20系列云臺(tái)相機(jī)使用時(shí)，可使用打點(diǎn)定位功能，用戶(hù)可在相機(jī)界面或地圖界面對(duì)目標(biāo)所在位置打點(diǎn)，方便快速進(jìn)行目標(biāo)觀察和信息同步。

1.打點(diǎn)定位步驟：調(diào)整飛行器、云臺(tái)姿態(tài)，使目標(biāo)移動(dòng)至畫(huà)面中央的準(zhǔn)心位置，按下遙控器L3按鍵，可在畫(huà)面中央的目標(biāo)上打點(diǎn)，目標(biāo)點(diǎn)可記錄目標(biāo)點(diǎn)的經(jīng)緯度及高度。

2.目標(biāo)點(diǎn)在相機(jī)界面和飛行界面中會(huì)有AR投射，根據(jù)飛行器與目標(biāo)點(diǎn)之間的距離而變大或變小，且遵循近大遠(yuǎn)小的規(guī)律。

3.當(dāng)前選中的目標(biāo)點(diǎn)：

a.在目標(biāo)點(diǎn)的四周會(huì)出現(xiàn)小方框，以代表選中狀態(tài)。

b.在導(dǎo)航信息模塊的左下角顯示該目標(biāo)點(diǎn)距離飛行器的水平距離和該點(diǎn)的名稱(chēng)，同時(shí)在導(dǎo)航信息模塊中顯示該點(diǎn)相對(duì)于飛行器的方位。

c.如果選中的目標(biāo)點(diǎn)在圖傳畫(huà)面外，則目標(biāo)點(diǎn)圖標(biāo)會(huì)在畫(huà)面邊緣駐留，以顯示當(dāng)前選中的目標(biāo)點(diǎn)相對(duì)于畫(huà)面中心的方位。

d.選中目標(biāo)點(diǎn)后，可編輯目標(biāo)點(diǎn)的名稱(chēng)、顏色、經(jīng)緯度、高度，也可在地圖上拖動(dòng)點(diǎn)的位置。

4.點(diǎn)擊“遙控器”按鍵，可將遙控器自定義按鍵設(shè)置為打目標(biāo)點(diǎn)、刪除選中的目標(biāo)點(diǎn)、選擇上一個(gè)/下一個(gè)目標(biāo)點(diǎn)，便于用戶(hù)使用按鍵快速生成、選擇目標(biāo)點(diǎn)。

5.切換至地圖界面：

a.在圖傳畫(huà)面打的目標(biāo)點(diǎn)及其名稱(chēng)將對(duì)應(yīng)在地圖上顯示。

b.在地圖界面上，也可點(diǎn)擊目標(biāo)進(jìn)行打點(diǎn)，該點(diǎn)打在地圖中央十字準(zhǔn)心位置，高度為當(dāng)前飛行器的飛行高度。

c.點(diǎn)擊選擇地圖上某個(gè)目標(biāo)點(diǎn)，可以查看該點(diǎn)的繪制者、目標(biāo)點(diǎn)和飛行器間的距離、目標(biāo)點(diǎn)的海拔高度和經(jīng)緯度坐標(biāo)，還可將該點(diǎn)設(shè)置為返航點(diǎn)，或者對(duì)該點(diǎn)進(jìn)行編輯和刪除。