最近在玩兒公主連結，之前也玩兒過陰陽師這樣的游戲，這樣的游戲都會有個初始號這樣的東西，或者說是可以肝的東西。
當然，作為一名程序員，肝這種東西完全可以用寫代碼的方式幫我們自動完成。游戲腳本其實并不高深，最簡單的體驗方法就是下載一個Airtest了，直接截幾個圖片，寫幾層代碼，就可以按照自己的邏輯玩兒游戲了。
當然，本篇文章不是要講Airtest這個怎么用，而是用原始的python+opencv來實現上面的操作。
這兩天我寫了一個公主連結刷初始號的程序，也不能算寫游戲腳本的老手，這篇文章主要是分享一些基礎的技術和使用上的心得吧。
首先，我們要完成以下準備。
這里adb和tesseract我放在百度網盤里了，里面順便放了一個錄制的效果視頻。
鏈接：pan.baidu.com/s/1edTPu2o7… 提取碼：33aw
pip install pillow pytesseract opencv-python
復制代碼除此以外，如果有需要可以安裝uiautomator2，這篇文章就不涉及這塊知識了。
這里我們主要是涉及到單個安卓設備的ADB連接操作，首先我們打開模擬器。
然后我們調用adb devices來獲取當前的安卓設備，我這里是一個模擬器。
接下來可以調用adb shell測試一下是否能進入到安卓設備的shell環境下，確認可以輸入exit退出即可。
如果有的時候進不了shell，可以先調用一下adb kill-server，然后再調用adb devices。
接下來是一些ADB的命令操作。通過adb命令，我們可以用python來操作的安卓設備。
最常見的操作就是截圖了，先調用screencap截圖放到安卓設備里，然后再把截圖下拉到電腦。
def take_screenshot():
os.system("adb shell screencap -p /data/screenshot.png")
os.system("adb pull /data/screenshot.png ./tmp.png")
復制代碼下拉文件就是剛剛那個adb pull了，以公主連結為例，以下代碼可以導出賬號信息的xml，以后通過xml就可以登錄了。
os.system(f"adb pull /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml ./user_info.xml")
復制代碼有了下拉自然就有上傳了，通過adb push即可完成。以公主連結為例，以下代碼可以完成賬號的切換。
# 切換賬號1
os.system("adb push ./user_info1.xml /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml")
# 切換賬號2
os.system("adb push ./user_info2.xml /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml")
復制代碼def adb_click(center, offset=(0, 0)):
(x, y)=center
x +=offset[0]
y +=offset[1]
os.system(f"adb shell input tap {x} {y}")
復制代碼text="YourPassword"
os.system(f"adb shell input text {text}")
復制代碼有的時候輸入框會有輸入的緩存，我們需要刪除字符。
# 刪除10個字符
for i in range(10):
os.system("adb shell input keyevent 67")
復制代碼通過以下代碼，可以查詢當前運行的程序的Activity，也可以順便查包名。
adb shell dumpsys activity activities
復制代碼有時候會需要停止某個應用，需要提供應用的包名。
adb shell am force-stop tw.sonet.princessconnect
復制代碼開啟某個應用需要提供包名以及Activity。
adb shell am start -W -n tw.sonet.princessconnect/jp.co.cygames.activity.OverrideUnityActivity
復制代碼對于圖像的操作第一就是圖像查找了，比如說像Airtest提供的這種，無非就是判斷某個圖像在不在截屏中，在的話在什么位置。
除此之外還需要一些摳圖，比如說我們想獲取賬號的id，賬號的等級，需要截取出一部分圖片然后進行OCR操作。
圖像查找其實就是先拿到兩張圖片，然后調用cv2.matchTemplate方法來查找是否存在以及位置，這里匹配是一個相對模糊的匹配，會有一個相似度的概率，最高是1。我們設定一個閾值來判斷模板是否在截屏里即可。
這里截屏如下，文件名為tmp.png：
模板如下：
代碼如下：
import cv2
def image_to_position(screen, template):
image_x, image_y=template.shape[:2]
result=cv2.matchTemplate(screen, template, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc=cv2.minMaxLoc(result)
print("prob:", max_val)
if max_val > 0.98:
global center
center=(max_loc[0] + image_y / 2, max_loc[1] + image_x / 2)
return center
else:
return False
if __name__=="__main__":
screen=cv2.imread('tmp.png')
template=cv2.imread('Xuandan.png')
print(image_to_position(screen, template))
復制代碼運行上述代碼后，可以看到模板匹配出來的概率為0.9977，位置為(1165, 693)，對于一張圖片，左上角為原點，因為我的分辨率是1280 * 720，那么右下角的坐標就是(1280, 720)。可以看到我們這個選單其實就是剛好在右下角的位置。
游戲腳本其實并不是代碼很難寫，而是需要截很多的圖，這些圖要保證分辨率和原始一樣。我發現在win10如果用畫圖打開圖片
可以保證使用QQ截屏出來的分辨率，和圖片本身的分辨率一樣。
這個時候直接用qq截屏出來的模板即可直接用于識別。
接下來就是有時候需要裁剪一些圖像了，當然我們的模板圖片也可以通過裁剪圖片的方式得到，這樣的模板圖片是最準的。
裁剪其實就是需要裁剪的位置，以及需要的高度和寬度，說白了就是一篇長方形的區域，下面的代碼使用PIL庫實現。
from PIL import Image
def crop_screenshot(img_file, pos_x, pos_y, width, height, out_file):
img=Image.open(img_file)
region=(pos_x, pos_y, pos_x + width, pos_y + height)
cropImg=img.crop(region)
cropImg.save(out_file)
print("exported:", out_file)
if __name__=="__main__":
crop_screenshot("tmp.png", 817,556, 190, 24, "test_id.png")
復制代碼上面的代碼以截取玩家的id為例。
運行代碼后，得到截圖如下：
得到了以上的圖片信息后就是進行OCR了，也就是光學字符識別。這里代碼非常簡單，只要調用API即可。
from PIL import Image
import pytesseract
image=Image.open('test_id.png')
content=pytesseract.image_to_string(image) # 識別圖片
print(content)
復制代碼不過需要注意的一點就是pytesseract識別出來的結果會有空格符，換行符這樣的符號，真正要用的時候進行一些字符的過濾即可。
這篇文章到這里就結束了，主要還是介紹一些ADB以及圖像相關的基礎操作。謝謝大家的觀看。
本文的文字及圖片來源于網絡加上自己的想法，僅供學習、交流使用，不具有任何商業用途,版權歸原作者所有，如有問題請及時聯系我們以作處理。
一、說明
簡述：本文將以4399小游戲《 寵物連連看經典版2 》作為測試案例，通過識別小圖標，模擬鼠標點擊，快速完成配對。對于有興趣學習游戲腳本的同學有一定的幫助。
這里小編也準備了一份python學習資料，關注，轉發，私信小編“01”即可免費獲取！
運行環境：Win10/Python3.5。
主要模塊：win32gui（識別窗口、窗口置頂等操作）、PIL（屏幕截圖）、numpy（創建矩陣）、operator（比較值）、pymouse（模擬鼠標點擊）。
注意點：
1、如果安裝pymouse不成功或者運行報錯，可以考慮先通過whl 安裝pyHook、然后再通過pip安裝pyuserinput。
2、如果報錯 [ImportError: No module named 'windows' ]，可以修改__init__.py相應的行 為 windows=> pymouse.windows。
本文主要參考：https://baijiahao.baidu.com/s?id=1618385402903335091&wfr=spider&for=pc。
二、開發前景（隨便嘮叨一哈，可跳過）
游戲輔助腳本在當前環境也算是比較流行了，對于經常玩游戲人來說，適當的游戲輔助還是很有幫助的，讓計算機做一些繁瑣乏味的操作。當然還有更加高大上的其他操作，這里就不贅述了。對于游戲輔助腳本，能想到基本有以下兩種：一是讀取游戲在內存中的數據，理想的話可以做到更改游戲一些基本屬性，原理和很多的外掛或破解游戲類似；二是模擬用戶用戶行為，模擬鼠標點擊、鍵盤操作等。當然，由于本人從未涉及游戲輔助腳本這一領域，出于個人興趣，學習研究一下，本文例子則是第二種，主要還是模擬用戶行為，讓程序代替用戶操作。
三、開發流程
先看看程序運行圖吧：
瀏覽器打開游戲窗口（單個一個窗口），游戲界面如下圖所示，游戲主要界面截圖需要兩個坐標（左上角坐標和右下角坐標）來確定，原點一般是屏幕左上角，不確定坐標點值的同學，可以全屏截圖，用編輯圖片軟件查看坐標值。獲取窗口句柄，這里就是瀏覽器標題欄的標題了（右鍵-查看源代碼-title，加上軟件名）比如：“寵物連連看經典2,寵物連連看經典版2小游戲,4399小游戲 www.4399.com - Google Chrome“。獲取窗口句柄就可以開始了。
總體開發思路：截取游戲主圖 ---> 分割成小圖 ---> 對比每個小圖，對比圖片相識度，編號存入矩陣 ---> 對矩陣進行可連計算 ---> 模擬點擊。
3.1、獲取窗口句柄，把窗口置頂
python可以使用win32gui模塊調用Windows API實現對窗口的操作，使用FindWindow()方法可以獲取窗口的句柄（handle），需要傳入兩個參數，第一個為父窗口句柄（這里填0即可），第二個參數是窗口的名稱（標簽title - Google Chrome）。獲取句柄之后然后通過SetForegroundWindows() 設置窗口在前面，這里傳入游戲窗口的舉報即可，代碼如下：
3. 2、截取游戲界面，分割圖標，圖片比較
這里需要花費一些時間來校驗程序，如果截取的圖片不好，則會影響后續操作，所以比較主要的是確認游戲左上角和右下角這兩個坐標值，以及每個小圖標的寬高。如下圖所示，先截取整個游戲界面圖，然后分割小圖標，接著對每個圖標進行比較，然后以編號代替圖標存入矩陣（這里的編號矩陣和游戲圖不一致，原理一樣）。
根據初始化設定的左上角和右下角兩個坐標，使用ImageGrab.grab()方法進行截圖，傳入一個元組即可，然后對這個大圖進行分割，切割成一個個小圖標存入到images_list數組中。
通過上面代碼切割的小圖標，轉成數字矩陣，如果圖標已經存入image_type_list則返回這個索引，如果不存在，則在追加進去，然后當前長度就是這個新加入圖標的編號，代碼如下所示：
上面的getIndex就是對比圖片，判斷圖標是否出現過（是否已存在image_type_list中，沒出現則追加進去），這里使用漢明距離判斷兩個圖片的相識度，設置閥值10，當小于閥值則認為是同一個圖片，具體代碼如下：
四、程序核心-圖標連接算法（路徑尋找）
這里僅對算法代碼進行簡單分析，如果對程序不好理解，可以留言，后續可以圖文分析。
通過上面的開發流程，基本獲取如下這樣的矩陣，只要比較兩個編號相同的值進行可連路徑尋找，如果找到即進行模擬點擊操作。這里簡單介紹下游戲規則：8行乘12列游戲圖標區域，外圍的0其實表示尋找路徑的時候可以通過，例如坐標（1, 1）可以與（1,10）進行連接、（7, 1）和（7,2）進行連接。
算法的思路：路徑的尋找首先是尋找一個坐標的橫向豎向可以直接相連的坐標集合，比如坐標p1（1,1）這樣的集合有[ （0,1）, （1,0） ]，另外一個坐標p2（1,10）的可連集合為[ （0,10） ]，然后再對p1和p2的可連坐標集合進行比較，如果集合中坐標也有可連，則表示p1和p2可連，很明顯，（0,1）和（0,10）為同一行且可連，這樣就表示p1和p2兩點存在可連路徑了，代碼如下所示：
簡單分析下代碼實現過程：在isReachable()傳入兩個需要比較的坐標值，然后分別獲取兩個點橫豎向（isRowConnect()、isColConnect()）可以連接的坐標集合，最后再對集合進行遍歷比較是否存在可連的，如果存在則表示傳入的兩個坐標是可以連接的。
五、開發總結
學習這樣一個游戲輔助腳本，對于個人培養編程興趣也是有很多幫助的，在工作之余不失為一個好的消遣方式，以后會多向這些方向研究學習。本案例僅僅是截圖、比較圖片和模擬鼠標點擊，我覺得還可以更加強大，而且還不局限于游戲這樣一個領域，相信大家應該見過自動發QQ消息的軟件吧，我覺得這完全可以做。還有很多模擬操作可以實現：鼠標滾輪，左右鍵、鍵盤輸入等。
六、附件-源碼
注意：源碼僅供學習，轉發注明出處，謝謝！