為開發者大會上宣布的鴻蒙升級計劃，已經開始逐步推進了。
按照計劃，HarmonyOS NEXT將會進行華為設備的Beta版和正式版的升級。
從HarmonyOS NEXT的升級計劃中不難看出，這次華為設備包含的范圍還是很廣的。
華為手機、華為MatePad、華為Watch、華為FreeClip、華為智能眼鏡等，都可以吃上HarmonyOS NEXT。
連耳機和眼鏡都支持升級HarmonyOS NEXT，唯獨缺失了PC這個產品。
HarmonyOS NEXT正式版發布之后，在開發者官網中，卻出現了一個讓人意外的設備。
從HarmonyOS NEXT開發者官網中公布的圖片來看，共有四款設備支持。
配合開發者指南的目錄列表進行對照，基本上可以判定這四款設備，分別是手機、折疊屏、平板和2in1設備。
那么什么是2in1設備呢？
根據華為HarmonyOS NEXT開發者指南中的解釋，2in1設備融合了屏幕觸摸和鍵盤鼠標的使用狀態。
2in1設備的屏幕尺寸較大，需要有固定的工作臺，鍵盤鼠標和觸控板是優先交互手段，既可以辦公也可以娛樂。
這些參數綜合到一起，不就是妥妥的PC嗎？
也就是說，HarmonyOS NEXT開發者指南中的圖片，應當就是搭載鴻蒙OS的PC。
從鴻蒙PC的布局方式來看，和iOS倒是非常相似。
比如PC的狀態欄全部在屏幕的頂端，而常用的軟件則在屏幕的底部。
鴻蒙PC的界面十分簡潔，和Windows界面相比要更加漂亮。
而且鴻蒙PC上的部分插件外觀也曝光了，比如天氣。
可以說信息量豐富，而且制作的十分精美。
還有鴻蒙PC上的文件夾圖案效果，基本上實錘了。
注意看左上角的《2in1設計規范》，還有左側《我的電腦》。
再次說明2in1設備就是PC。
不過鴻蒙PC目前也存在一個問題，和HarmonyOS NEXT之前遇到的問題比較相似。
那就是鴻蒙PC的生態支持。
在HarmonyOS NEXT之前，華為選擇兼容安卓APP來維持鴻蒙生態的使用，等待時機成熟之后才全面升級HarmonyOS NEXT。
鴻蒙PC或許也會采取同樣的策略。
華為會給鴻蒙OS添加一個Windows模擬器，從而實現鴻蒙PC上正常使用Windows軟件。
等待時機成熟之后，鴻蒙PC的生態已經打造成功之后，將模擬器去除掉即可。
和安卓軟件相比，Windows的辦公軟件和娛樂軟件更多，并且更加專業。
所以鴻蒙PC想要實現完全的獨立，依然還有很長的路要走。
不過鴻蒙OS的國內市場份額已經全面超越了iOS，成為國內第二。
如果鴻蒙PC實現獨立之后，那么鴻蒙OS的市場份額取代安卓成為第一也是大概率事件。
而且HarmonyOS NEXT正式版的發布，同樣也是鴻蒙PC的解決方案。
現在最頭疼的，應該是蘋果吧！
器之心報道
機器之心編輯部
當我們談到 AI 助手的未來，很難不想起《鋼鐵俠》系列中那個令人炫目的 AI 助手賈維斯。賈維斯不僅是托尼?斯塔克的得力助手，更是他與先進科技的溝通者。如今，大模型的出現顛覆了人類使用工具的方式，我們或許離這樣的科幻場景又近了一步。想象一下，如果一個多模態 Agent，能夠直接像人類一樣通過鍵盤和鼠標直接操控我們身邊的電腦，這將是多么令人振奮的突破。
AI助手賈維斯
近期，吉林大學人工智能學院發布了一項利用視覺大語言模型直接控制電腦 GUI 的最新研究《ScreenAgent: A Vision Language Model-driven Computer Control Agent》，它將這一想象映射進了現實。該工作提出了 ScreenAgent 模型，首次探索在無需輔助定位標簽的情況下，利用 VLM Agent 直接控制電腦鼠標和鍵盤，實現大模型直接操作電腦的目標。此外，ScreenAgent 通過「計劃-執行-反思」的自動化流程首次實現對 GUI 界面的連續控制。該工作是對人機交互方式的一次探索和革新，同時開源了具備精準定位信息的數據集、控制器、訓練代碼等。
ScreenAgent 可以幫助用戶輕松實現在線娛樂活動，購物，旅行，閱讀等也不在話下。它還可以是最了解你的貼心管家，幫助用戶管理個人電腦。甚至無需動手，就幫助用戶實現快速辦公，成為你最得力的辦公助手！話不多說，直接看效果。
帶你網上沖浪，實現娛樂自由
ScreenAgent 根據用戶文本描述上網查找并播放指定的視頻：
系統操作管家，賦予用戶高階技能
讓 ScreenAgent 打開 Windows 的事件查看器：
掌握辦公技能，輕松玩轉 office
此外，ScreenAgent 可以使用 office 辦公軟件。例如根據用戶文本描述，刪除所打開的第二頁 PPT：
謀定而后動，知止而有得
對于要完成某一任務，在任務執行前必須要做好規劃活動。ScreenAgent 可以在任務開始前，根據觀測到的圖像和用戶需求，進行規劃，例如：
將視頻播放速度調至 1.5 倍速：
在 58 同城網站上搜索二手邁騰車的價格：
在命令行里安裝 xeyes:
視覺定位能力遷移，鼠標選定無壓力
ScreenAgent 還保留了對于自然事物的視覺定位能力，可以通過鼠標拖拽的方式繪制出物體的選框：
方法
事實上，要教會 Agent 與用戶圖形界面直接交互并不是一件簡單的事情，需要 Agent 同時具備任務規劃、圖像理解、視覺定位、工具使用等多種綜合能力?，F有的模型或交互方案都存在一定妥協，例如 LLaVA-1.5 等模型缺乏在大尺寸圖像上的精確視覺定位能力；GPT-4V 有非常強的任務規劃、圖像理解和 OCR 的能力，但是拒絕給出精確的坐標。現有的方案需要在圖像上人工標注額外的數字標簽，并讓模型選擇需要點選的 UI 元素，例如 Mobile-Agent、UFO 等項目；此外，CogAgent、Fuyu-8B 等模型可以支持高分辨率圖像輸入并有精確視覺定位能力，但是 CogAgent 缺乏完整函數調用能力，Fuyu-8B 則語言能力欠缺。
為了解決上述問題，文章提出為視覺語言模型智能體（VLM Agent）構建一個與真實計算機屏幕交互的全新環境。在這個環境中，智能體可以觀察屏幕截圖，并通過輸出鼠標和鍵盤操作來操縱圖形用戶界面。為了引導 VLM Agent 與計算機屏幕進行持續的交互，文章構建了一個包含「計劃-執行-反思」的運行流程。在計劃階段，Agent 被要求將用戶任務拆解為子任務。在執行階段，Agent 將觀察屏幕截圖，給出執行子任務的具體鼠標和鍵盤動作。控制器將執行這些動作，并將執行結果反饋給 Agent。在反思階段，Agent 觀察執行結果，并判定當前的狀態，選擇繼續執行、重試或調整計劃。這一流程持續進行，直到任務完成。值得一提的是，ScreenAgent 無需使用任何文字識別或圖標識別模塊，使用端到端的方式訓練模型所有的能力。
ScreenAgent 環境參考了 VNC 遠程桌面連接協議來設計 Agent 的動作空間，包含最基礎的鼠標和鍵盤操作，鼠標的點擊操作都需要 Agent 給出精確的屏幕坐標位置。相比起調用特定的 API 來完成任務，這種方式更加通用，可以適用于各種 Windows、Linux Desktop 等桌面操作系統和應用程序。
ScreenAgent 數據集
為了訓練 ScreenAgent 模型，文章人工標注了具備精準視覺定位信息的 ScreenAgent 數據集。這一數據集涵蓋了豐富的日常計算機任務，包括了 Windows 和 Linux Desktop 環境下的文件操作、網頁瀏覽、游戲娛樂等場景。
數據集中每一個樣本都是完成一個任務的完整流程，包含了動作描述、屏幕截圖和具體執行的動作。例如，在亞馬遜網站上「將最便宜的巧克力加入到購物車」的案例，需要先在搜索框中搜索關鍵詞，再使用過濾器對價格進行排序，最后將最便宜的商品加入購物車。整個數據集包含 273 條完整的任務記錄。
實驗結果
在實驗分析部分作者將 ScreenAgent 與多個現有的 VLM 模型從各個角度進行比較，主要包括兩個層面，指令跟隨能力和細粒度動作預測的正確率。指令跟隨能力主要考驗模型能否正確輸出 JSON 格式的動作序列和動作類型的正確率。而動作屬性預測的正確率則比較每一種動作的屬性值是否預測正確，例如鼠標點擊的位置、鍵盤按鍵等。
指令跟隨
在指令跟隨方面，Agent 的首要任務就是能夠根據提示詞輸出正確的工具函數調用，即輸出正確的 JSON 格式，在這方面 ScreenAgent 與 GPT-4V 都能夠很好的遵循指令，而原版的 CogAgent 由于在視覺微調訓練時缺乏 API 調用形式的數據的支撐，反而喪失了輸出 JSON 的能力。
動作屬性預測的正確率
從動作屬性的正確率來看，ScreenAgent 也達到了與 GPT-4V 相當的水平。值得注意的是，ScreenAgent 在鼠標點擊的精確度上遠遠超過了現有模型。這表明視覺微調有效增強了模型的精確定位能力。此外，我們還觀察到 ScreenAgent 在任務規劃方面與 GPT-4V 相比存在明顯差距，這凸顯了 GPT-4V 的常識知識和任務規劃能力。
結論
吉林大學人工智能學院團隊提出的 ScreenAgent 能夠采用與人類一樣的控制方式控制電腦，不依賴于其他的 API 或 OCR 模型，可以廣泛應用于各種軟件和操作系統。ScreenAgent 在「計劃-執行-反思」的流程控制下，可以自主地完成用戶給定的任務。采用這樣的方式，用戶可以看到任務完成的每一步，更好地理解 Agent 的行為想法。
文章開源了控制軟件、模型訓練代碼、以及數據集。在此基礎上可以探索更多邁向通用人工智能的前沿工作，例如在環境反饋下的強化學習、Agent 對開放世界的主動探索、構建世界模型、Agent 技能庫等等。
此外，AI Agent 驅動的個人助理具有巨大的社會價值，例如幫助肢體受限的人群使用電腦，減少人類重復的數字勞動以及普及電腦教育等。在未來，或許不是每個人都能成為像鋼鐵俠那樣的超級英雄，但我們都可能擁有一位專屬的賈維斯，一位可以陪伴、輔助和指導我們的智能伙伴，為我們的生活和工作帶來更多便利與可能。