器之心報道
編輯：杜偉、陳萍
有了這個項目，大家終于可以親身體驗一把人體姿態估計成像的神奇之處了！
在 CV 領域，人體姿態估計（human pose estimation）利用目標檢測模型和姿態估計模型來識別出人體各個關節的位置和網格，并已在動作識別、動畫、游戲、運動捕捉系統中有著廣泛的應用。
但遺憾的是，人體姿態估計常常見諸于學術研究中，普通讀者很難親身體驗它的神奇成像效果。
近日，機器之心在 GitHub 上發現了一個有趣的項目「air-drawing」，作者創建了一個利用深度學習的工具，使你在配有攝像頭的電腦端可以獲得自己的手勢姿態估計成像圖。
項目地址：https://github.com/loicmagne/air-drawing
此外，作者使用的深度學習模型還可以預測「向上」或「向下」的手勢動作。動態效果展示圖如下：
小編也嘗試在自己的電腦上捕捉到了手勢姿態估計網格圖：
然后試著寫了兩個字「中國」，不知各位讀者認得出來嗎？！
試玩地址：https://loicmagne.github.io/air-drawing/
作者表示，試玩過程中不會收集用戶信息。作者還優化了代碼，使得該工具可以在大多數電腦上運行。電腦上的網絡攝像頭質量會對成像效果產生影響，調高屏幕亮度有助于更快地觸發攝像頭，并提升快門速度和幀率。如果手部一部分在框架之外，則手部檢測無法正常工作。在繪圖寫字時，保持手指向上，手指向下時會影響指尖的檢測。
技術細節
這個可以隔空作畫的工具使用深度學習來完成，實現 pipeline 包含兩個步驟：手勢檢測以及預測所要畫的圖，這兩個過程都是通過深度學習來完成的。其中，手勢檢測使用了手部追蹤解決方案 MediaPipe toolbox。
MediaPipe toolbox 項目地址：https://google.github.io/mediapipe/solutions/hands.html
繪圖預測部分只用到了手指位置相關技術。輸入是一個 2D 點序列（實際上，該項目使用的是手指的速度和加速度，而不是位置，來保持預測的平移不變），輸出是二元分類「向上（pencil up）」或「向下（pencil down）」。
此外，項目作者還使用了簡單的雙向 LSTM 架構，并且做了一個小數據集（大約 50 個樣本），數據標注使用「python-stuff/data-wrangling/」工具。一開始，項目作者想做一個實時的「向上 / 向下」預測，即在用戶繪畫的同時做出預測。然而，由于任務太難，導致結果很差，因此采用雙向 LSTM。
關于深度學習 pipeline 細節，你可以在 jupyter-notebook 中的 python-stuff/deep-learning / 了解更多信息。
該應用程序可以在用戶端使用，作者將 PyTorch 模型轉換為. onnx，然后使用 ONNX Runtime，它非常方便，可以兼容很多層。
總體來說，這個 pipeline 還需要進一步完善，一些改進的想法包括：
作者答疑
可以隔空繪畫的這個項目引來了眾多網友的討論，有人不禁感慨，「這太酷了！讓我想起迪士尼的廣告，他們會用發光的魔杖畫出米老鼠的頭。」
在網友表達驚喜的同時，也有人提出了自己的疑惑。項目作者在 reddit 上對部分網友的的疑問進行解答，我們列舉其中一部分。
有網友表示，這是一個不錯的項目，并有疑問——RNN 是從頭開始訓練的，還是在預訓練模型的基礎上進行微調的？
作者表示：「模型是從頭開始訓練的，但使用預訓練模型可能是一個不錯的建議。」
還有網友提問：「預測是實時的嗎？那樣的話，這將是一個真正的魔法。」
作者表示，預測是實時的。但遺憾的是，實時性能不是很好，所以必須使用雙向 LSTM。
還有網友建議「使用 transformer 可以獲得更好的性能」。
對于這個建議，作者表示自己曾嘗試過自注意力層，但是結果并不理想。如果有一個更大數據集的話，采用 transformer 效果會更好。
參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/pmqtj9/p_using_deep_learning_to_draw_and_write_with_your/
下的學子們迎來了網課時代。網課時代，電腦當然要學。使用電腦繞不開鍵盤的操作。
由于未成年人的手指、骨骼、肌肉等還沒有發育完全，掌握正確的打字姿勢和養成好的打字習慣就顯得非常重要。
當你家有娃要學電腦打字的時候，你可能也在想，怎么才能讓孩子既快速又正確，還不失興趣地學習打字呢？
練習打字，正確的方法不太多，錯誤的方法倒是有一些。
記得我在剛練習打字時，那時電腦還沒有普及，市場上有一種仿鍵盤的鍵盤紙銷售，是塑料材質的。用這種鍵盤紙練打字，一來沒有敲擊真實鍵盤的手感，二來也沒有屏幕顯示，無法確認輸入的對錯，練打字的效果可想而知。
隨著電腦的普及，用鍵盤練習打字是再常見不過的了。但是，鍵盤上的按鍵并沒有規律性。據說當初電腦剛問世時響應速度不快，如果連續敲擊鍵盤，電腦反應不過來，所以，設計者在設計鍵盤時故意將按鍵打亂。對于沒有規律的按鍵，怎么練才能擊鍵如飛呢？
有的家長直接讓孩子進行拼音練習，而不是進行敲擊字母的基礎訓練。孩子在練習時常常使用“一指禪”，不停地低頭抬頭去尋找正確的鍵位，這也是比較常見的輸入障礙之一。
如何養成正確的輸入習慣，少年兒童練習使用鍵盤有什么好用的方式？現在給您安利一款產品。
畫面色彩清新，并配有小動物爬行，生動又有趣，孩子在練習過程中不會感覺到枯燥。
字符源源不斷地下落，并且有提示用哪個手指進行敲擊。這樣練習得多了，手指自然而然便形成了記憶。
練習的速度有快、中、慢三檔可調節，孩子在練習過程中可以根據自己的情況進行選擇。
該產品的設計還有計數統計。當孩子自行練習時，電腦界面上會顯示計數數字，這不僅可以解放家長的時間，家長還可以一目了然地了解孩子的練習情況。
還有很重要的一點，有的練習打字的產品過于游戲化，這反而有可能會把孩子往游戲的方向上引。而這個產品是基于全球知名的圖形化編程軟件開發的，安裝了這個軟件，有可能會將孩子往編程的方向引導，這可比游戲化正經得多。
昨晚舉辦的第二十五屆“藍天下的至愛”大型慈善晚會上，漸凍人林炯一度成為眾人矚目的焦點。這一刻，他是幸運的，他喜歡的上海上港集團足球俱樂部球員們，特意來到現場給他送新年禮物。球員王燊超、蔡慧康和呂文君為他送去兩張VIP門票，并現場捐資幫助他購買一臺用于制作視頻的電腦，這兩樣可都是林炯的最愛。
林炯操作電腦的方式，比常人艱難百倍——他要費盡全力向左側身，將下垂的右手勉強擱上桌面，然后再次竭盡全力頃身，將右手擱上鍵盤，用一個手指開始敲擊鍵盤。
盡管這樣，他靠著電腦創造的作品超越了許多人。當病魔奪走他一個又一個身體機能的同時，他卻掌握了一個又一個新技能：手指再也無法伸直時，他學會了Photoshop，手再也舉不起杯子時，他學會了3dsMax；當腳在床上只能彎曲時，他熟練掌握了電腦繪畫技術……靠著自學電腦獲得的技能，他在全國全市等電腦設計大賽中數十次獲獎。
他還有自己實名認證的微博。打字很艱難，但他的每一條微博都是滿滿感恩與感謝：新年第一天，他曬出自己給慈善基金會“漸凍人營養補充計劃項目”捐贈證書；2018年最后一天，他PS了一張新年電子賀卡送給網友；2018年7月28日，他在自己的生日時寫下一段話：“如果每個人都是一本書，父母是出版社，生日是出版時間，身份證是書號，一年算一頁的話，那今天起，就是我這本書的第42頁，無論我的故事讀起來是多么的平淡無奇，但我始終感恩一切，感謝里面有您的參與！”
家住靜安區彭浦鎮的林炯，今年42歲，他已與這一殘酷疾病頑強抗爭了30多年。小時候，林炯快到2歲才開口說話。小學一年級時發現自己發音不準，上嘴唇并不攏，走路也很容易摔倒，五年級那年出現了四肢無力的癥狀，被診斷為“進行性肌肉萎縮癥”。他艱難地讀完職校，那時已漸漸失去行走能力，坐上了輪椅。
漸凍癥把日常生活中的每一件瑣事都變成了巨大的挑戰。刷牙時， 母親幫他擠好牙膏，林炯拿兩只手固定住臉盆，來回搖晃頭來完成刷牙動作；隨著年齡增長，他的肌肉越來越無力，睡覺時甚至眼睛沒有力氣完全閉上，腳也伸不直，翻身也需要靠母親幫忙。
這種病的病因至今不明。據說，20%的病例可能與遺傳及基因缺陷有關。另外有部分環境因素，如重金屬鋁中毒等，都可能造成運動神經元損害。林炯的母親常常對他說：“是媽媽對不起你，讓你得了這個病。”而林炯不這樣看：“媽媽，謝謝你把我帶到這個世界上來。”
前幾年，林炯的父親去世后，母子倆的生活更為艱難。母親是退休教師，每月退休金4000元，外加林炯本人每月1000元的重殘無業補貼，母子倆每天吃一份10塊錢的老年盒飯，一周請一次鐘點工給林炯洗澡。
即便如此，林炯還是沒有放棄自己的人生。他自學電腦設計技術，學會了使用各種專業軟件，還緊跟潮流制作各種最潮的卡通形象。除了參加比賽，他還用自己的電腦特長，幫助朋友解決電腦上的各種問題，免費幫助社區、鄉鎮作多媒體PPT、動畫、宣傳資料、海報會標等。
林炯不但活出了自己，也成了自強不息精神的代言人。他的故事被改編成話劇作品《長腳雨》，于去年上映。故事的女主角是一位家境殷實的商場精英，在一個下著長腳雨的日子，她開著車與一位老人相遇，于是，兩個原本行進在不同軌跡的家庭交織到了一起。老人的兒子是個“漸凍人”，這位“漸凍人”所表現出來的頑強生命力和樂觀向上、感恩社會的精神，深深地觸動到了女主角的內心深處,于是，兩顆心乃至兩個家庭的其他成員漸漸地打開了心結。
故事意味深長，但或許誰也沒有林炯理解的深入——江浙一帶的人把入梅后下個不停的雨稱作“長腳雨”，這種雨連綿不斷、極其漫長，如同人心的通透徹悟，雨下透了方能雨過天晴、豁然開朗。
版權聲明：如涉及版權問題，請作者持權屬證明與本網聯系