淘寶上搜索 贏移網資料庫。一包煙和一頓飯的錢就讓你得到幾百份相關學習視頻和資料. 《QQ堂》產品后續 “歡樂幸運星”事件之后，互娛停止了所有涉及抽獎Q幣，游戲幣的活動，再不涉及任何通過平臺渠道發放Q幣的活動，以避免風險； QQ堂團隊也停止了這種直接通過抽獎獲利的營銷活動，開始繼續專注于游戲內容的設計和付費挖掘； 2006年2月份，QQ堂一系列游戲活動獲得成功，同時在線達到22萬高點，收入也實現了連續翻番，QQ堂道具營銷方面經驗讓很多產品學習得益。 騰訊游戲發布軌跡 2004年 2005年 2006年 2003年 2007年 2008年 2003-08 QQ游戲大廳發布 凱旋公測 2009年 2005-06 QQ寵物發布 2005-10 QQ幻想公測 2004-12 QQ堂公測 QQ幻想產品 《QQ幻想》是騰訊的一款戰略級產品，是互娛自主研發了三年多的首款MMOG產品。這款產品也是互娛在凱旋項目失利之后，再次嘗試運營的MMOG產品。該款產品2005年10月25日公測，最高同時在線用戶數一度達到66萬，是互娛重要的收入產品。 QQ幻想產品 《QQ幻想》產品是一款探索獲取經驗的產品，雖然我們投入了大量的人力和時間在這款產品上，但是也畢竟暴露出了我們的很多經驗不足之處； 雖然借助騰訊平臺的強大力量，《QQ幻想》獲得了公測的良好效果，但是游戲設計，運營理念方面的一些不足還是讓產品在線不斷下挫。
在收費后，產品在線已經不足公測時的一半； 在一年多運營過程中，這個項目也不斷出現過一些不同程度的事故，在線活動的投訴率一直居高不下。 QQ幻想道具復制漏洞事故記錄 2006年11月12日下午3點，客服方面報告，在游戲中出現一個開店售賣的BUG，會導致開店商人顯示的物品列表和實際不符。有玩家利用此漏洞進行欺詐，導致大量用戶投訴，已經構成一級突發事故，事故已經分派到三線； 接報后，產品經理和PM（兼服務端主程）趕到公司處理。經過分析，發現是因為客戶端BUG導致看到的要買的寵物和實際要買的寵物不一致，從而被玩家利用進行欺詐。產品方面分析了具體過程和投訴單據后認為該問題比較嚴重必須盡快解決，因此打電話通知測試組運維組，準備進行緊急更新； 因為客戶端方面人員一時聯系不到，因此PM決定從服務端解決該問題。PM提出兩個臨時解決方案，一個是帶寵物商品交易會直接失敗，一個是帶寵物商品交易，寵物商品會自動回到玩家背包。產品方面建議采用后者方案，比如不容易引起玩家困惑。 QQ幻想產品 下午5點，臨時修改完畢，程序在內網更新，測試組進行了測試。6點，更新到外網一臺服務器，經過一個小時觀察感覺正常，7點半進行了全服更新，產品方面在官網和論壇發布了暫停交易公告； 再繼續觀察了半小時無異常，產品方面和客服方面溝通之后，大家回家吃晚飯。
其實這時一個嚴重的BUG已經被引入到整個游戲世界中 問題開始蔓延 一個游戲道具復制漏洞實際上已經被部分玩家發現，玩家在不斷利用這個BUG復制道具的同時ppt抽獎器開始停止，開始通過各種途徑傳播這個問題：游戲內/各種論壇/QQ群 越來越多的用戶開始利用這個BUG復制道具，而且用戶開始意識到大量非法道具一定會被官方查處，因此開始設法用各種各樣的方式轉移復制出來的非法道具。 QQ幻想道具復制漏洞事故記錄 晚上8點多，客服報告，開店售賣可能還是存在問題。程序組測試組趕回公司處理，分析后認為下午的修改，有極低概率可能導致道具復制，并且及時修改了這個問題； 晚上9點半，程序方面回報問題已經解決完畢，按問題出現概率來看，帶來影響應該不大。因此產品方面就沒有將此問題升級到事故處理流程進行分析處理； 處理問題最有價值的黃金時段就這樣過去了 QQ幻想道具復制漏洞事故記錄 次日上午，產品方面發現用戶反饋意見很多，問題比較嚴重，于是要求程序組重新分析原因，要求運維組統計道具復制問題的程度。 測試組重現BUG后發現還有更簡單的重現辦法，復制門檻很低。運維統計的初步結果也表現涉及復制玩家多達千名，于是召集事故處理會議進行討論； 事故處理會議決定先對嫌疑最大的963個賬號進行查封處理，以防止復制道具進一步流傳，同時開始進行掃描分析； 因為事故發生已經過去10多個小時，復制物品游戲內流向已經非常復雜，但是最近的數據備份時間卻是在凌晨四點，在事故發生之后，再近一次的備份時間是前天的凌晨四點。
運營方面陷入兩難境地，無論是否回檔都面臨重大損失。 QQ幻想道具復制漏洞事故記錄 事故處理小組無法迅速做出回檔決定，于是一方面向BU層面報告，一方面決定采用保守方案，掃描全服務器數據，以查找并凍結復制裝備； 到中午時間，數千個擁有復制裝備的賬號已經被凍結，但是游戲內仍然有大量復制道具仍然還在流通，整個游戲的物價受到劇烈影響，經濟系統陷入混亂之中； 為了穩定玩家情緒，運營團隊通過官網發布公告，道歉并宣稱不會回檔處理，官方有能力收回非法裝備，希望大家給與支持； 到下午時間，掃描數據的工作已很難取得成效，大量無意購買復制裝備被封號的玩家也開始激烈投訴。各渠道的一線客服壓力劇增，大量人力被調派來協助處理，數以千計的投訴單據給產品方面增加了巨大壓力； 在這樣巨大的壓力下，運營組決定先停止服務器，然后再決定具體處理方案。 11月13日幻想玩家在游戲內各大城市聚集，示威游行，強烈要求官方回檔。 QQ幻想道具復制漏洞事故記錄 一邊是運營方已經做出的不回檔保證、超越48小時的回檔帶來的損失、回檔全部57組服務大區數據的難度和風險、回檔后會產生的各種用戶的海量投訴； 另一邊是玩家越來越激烈的抗議情緒、游戲內混亂的經濟系統、接近崩潰的物價和無數根本就無法處理的投訴； 系統和部門領導都參加了第二輪的事故處理討論會議，會議到晚上1點鐘做出決定，最終決定不惜一切損失和風險進行回檔； 接著運維組開始連夜準備回檔方案，程序組開始制作各種工具，產品組開始準備相關公告和補償方案； 那天深夜，回檔的公告在經過了無數人的反復的，斟字酌句的修改后，最后終于在向玩家承諾公布處理方案時限的最后半小時放到了官方網站上； 早晨8點，回檔成功，服務器分批開始重新開放。
QQ幻想產品 QQ幻想道具復制漏洞事故記錄 回檔公告告訴玩家： 整個QQ幻想世界全部57組服務器將在此次停機維護結束之后恢復到11月12日凌晨4：00左右的狀態，所有玩家的游戲數據也將全部回檔到同一時間，所有玩家都需要回檔48小時； 我們需要補償玩家大量的經驗值，道具，金幣，寵物，游戲點卡，玩家寄售卡等等； 我們贈送給玩家兩天免費游戲，兩天雙倍經驗雙倍掉率等等； 對于用戶的一切概率事件，我們均無法復原。 之后數千單的各種投訴還困擾了項目組將近一個月的時間，此次事故流失的玩家難以估量，直接經濟損失數百萬計。在幻想游戲本來進入衰退期之前，此次事故無疑是起到了加速產品老化的效果。 在線損失 收入損失 南方都市報 11月16日 刊登題為“騰訊付費游戲停擺 玩家討伐如潮”的負面報道，其后被很多媒體競相轉載。 輿論危機 講述事故背后的故事，從案例了解網游運營 目錄 凱旋游戲產品 Mini Boss活動事故 白裝備事故 QQ堂游戲產品 歡樂幸運星活動事故 QQ幻想游戲產品 售賣系統道具復制游戲事故 “絳紫寶箱”道具復制事故 Mini Game平臺 Dir 雪崩 騰訊游戲發布軌跡 2004年 2005年 2006年 2003年 2007年 2008年 2009年 從2003年到2008年，騰訊游戲的發展已經走過了5年多的歷程。
2003-08 QQ游戲大廳發布 凱旋公測 《凱旋》產品《凱旋》是騰訊代理的一款3D大型網游，也是我們試水網絡游戲市場的第一款產品。為此騰訊在上海專門組建了網絡游戲事業部來負責該產品的運營工作，該游戲從2003年8月1日正式公測上市。 《凱旋》產品《凱旋》在當時是一款非常高端的產品，3D畫面效果優秀出色，采用了無縫地圖技術，真實裝備，任務鏈設計，寵物系統等等，設計理念新穎，市場影響力大。 網游運營事業部組織圖 部門總經理 市場部 策劃部 客服部 技術部 海外部 渠道部 市場策劃組 網站設計組 翻譯 測試 策略網絡游戲事業部的組織架構圖《凱旋》公測之后，為了迎接十一長假，策劃希望策劃一些線上活動，繼續沖高在線，Mini Boss活動就此出爐。 《凱旋》產品 Mini Boss事故記錄 由策劃部提出希望在國慶節期間開展一個在線活動，營造游戲中的節日氣氛，并提高節日期間在線； 活動策劃案需求轉交韓方后，韓方回復他們正好新開發了一個類似的活動包，可供我們使用； 這個活動包的內容主要是將游戲內地底深處的超級BOSS縮小后隨機放到地面刷出，供普通玩家挑戰，并且還有機會獲得珍貴寶石； 策劃部門同意采用該活動包，作為國慶期間節日活動的一部份，并相應準備了相關的網站宣傳內容； 活動包由韓方提供給海外部，同時策劃部之前提供了測試需求給海外部，海外部測試后認為符合需求，因此交給了技術部，然后技術部安排了自動更新的腳本，在10月1日凌晨自動啟動。
Mini Boss事故記錄 10.1期間，部門放假，活動自動執行，結果因為一些細節設計問題和寶石產出幾率過高，導致活動期間珍貴寶石大量產出，玩家采用自動化方法大量獲取珍貴寶石后對整個經濟系統產生巨大影響； 流通道具的大量產生導致了一系列問題，游戲體驗被迅速透支，流失玩家數量驚人； 假期結束后，整個游戲在線由4W多下跌到不足2W，游戲內經濟崩潰，物價異常變動，大量忠實玩家離開，流失玩家數量巨大。因此事故時間太久，無法回檔，官方已經沒有任何辦法消除事故影響； 經此打擊之后，凱旋的游戲在線一直未能得到恢復ppt抽獎器開始停止，之后再未突破過4W水平，在線持續下跌至目前水平。 《凱旋》產品 部門總經理 市場部 策劃部 客服部 技術部 海外部 市場策劃組 網站設計組 翻譯 測試 策略 韓方 《凱旋》產品 在Mini Boss事件中，錯誤究竟發生在哪里呢？ 似乎每個部門都有錯，但是每個部門卻又沒有能力去發現和制止錯誤，似乎大家一起努力的結果就是朝錯誤的方向越跑越遠； 在錯誤產生之后，卻很難找到責任人，甚至沒有一個直接責任人出現。事故之后，團隊沒有收獲任何經驗教訓，只能繼續這樣運轉。 《凱旋》產品 白裝備事件記錄 2004年1月15日凱旋發布一個新的版本的時候出現的一個BUG，導致部分玩家背包中的帶屬性的綠色藍色等高級裝備變成沒有屬性的白色裝備，同時還出現部分玩家角色消失問題； 在我方測試時，未及時發現此問題。
更新后，開始陸續接到玩家投訴，技術部檢查后確認是游戲BUG造成，于是通過商務部向韓方提出緊急修復的需求，同時開始逐個手工處理玩家投訴； 當天下午的時候，玩家投訴量達到400單，技術部門開始通宵處理，到次日凌晨投訴量已經上升到1500單，手工處理已經無法承擔。這時候因為北京的展會緣故，相關領導均不在公司，一直無人拍板最終處理方案，只能繼續手工處理。 白裝備事件記錄 等到下午，韓方發來一個統計工具，用于統計受損的賬戶數量； 經過統計后發現受影響賬號竟然在10萬以上，于是又經過漫長討論，最終決定回檔。此時距離發現問題已經過了30多個小時，需回檔時間近2天，受影響活躍玩家幾十萬人； 回檔過程中，再次發現數據異常，無法啟動服務器，游戲停機時間一再延長，在18個多小時后才恢復了服務； 經此打擊，更多的活躍玩家離開了凱旋，游戲在線下跌到1萬余。對于回檔游戲數據，團隊既沒有成熟的運營處理預案，也沒有進行過任何演練，遲鈍的反應和生硬的處理手法顯現出了運營團隊的稚嫩。 《凱旋》產品 在白裝備事件中，我們得到了哪些教訓呢？ 對于網游產品，測試部門是一定需要專業重點建設的； 對于緊急事故必須有完備的處理預案和責任人制度； 對于重大的備份恢復操作，平時要經常演習熟悉； 對于風險評估和具體應對，我們還需要更多的經驗； 對于用戶管理和運營維護方面的經驗缺乏，輿論導向控制不力，用戶反饋收集緩慢，信息不全，用戶體驗很差； 最重要的是，我們需要一個符合網游產品運營特點的團隊管理結構。
只有合理的將一個整體任務的結果責任賦予某人，才能讓其擁有與這個責任對等的權力來制約和控制整個事情。 經驗必須是沉積在每個人身上，而不是整個團隊，富有經驗的的產品經理是一個團隊的重要財富。 現在的運營團隊工作模型 一個運營團隊的三層工作模型 客服 市場 運維 渠道 網站 研發 用戶 …… 現在的運營團隊工作模型 涉及的資源關系 策劃 客服 運維 市場 網站 渠道 信息 商務 品牌 用戶 外包 程序 美術 公關 法務 廣告 戰略 安全 其他內部團隊 運營團隊 項目組 現在的運營團隊內部工作模型 運營項目A 運營項目B 運營項目C 《凱旋》產品后續 《凱旋》之后，公司在很長時間一直沒有再代理海外的游戲產品； Game的崛起讓公司決策方面決定加強自研網游產品的投入，上海團隊主要力量被拆散，大部分骨干人員流失，騰訊在大型網游市場的第一步就摔了一個不小的跟頭； 自研Game產品獲得成功后，公司決定繼續研發更加高端的游戲產品，第一款ACG產品《QQ堂》2004年中正式立項了。 騰訊游戲發布軌跡 2004年 2005年 2006年 2003年 2007年 2008年 2003-08 QQ游戲大廳發布 凱旋公測 2009年 2004-12 QQ堂公測 《QQ堂》產品《QQ堂》從2004年6月開始開發，12月30日正式公測上市，2005年7月1日發布正式版本，游戲最高在線一度達到22萬最高同時在線，注冊用戶數多達數千萬玩家。
《QQ堂》產品 QQ堂產品第一次建立了產品運營團隊，雖然才3個產品人員，但是已經開始建立項目和產品的負責制。同時，部門也逐漸開始嘗試將技術主導型的工作模式轉變產品運營主導型的工作模式； QQ堂如果誕生在別的公司，注定將成為一個沒有任何市場反應就會迅速失敗的產品，但是我們的平臺給這個產品源源不斷的送去了用戶，讓產品研發運營團隊得以生存，得以學習和提高。在運營了7個月后，產品運營團隊開始逐漸找到了感覺，終于開始學會如何掌控這個產品，7月的正式版本之后，QQ堂慢慢發力，在線開始節節上升； 產品團隊信心十足，甚至開始變得有點急功近利了 《QQ堂》產品 QQ堂“歡樂幸運星”抽獎 2005年8~9月間，因為互娛BU另外一款重量級產品《QQ幻想》的跳票，互娛系統的月度考核指標遇到了極大的挑戰，領導層號召各個產品設法拉高收入，嚴守KPI底線； QQ堂產品當時在線狀況發展良好，如何轉換成為收入的問題于是變得更加重要，大家開始群策群力的貢獻點子，力求幫系統更多承擔一些收入； 在幾次風暴會議后，多個營銷性質項目開始啟動。其中，有一個博彩類的項目非常被大家看好，這個項目叫做QQ堂“歡樂幸運星”抽獎活動。
《QQ堂》產品 2005年9月29日晚8點，在經過研發測試等同事加班加點的緊張開發之后， “歡樂幸運星”活動如期開發完畢，并按照版本計劃， 更新到了外網環境； 8點半鐘，運營團隊接客服報告，聲稱有兩名玩家已經中到一千萬游戲幣的大獎。運營團隊按照緊急預案召集所有相關人員趕回公司處理； 9點多，客服方面再次匯報，已經確認BUG存在，有大量玩家重復中獎。運營負責人要求立即關閉道具售賣系統； 10點前，運維同事關閉了道具售賣服務器，產品，研發，運維，測試等各線人員趕到，馬上召開了事故分析處理會議，并通知平臺線方面同事協助； 11點，事故原因查明，得到事故初步損失統計，參與得利玩家第一批名單也已經獲得，運營團隊開始要求各方面協助攔截非法游戲幣。 《QQ堂》產品 事故過程原因 在抽獎活動的設置中，集齊一套道具(7塊多Q幣)，可能中獎1000萬游戲幣(相當于1000Q幣)，一般情況概率應該是萬分之零點六，但是策劃文檔幾經修改后中獎表格已經出現了很多錯誤。而策劃評審，運營評審，程序實現各個環節中居然都沒有發現中獎列表的機率加起來已經不是100%了； 程序實現后提交測試組測試兩輪，在測試中因為沒有使用大量QB來進行真實的模擬測試，所以居然沒有發現概率方面存在異常； 種種錯誤累加起來使26%概率的特等獎終于出現在了外網環境中； 從當晚8點多發布活動到10點之前關閉這個活動,僅一個多小時共產生游戲幣21個億，有700多名用戶參與了刷取游戲幣； 由于錢的數量巨大，玩家四處轉移游戲幣。
而凍結賬戶方面沒有預案，雖然緊急處理及時，但凍結不徹底，扣款程序又出問題等, 最終損失還是構成了一級事故； 事故發生后對員工和相關領導都受到了處罰。 事后總結 需求文檔需要更仔細check，評審環節的疏漏非常嚴重； 任何概率類設計都需要設置總量控制，設置多級閥門控制，不要把能廣泛流通的貨幣或者道具直接及時的交到玩家手上，不要獎勵； 緊急預案不夠完善，只考慮到產品范圍內的各種處理方案，沒有考慮如果在部門或者公司級平臺上出現問題后的處理措施。 在處理過程中，產品人員才驚奇的發現我們原來還有游戲幣銀行這樣的東西。 在要求各個方面協助凍結相關賬戶的時候，各系統才開始編寫相關的程序進行掃描和回扣，這其中又發生新的BUG，但是多次扣款失敗，使損失額度沒有能得到很好的控制。