背景某銀行總行數據中心云計算管理平臺正式上線,進行生產管理計算資源整合后,各個金融企業經過了4到5年的技術考察期和業務試用期,各個金融數據中心希望盡快部署云管理平臺對已有的云平臺進行資源的統一管理、計量和計費。已經規劃和實施部署的云平臺有也希望納入未來建設的云管理平臺中,這種大型數據中心資源管理平臺的規劃和實施過程中需要考慮很多因素,包括網絡連接、與已有虛擬化產品整合、平臺自動化等方面。
原部署硬件設備方式
1 機房管理員規劃業務設備部署位置、分析電力負載和承重,不達標還需進行改造
2 設備入場并加電測試,正常則放入機房上架并加電
3 網絡和存儲光纖或者電纜根據需求布線
4 網絡部門根據要求分配IP地址、防火墻策略和訪問方式
5 系統管理員部署OS系統、數據庫和中間件等通用平臺軟件
6 業務人員部署業務系統并測試
7 業務應用正式上線
整個部署過程多部門參與多人參與,業務流程復雜而冗長,部署時間多為兩周以上。
虛擬化技術使用后流程
1 機房管理員規劃業務設備部署位置,分析電力負載和承重,不達標還需進行改造
2 設備入場并加電測試,正常則放入機房上架并加電
3 網絡和存儲光纖或者電纜根據需求布線
4 網絡部門根據要求分配IP地址、防火墻策略和訪問方式
5 建立各類虛擬資源池,包括服務器資源池、網絡資源池和存儲資源池
6 根據業務需求aix進入單用戶模式,新建虛擬機、安裝操作系統并分配相關的ip地址,告知業務方
7 系統管理員部署數據庫和中間件等通用平臺軟件
8 業務人員部署業務系統并測試
9 業務應用正式上線
以上步驟是數據中心業務應用上線的基本流程,在使用虛擬化云平臺后業務流程變得更加冗長,但很多工作用戶發現是前期規劃不完善而導致的部署工作復雜業務流程冗余.
使用虛擬化前后的對比如下
云管理平臺方式的模塊化部署云計算底層硬件x86+部署模塊
1.選定采購的虛擬化服務器型號,這里以x86為例
高配 48C 256G 4U 服務器
中配 24C 128G 2U 服務器
2.規范好機柜部署設備模板
3.規范的故障域(機柜)布線
4.設備完成硬件部署后虛擬化技術的部署
5.pxe完成部署后發送指令給云管理平臺業務接口
獲取相關信息后云管理平臺調用指定虛擬化管理平臺把該物理設備加入到虛擬化管理平臺.列入到相關故障域中,整個故障域完成部署后,可進行業務部署
6.虛擬機自動化的ip分配設計
7.虛擬機的OS和中間件等非業務系統軟件統一化管理
在根據自己業務完成上面硬件實施規劃后實施流程變化為:
通過規范的故障域規劃和業務上線自動化標準確立等一系列標準化推薦工作完成后,業務上線速度在一周之內完成(5個工作日).如果排除業務上線調試時間.虛擬機交付上線時間為1個工作日.從而大大提高基礎架構的交付能力。
具體部署方法可參考下圖:
單機連接模式
故障域連接模式 這里展示了六個故障域,每兩個故障域為一個組,完成高可用切換
+hmc++san部署模塊
在power設備上手動創建第一個vioc過程。
在上存儲管理部分創建一個啟動卷,
在鏡像部分用該卷創建鏡像,
手動創建san 的zone,分配該卷給 vioc,
部署AIX系統和其他軟件,
部署cloud-init軟件.
完成后軟件部署后捕獲為模板,
通過上面方法制作多個指定版本的模板包括 was, , rac, ha, db2等鏡像方便后面進行基礎平臺供給使用.
配置的各種組內容包括主機組,vios可配置數據量,并制規則等使部署出來的vioc符合生產環境需求.網絡環境的部署目前多使用sea共享網卡進行.把物理網卡鏈接的交換機端口配置為trunk方式。使用 –sea entX – entXX – 100,創建sea卡。
完成所有的配置后,把中的主機組同步到云管理平臺數據庫中,并通知業務開發部署人員在云管理平臺申請vioc資源,云管理平臺處理資源申請,并通過的api接口對接,調用創建接口完成vioc的創建(創建接口會傳遞vioc規格,鏈接組,存儲組,存儲模板,ip地址,網絡信息等)通過存儲的lunx復制完成aix以及其他軟件的部署,最后交付給業務人員完成業務部署。
x86 + 部署模塊
目前部署生產環境需要12臺服務器完成部署。
3個控制節點,3個計算節點(可擴展),6個存儲節點(分布式存儲),SDN網絡設備需要單獨硬件完成,軟件sdn不建議上生產使用。
平臺的一些基本技術不再這里討論了,只說明下SDN的引入會造成什么樣的運維影響。
設計就是為多租戶的運營平臺準備的,網絡部署把網絡區域進行了虛擬化規劃,每個租戶有一個網絡區域(vpc)每個網絡區域可創建多個子網,而子網通訊需要通過虛擬路由器進行(可有多個虛擬路由器),運維人員對這樣復雜的網絡設計非常難以理解而網絡又是必須清晰明確的。所以在實施過程中建議大家先詳細學習下sdn網絡部署方法和相關思路.方便部署設備時能清晰網絡鏈接情況。對錯誤排查和網絡訪問申請能有清晰的意識。
的自身計算節點的增刪等操作在管理頁面有詳細的操作方法,無需特殊學習。
人員
為了適應未來數據中心的運維運營模式,相關的基礎平臺技術維護人員也需要進行相應的角色轉換,我們在項目實施中經常需要定義相關人員角色,包括:
虛擬化管理人員:
完成相關的虛擬化平臺業務管理,包括運維、運維、運維,而在這些技術人員中需要進行一些衍生工作,如各個系統的鏡像封裝以及版本管理,其中包括AIX、Linux、 等OS版本鏡像和OS+中間件版本鏡像、自動化部署腳本維護,鏡像內部通用腳本維護,從而提高單體人員的核心技術競爭能力和適應未來方式的運維管理模式。
基礎平臺運維人員:
從單一的基礎技術運維方式轉換為以業務自動化軟件開發為基礎的軟件運維模式。
人員職能按技術運營分為:
基礎硬件實施人員(原IT環境部署人員):
負責設備上架下架,機房設備實施,設備硬件運維
云管平臺運維人員:
運維人員
運維人員
運維人員
存儲設備運維人員:
負責配合云管平臺人員完成存儲對接各個虛擬化平臺
網絡運維人員(SDN和傳統網絡):
負責網絡的構建和ip分配,已經所有網絡部署
云平臺image和業務軟件構造人員:
負責各種虛擬化 os image的構建和業務軟件在 image上的構建
包括所有自動化部署業務和通用補丁修復
云管理平臺運營人員:
負責平臺的業務審批流程和IT操作支持
云管理平臺流程管理人員:
負責整體業務流程優化和新流程創建部署
加快業務上線和與各部門溝通完成業務流程梳理
云管理平臺開發人員:
按照實際業務需求梳理,完成相關業務開發
云管理平臺的運營云管理平臺的開發經驗
輕度集成和重度集成對用戶的需求:
大型金融數據中心對多虛擬化云平臺進行集成,從而出現云管理平臺。
而在云管理平臺開發中會出現集成設計方向問題,高度統一化集成所有其他云平臺所有功能適合有自主開發能力的運維團隊,根據具體業務確定下面接口優先級進行云管理平臺的功能開發和使用。
而無開發能力的運維團隊建議購買成熟的產品進行云管理平臺的建設,并進行簡單的二次業務功能開發,挑選下面常用接口進行功能測試。
討論下各個平臺包括 、、 這三個常用的云平臺軟件的集成方案。
為了業務快速上線,金融數據中心目前的運維模式和業務模式情況下,個人建議進行輕度業務功能集成。
集成的通用幾個接口為:
其他附加功能和業務接口:
這些附加功能可根據自己的業務情況進行選擇。
資源的統一管理在云管理平臺上應和底層云平臺進行數據同步完成資源規劃和分配。
管理員繼續使用云平臺來對計算資源做硬件容量配置和運維操作。
云管理平臺為資源統一展示和資源分配平臺。對已存在資源進行統一的資源展示和優化的資源分配。
在云管理平臺開發中詳細調研自身業務運作模式,按照制定模式開發各個組件接口,完成對各種虛擬化資源的調度。
總結
云管理平臺是金融數據中心在運營層面上最佳的統一資源管理實踐。
對資源的統一分配、回收、規劃等自動化的技術引入aix進入單用戶模式,使數據中心技術運維人員大幅減少,運維人力成本會逐年下降,而業務上線速度反而比大規模人力運維減少數十倍時間。
這樣統一的資源運維方式是未來保證企業在競爭中業務快速上線的必須手段。