云計算與大數據基礎知識 一、 云計算是什么?云計算就是統一部署的程序、統一存儲并由相關程序統一管理著的數據！云計算cloud 是一種基于因特網的超級計算模式，在遠程的數據中心里，成千上萬臺電腦和服務器連接成一片電腦云。因此，云計算甚至可以讓你體驗每秒超過10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問， 進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。通俗的理解是，云計算的“云”就是存在于互聯網上的服務器集群上的資源，它包括硬件資源（服務器、存儲器、CPU 等）和軟件資源（如應用軟件、集成開發環境等），所有的處理都在云計算提供商所提供的計算機群來完成。用戶可以動態申請部分資源，支持各種應用程序的運轉，無需為繁瑣的細節而煩惱，能夠更加專注于自己的業務，有利于提高效率、降低成本和技術創新。云計算的核心理念是資源池。
二、 云計算的基本原理云計算的基本原理是，在大量的分布式計算機集群上，對這些硬件基礎設施通過虛擬化技術構建不同的資源池。如存儲資源池、網絡資源池、計算機資源池、數據資源池和軟件資源池，對這些資源實現自動管理，部署不同的服務供用戶應用，這使得企業能夠將資源切換成所需要的應用，根據需求訪問計算機和存儲系統。打個比方，這就好比是從古老的單臺發電機模式轉向了電廠集中供電的模式。它意味著計算能力也可以作為一種商品進行流通，就像煤氣、水電一樣，取用方便，費用低廉。最大的不同在于，它是通過互聯網進行傳輸的。 三、 云計算的特點1、支持異構基礎資源云計算可以構建在不同的基礎平臺之上，即可以有效兼容各種不同種類的硬件和軟件基礎資源。硬件基礎資源，主要包括網絡環境下的三大類設備，即：計算(服務器)、存儲(存儲設備)和網絡(交換機、路由器等設備);軟件基礎資源，則包括單機操作系統、中間件、數據庫等。2、支持資源動態擴展支持資源動態伸縮，實現基礎資源的網絡冗余，意味著添加、刪除、修改云計算環境的任一資源節點，或者任一資源節點異常宕機，都不會導致云環境中的各類業務的中斷，也不會導致用戶數據的丟失。這里的資源節點可以是計算節點、存儲節點和網絡節點。
而資源動態流轉，則意味著在云計算平臺下實現資源調度機制，資源可以流轉到需要的地方。如在系統業務整體升高情況下，可以啟動閑置資源，納入系統中，提高整個云平臺的承載能力。而在整個系統業務負載低的情況下，則可以將業務集中起來，而將其他閑置的資源轉入節能模式，從而在提高部分資源利用率的情況下，達到其他資源綠色、低碳的應用效果。3、支持異構多業務體系在云計算平臺上，可以同時運行多個不同類型的業務。異構，表示該業務不是同一的，不是已有的或事先定義好的，而應該是用戶可以自己創建并定義的服務。這也是云計算與網格計算的一個重要差異。4、支持海量信息處理云計算，在底層，需要面對各類眾多的基礎軟硬件資源;在上層，需要能夠同時支持各類眾多的異構的業務;而具體到某一業務，往往也需要面對大量的用戶。由此，云計算必然需要面對海量信息交互，需要有高效、穩定的海量數據通信/存儲系統作支撐。5、按需分配，按量計費按需分配，是云計算平臺支持資源動態流轉的外部特征表現。云計算平臺通過虛擬分拆技術，可以實現計算資源的同構化和可度量化，可以提供小到一臺計算機，多到千臺計算機的計算能力。按量計費起源于效用計算，在云計算平臺實現按需分配后，按量計費也成為云計算平臺向外提供服務時的有效收費形式。
四、 云計算按運營模式分類1、公有云公有云通常指第三方提供商為用戶提供的能夠使用的云，公有云一般可通過 使用，可能是免費或成本低廉的。優點：A、安全。云計算提供了最可靠、最安全的數據存儲中心，用戶不用再擔心數據丟失、病毒入侵等麻煩。B、方便。云計算對用戶端的設備要求最低，使用起來也最方便。C、數據共享。云計算可以輕松實現不同設備間的數據與應用共享。D、無限可能。云計算為我們使用網絡提供了幾乎無限多的可能。2、私有云私有云( )是為一個客戶單獨使用而構建的，因而提供對數據、安全性和服務質量的最有效控制。該公司擁有基礎設施，并可以控制在此基礎設施上部署應用程序的方式。私有云可部署在企業數據中心的防火墻內，也可以將它們部署在一個安全的主機托管場所。優點：A.數據安全；B.服務質量穩定；C.充分利用現有硬件資源和軟件資源 ；D. 不影響現有IT管理的流程——假如使用公有云的話，將會對IT部門流程有很多的沖擊，比如在數據管理方面和安全規定等方面。3、混合云混合云融合了公有云和私有云，是近年來云計算的主要模式和發展方向。私有云主要是面向企業用戶，出于安全考慮，企業更愿意將數據存放在私有云中，但是同時又希望可以獲得公有云的計算資源，在這種情況下混合云被越來越多的采用，它將公有云和私有云進行混合和匹配，以獲得最佳的效果，這種個性化的解決方案，達到了既省錢又安全的目的。
五、 云計算按服務模式分類一般來講，云計算平臺服務模式為如下的架構，如圖 1 所示。圖1 云計算平臺架構最下的一層是 IaaS(-as-a- )：基礎設施即服務，提供CPU，網絡，存儲等基礎硬件的云服務。再上一層是 PaaS(-as-a- )：平臺即服務，提供類似于操作系統層次的服務與管理。最后一層是 SaaS(-as-a- )：軟件即服務，就是我們所熟悉的軟件即服務。事實上SaaS的概念的出現要早于云計算，只不過云計算的出現讓原來的 SaaS找到了自己更加合理的位置。本質上，SaaS的理念是：有別的傳統的許可證付費方式 (比如購買 )，SaaS 強調按需使用付費。 六、 云計算基礎架構1、傳統的IT 部署架構是“煙囪式”的，或者叫做“專機專用”系統。圖2 傳統IT 基礎架構這種部署模式主要存在的問題有以下兩點：硬件高配低用。考慮到應用系統未來3～5 年的業務發展，以及業務突發的需求，為滿足應用系統的性能、容量承載需求，往往在選擇計算、存儲和網絡等硬件設備的配置時會留有一定比例的余量。
但硬件資源上線后，應用系統在一定時間內的負載并不會太高，使得較高配置的硬件設備利用率不高。整合困難。用戶在實際使用中也注意到了資源利用率不高的情形，當需要上線新的應用系統時，會優先考慮部署在既有的基礎架構上。但因為不同的應用系統所需的運行環境、對資源的搶占會有很大的差異，更重要的是考慮到可靠性、穩定性、運維管理問題，將新、舊應用系統整合在一套基礎架構上的難度非常大，更多的用戶往往選擇新增與應用系統配套的計算、存儲和網絡等硬件設備。這種部署模式，造成了每套硬件與所承載應用系統的“專機專用”，多套硬件和應用系統構成了“煙囪式”部署架構，使得整體資源利用率不高，占用過多的機房空間和能源，隨著應用系統的增多，IT資源的效率、擴展性、可管理性都面臨很大的挑戰。2、云計算基礎架構圖3云計算基礎架構云基礎架構在傳統基礎架構計算、存儲、網絡硬件層的基礎上，增加了虛擬化層、云層：虛擬化層：大多數云基礎架構都廣泛采用虛擬化技術，包括計算虛擬化、存儲虛擬化、網絡虛擬化等。通過虛擬化層，屏蔽了硬件層自身的差異和復雜度，向上呈現為標準化、可靈活擴展和收縮、彈性的虛擬化資源池;云層：對資源池進行調配、組合，根據應用系統的需要自動生成、擴展所需的硬件資源，將更多的應用系統通過流程化、自動化部署和管理，提升IT效率。
相對于傳統基礎架構，云基礎架構通過虛擬化整合與自動化，應用系統共享基礎架構資源池，實現高利用率、高可用性、低成本、低能耗，并且通過云平臺層的自動化管理，實現快速部署、易于擴展、智能管理，幫助用戶構建IaaS(基礎架構即服務)云業務模式。 七、 桌面云（桌面虛擬化）1、桌面虛擬化是指：支持企業級實現桌面系統的遠程動態訪問與數據中心統一托管的技術。一個形象的類比，就是今天，我們可以通過任何設備、在任何地點，任何時間訪問在網絡上的我們的郵件系統，或者網盤；而未來我們可以通過任何設備，在任何地點，任何時間訪問在網絡上的屬于我們個人的桌面系統。2、桌面虛擬化是在物理服務器上安裝虛擬主機系統，由虛擬主機系統模擬出操作系統運行所需要的硬件資源，如：CPU、內存、網卡、存儲等。操作系統運行在這些虛擬的硬件資源之上，可以達到多個操作系統共享物理服務器的硬件資源，從而提高資源利用率。虛擬桌面的存儲和執行（包括操作系統、應用程序和用戶數據）都集中在數據中心，用戶使用終端設備通過遠程協議（如：RDP、ICA、PCoIP）進行訪問。桌面虛擬化將所有桌面虛擬機在數據中心進行托管并統一管理；同時用戶能夠獲得完整PC的使用體驗。
用戶可以通過瘦客戶端，或者類似的設備在局域網或者遠程訪問獲得與傳統PC一致的用戶體驗。是一種僅將操作系統桌面呈現在用戶面前的技術，由服務器端完成運算。可以結合服務器虛擬化和應用虛擬化進行。3、特點（1）快速、靈活部署：按需申請、快速發放、無需搬運沉重的PC主機，統一接入、隨時隨地訪問；（2）提高資源利用率：統一管理后臺數據中心資源，并統一進行調度管理，將資源的利用率最大化；（3）數據存放安全可靠：數據存放在后臺數據中心，安全可靠。并且訪問虛擬桌面時在網絡上傳輸的都是圖片信息，不易被他人通過網絡竊取信息；（4）維護便利：瘦終端無須軟件維護；虛擬桌面維護工作可在后臺統一進行，非常便利；（5）節能減排：采用桌面虛擬化系統，因“瘦終端”功耗很低，同時，數據中心的資源利用率又較高大數據和云計算基礎知識，因此，可達到節省成本、節能減排的目標。 八、 什么是大數據？“大數據”是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據 集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。大數據技術的戰略意義不在于掌握龐大的數據信息大數據和云計算基礎知識，而在于對這些含有意義的數據進行專業化處理。
從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機 進行處理，必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘。但它必須依托云計算的分布式 處理、分布式數據庫和云存儲、虛擬化技術。大數據需要特殊的技術，以有效地處理大量的數據。適用于大數據的技術，包括大規模并行處理數據庫、數 據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。 九、 大數據的特征大數據特征定義為4V，即規模性（）、高速性（）、多樣性（）和價值性（Value）。1.規模性（）數據巨大的數據量以及其規模的完整性，非結構化數據規模比結構化數據增長快，數據的存儲量和產生量巨 大，數據具有完整性。2.高速性（）實時分析