問題在于你沒有足夠的內存——如果你有 16GB 的 RAM ，你就無法一次載入 100GB 大小的文件。載入這么大的文件時，操作系統在某個時刻就會耗盡內存，不能分配存儲單元，你的程序也就會崩潰。
所以，你該怎樣防止這類情況發生？你可以啟動一個大數據集群——你所需要做的是：
這個代價可能很昂貴，會令人沮喪；幸運的是，大部分情況下，我們不必這樣做。
你需要一個簡單而容易的解決方案：在單機上處理你的數據，最小化環境搭建開銷，盡可能利用你正在使用的代碼庫。實際上，大部分情況你都可以做到這樣，只要使用一些方法即可，有時候這些方法被稱為“核外計算”（out-of-core computation）。
本文將介紹如下內容：
之后的文章將會展示如何把這些方法應用到諸如 NumPy 和 Pandas 這樣的庫中。
在我們開始解釋解決方案前，我們要弄清楚該問題是如何產生的。我們的計算機內存（RAM）能讓你讀寫數據，但是你的硬盤也可以讀寫數據——那為什么計算機還需要 RAM 呢？硬盤比 RAM 更便宜，所以它通常大到能夠容納下你的所有數據，那為什么你的代碼不能直接從硬盤讀寫數據呢？
理論上講，這也行得通的。但是，即使是最現代化且速度很快的 SSD 硬盤也比 RAM 慢太多：
如果你想要實現快速計算，數據就只能放在 RAM 中，否則你的代碼運行時就會慢上 150 倍。
沒有足夠 RAM 時的最簡單解決方案就是花錢來解決。你要么購買一臺計算機，或者租一臺云端的虛擬機（VM：Virtual Machine，這會比大多數筆記本電腦貴得多）。2019 年 11 月，我稍微調研了一下，在價格方面做了一些比較，發現你可以這樣：
這只是我稍微調研后發現的數字，再繼續調研下去，你會發現更好的方案。
如果花錢購買硬件可以把你的數據讀入 RAM，這通常就會是一個最經濟的解決方案：畢竟你的時間相當寶貴。但是，有時候，這還不夠解決這個問題。
例如，如果你要運行許多數據處理任務，在一段時期內，云計算可能是一個自然能想到的解決方案，但也是一個昂貴的解決方案。曾經在一個工作中，我的軟件項目需要的計算開銷幾乎快用完了我們產品所有的預期收入，包括支付我薪水所需的至關重要的那部分收入。
如果購買 / 租用更多的 RAM 不足以滿足需求或者根本行不通時，下一步就應該考慮如何通過修改軟件來減少內存使用了。
壓縮意味著用一種不同的表達形式表示你的數據，這種形式能占用更少內存。有兩種方式來壓縮：
我想說明的是，我不是在談論使用 ZIP 或者 gzip 工具來壓縮文件，因為這些工具通常是對硬盤上的文件進行壓縮的。為了處理 ZIP 壓縮過的文件，你通常需要把這個文件載入內存中再進行解壓縮為原始文件大小，所以這其實對內存節省沒有什么幫助。
你需要的是內存中的數據壓縮表示形式。
例如，比如說你的數據有兩個值，一共也只會有兩個值：“AVAILABLE”（代表可能取到的值）和“UNAVAILABLE”（代表不可能取到的值）。我們可以不必將其存為 10 個或更多字節的字符串，你可以將其存為一個布爾值，用 True 或者 False 表示，這樣你就可以只用 1 個字節來表示了。你甚至可以繼續壓縮至 1 位來表示布爾值，這樣就繼續壓縮到了 1 個字節時的 1/8 大小。
當你需要處理所有數據，而又無需把所有數據同時載入內存時，分塊是很有用的。你可以把數據按塊載入內存，每次計算一塊的數據（或者正如我們要在今后一篇文章里想討論的，可以多塊并行處理）。
例如，比如說，你想搜索一本書里的最長單詞。你可以一次性將所有數據載入內存：
復制代碼
largest_word=""for word in book.get_text().split(): if len(word) > len(largest_word): largest_word=word
但是在我們的例子中，這本書太大而不能完全載入內存，這時候你就可以一頁一頁地載入這本書。
復制代碼
largest_word=""for page in book.iterpages(): for word in page.get_text().split(): if len(word) > len(largest_word): largest_word=word
這樣你使用的內存就大大減少了，因為你一次只需要把這本書的一頁載入內存，而最后得到的結果仍然是正確的。
當你需要數據的一個子集時，索引會很有用，使用索引你可以在不同時刻加載數據的不同子集。
你也可以用分塊解決這個問題：每次加載所有的數據，過濾掉你不想要的數據。但這會很慢，因為你加載了很多不相關的數據。
如果你只需要部分數據，不要使用分塊，最好使用索引，它可以告訴你到哪里能找出你關心的那部分數據。
想象一下，你只想閱讀書本中關于土豚的章節。如果你運用分塊技術，你得載入整本書，一頁一頁的載入，每頁地搜尋土豚——但這要花很長時間才能完成。
或者說，你可以直接閱讀這本書的末尾部分，也就是書本的索引部分，然后找到“土豚”的索引項。它可能會告訴你在第 7、19 頁以及 120-123 頁可以讀到相關內容。所以，現在你可以只讀那幾頁，這樣就快多了。
這樣很有效，因為索引比整本書占用的空間要小很多，所以把索引載入內存找出相關內容所在就會更容易。
最簡單也最常用的實現索引的方法就是在目錄里給文件恰當命名：
復制代碼
mydata/ 2019-Jan.csv 2019-Feb.csv 2019-Mar.csv 2019-Apr.csv ...
如果你想要 2019 年 3 月數據，你就只需要加載 2019-Mar.csv 這個文件——而不用加載 2 月、7 月或者其他任何月份的數據。
RAM 不夠用，最簡單的解決方法就是花錢買更多的 RAM。但是，如果這個方案無法實現或者仍然不夠用時，你就需要使用壓縮、分塊或者索引來解決。
這些方法也出現在其他許多不同的軟件包和工具中。即使是大數據系統也是建立在這些方法之上的：例如使用多個計算機來處理分塊數據。
在接下來的文章里，我會給你展示如何使用具體的庫和工具（NumPy、Pandas，或者用 ZIP 工具壓縮文件）來應用這些方法。如果在我寫完這些文章時，你就想閱讀到它們，請在下方表格里注冊我的通訊簡報（newsletter）。
內容來源于@什么值得買APP，觀點僅代表作者本人 ｜作者：fififlfl
創作立場聲明：30歲男人的數碼生活記錄！機器及配件自費購買，請放心閱讀！
前段時間2300在咸魚買了一臺基本上是新機的最低配華為B515臺式機，內置一條3200MHz的筆記本內存條和1T的機械硬盤，對于這臺電腦來說有點拖后腿。
核顯比較看中內存，最好大一點的雙通道高頻內存，而機械硬盤現如今運行win10，打開任務管理器，會發現經常性的磁盤占用100%，歸根結底還是硬盤讀寫速度跟不上系統，需要升級成固態硬盤。
我已經拆機看過了，就花了350元淘了一條同品牌同型號的內存條還有一根三星PM981 256G固態硬盤。下面就裝上去試試。
撕開左上角防拆標簽，手擰掉兩個小螺絲，拉動側邊不銹鋼拉手，不需要借助其他工具，即可輕松打開機箱，好評！
打開機箱毫不費力
打開機箱后，映入眼簾的是碩大的CPU扇熱風扇，還有一塊希捷的1T機械硬盤，請忽略我已經安裝好的固態和內存條。
CPU是這臺主機的發熱大戶，TDP足足有65W，CPU扇熱風扇有一個塑料罩子，這樣cpu產生的高溫即可直接排向機器外部，而不會在機箱里面積熱。塑料罩子底部還用海綿膠條加以密封。
借用華為官網的圖，有這樣的風道設計，難怪溫度和噪音控制的優秀
放大看看主板：
碩大的扇熱風扇下面壓著的就是銳龍R5-4600G；一個PCIe x 16 插槽；一個PCIe x 1 插槽 ；兩條筆記本內存插槽已經被我裝上2條8G3200的海力士筆記本內存條了；2個M.2 2280 接口，應該都是走NVME協議，其中一個插槽我裝了一根三星的拆機固態PM981；只有一個SATA 接口已經被原裝的機械硬盤占用了；還有一個機器自帶的網卡可以5G WiFi以及藍牙功能。
裝機完成，使用DiskGenius將系統遷移到固態硬盤，順利開機，能正常使用。不錯！
我的電腦兩塊硬盤被我搞成5個分區，太窮~
硬件識別都正常
兩條同型號內存條
照例魯大師跑分對比，上對比圖！
加了固態和內存條以后，跑分直接上升11萬分之多，這350塊花的值哇！這個才是銳龍的真正實力！CPU讓10代I5落淚，核顯也應該可以與GT750一戰了。哦，買的是二手拆機固態硬盤，一定要用CrystalDiskinfo看一下硬盤的寫入量和壽命！
不到200塊的硬盤已經使用了5000+小時，寫入2T，算是還不錯啊
這樣一臺小主機，華為logo加上個性化的外觀設計，做工也很扎實，用料實在，不會有廉價組裝機的頭重腳輕，性能也算是可以了，CPU力壓10代i5，內存雙通道以后，核顯也能與gt750一戰，個人使用完全足夠了。
最后是AMD YES! 閱讀完別忘記點贊收藏~~
購買電腦的時候，我們常常會忽略一些細節的東西，比如說是硬盤的分區容量。當電腦使用久了，我們就會發現分區容量不夠用，這是我們該怎么辦呢?下面就給大家分享一下如何使用老毛桃U盤工具對磁盤進行分區擴容，希望能夠幫助到有需要的用戶們。
1、 下載老毛桃U盤啟動裝機工具，開機時設置U盤為第一啟動項，進入老毛桃PE界面，選擇【1】回車進入
2、 打開計算機記錄分區擴容前地磁盤狀態，接著回到winpe桌面打開“分區工具”，右鍵點擊“C盤”，選擇“擴容分區”
3、 在彈出的窗口中，點擊“D盤”，即表示當前所選磁盤將被分割容量,分割地容量將擴充到先前所選磁盤，最后點擊“確定”
4、 在“調整分區容量”的窗口中，在“調整后容量”右方輸入分割后的剩余容量，“分區后部的空間”右方輸入擴充后得到的容量，點擊“開始”
5、在彈出的信息提示框中點擊“是”
6、 完成后打開計算機，就可以看到分區擴容成功了
以上就是如何使用老毛桃U盤工具對磁盤進行分區擴容的方法步驟，如果需要對磁盤進行分區擴容的用戶們，參照上述即可進行操作。想要了解更多精彩內容，請關注老毛桃winpe，精彩內容持續更新!