原文鏈接:記錄一次MySQL兩千萬數(shù)據(jù)的大表優(yōu)化解決過程，提供三種解決方案 - 51CTO.COM
使用阿里云 rds for MySQL 數(shù)據(jù)庫 (就是 .6 版本)，有個(gè)用戶上網(wǎng)記錄表 6 個(gè)月的數(shù)據(jù)量近 2000 萬，保留最近一年的數(shù)據(jù)量達(dá)到 4000 萬，查詢速度極慢，日?？ㄋ?。
問題概述
使用阿里云 rds for MySQL 數(shù)據(jù)庫 (就是 .6 版本)，有個(gè)用戶上網(wǎng)記錄表 6 個(gè)月的數(shù)據(jù)量近 2000 萬，保留最近一年的數(shù)據(jù)量達(dá)到 4000 萬，查詢速度極慢，日常卡死。嚴(yán)重影響業(yè)務(wù)。
問題前提：老系統(tǒng)，當(dāng)時(shí)設(shè)計(jì)系統(tǒng)的人大概是大學(xué)沒畢業(yè)，表設(shè)計(jì)和 sql 語句寫的不僅僅是垃圾，簡直無法直視。原開發(fā)人員都已離職，到我來維護(hù)，這就是傳說中的維護(hù)不了就跑路，然后我就是掉坑的那個(gè)!!!
我嘗試解決該問題，so，有個(gè)這個(gè)日志。
方案概述
以上三種方案，按順序使用即可，數(shù)據(jù)量在億級(jí)別一下的沒必要換 nosql，開發(fā)成本太高。三種方案我都試了一遍，而且都形成了落地解決方案。該過程心中慰問跑路的那幾個(gè)開發(fā)者一萬遍 :)
方案一詳細(xì)說明：優(yōu)化現(xiàn)有 mysql 數(shù)據(jù)庫
跟阿里云數(shù)據(jù)庫大佬電話溝通 and 解決方案 and 問群里大佬，總結(jié)如下 (都是精華)：
1、數(shù)據(jù)庫設(shè)計(jì)和表創(chuàng)建時(shí)就要考慮性能
mysql 數(shù)據(jù)庫本身高度靈活，造成性能不足，嚴(yán)重依賴開發(fā)人員能力。也就是說開發(fā)人員能力高，則 mysql 性能高。這也是很多關(guān)系型數(shù)據(jù)庫的通病，所以公司的 dba 通常工資巨高。
設(shè)計(jì)表時(shí)要注意：
表字段避免 null 值出現(xiàn)，null 值很難查詢優(yōu)化且占用額外的索引空間，推薦默認(rèn)數(shù)字 0 代替 null。盡量使用 INT 而非 ，如果非負(fù)則加上 (這樣數(shù)值容量會(huì)擴(kuò)大一倍)，當(dāng)然能使用 、、 更好。使用枚舉或整數(shù)代替字符串類型盡量使用 而非 單表不要有太多字段，建議在 20 以內(nèi)用整型來存 IP
索引
索引并不是越多越好，要根據(jù)查詢有針對(duì)性的創(chuàng)建，考慮在 WHERE 和 ORDER BY 命令上涉及的列建立索引，可根據(jù) 來查看是否用了索引還是全表掃描應(yīng)盡量避免在 WHERE 子句中對(duì)字段進(jìn)行 NULL 值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描值分布很 *** 的字段不適合建索引，例如 "性別" 這種只有兩三個(gè)值的字段字符字段只建前綴索引字符字段 *** 不要做主鍵不用外鍵，由程序保證約束盡量不用 ，由程序保證約束使用多列索引時(shí)主意順序和查詢條件保持一致，同時(shí)刪除不必要的單列索引
簡言之就是使用合適的數(shù)據(jù)類型，選擇合適的索引
選擇合適的數(shù)據(jù)類型 (1)使用可存下數(shù)據(jù)的最小的數(shù)據(jù)類型，整型 < date,time < char, < blob (2)使用簡單的數(shù)據(jù)類型，整型比字符處理開銷更小，因?yàn)樽址谋容^更復(fù)雜。如，int 類型存儲(chǔ)時(shí)間類型， 類型轉(zhuǎn) ip 函數(shù) (3)使用合理的字段屬性長度，固定長度的表會(huì)更快。使用 enum、char 而不是 (4)盡可能使用 not null 定義字段 (5)盡量少用 text，非用不可 *** 分表 # 選擇合適的索引列 (1)查詢頻繁的列，在 where，group by，order by，on 從句中出現(xiàn)的列 (2)where 條件中 =，，in，以及 like 字符串 + 通配符(%) 出現(xiàn)的列 (3)長度小的列，索引字段越小越好，因?yàn)閿?shù)據(jù)庫的存儲(chǔ)單位是頁，一頁中能存下的數(shù)據(jù)越多越好 (4)離散度大 (不同的值多) 的列監(jiān)控mysql表的數(shù)據(jù)變化，放在聯(lián)合索引前面。查看離散度，通過統(tǒng)計(jì)不同的列值來實(shí)現(xiàn)，count 越大，離散程度越高：
原開發(fā)人員已經(jīng)跑路，該表早已建立，我無法修改，故：該措辭無法執(zhí)行，放棄!
2、sql 的編寫需要注意優(yōu)化
使用 limit 對(duì)查詢結(jié)果的記錄進(jìn)行限定避免 *，將需要查找的字段列出來使用連接 (join) 來代替子查詢拆分大的 或 語句可通過開啟慢查詢?nèi)罩緛碚页鲚^慢的 SQL不做列運(yùn)算： id WHERE age + 1 = 10，任何對(duì)列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫教程函數(shù)、計(jì)算表達(dá)式等等，查詢時(shí)要盡可能將操作移至等號(hào)右邊sql 語句盡可能簡單：一條 sql 只能在一個(gè) cpu 運(yùn)算; 大語句拆小語句，減少鎖時(shí)間; 一條大 sql 可以堵死整個(gè)庫OR 改寫成 IN：OR 的效率是 n 級(jí)別，IN 的效率是 log(n) 級(jí)別，in 的個(gè)數(shù)建議控制在 200 以內(nèi)不用函數(shù)和觸發(fā)器，在應(yīng)用程序?qū)崿F(xiàn)避免 %xxx 式查詢少用 JOIN使用同類型進(jìn)行比較，比如用'123'和'123'比，123 和 123 比盡量避免在 WHERE 子句中使用!= 或 操作符，否則將引擎放棄使用索引而進(jìn)行全表掃描對(duì)于連續(xù)數(shù)值，使用 不用 IN： id FROM t WHERE num 1 AND 5列表數(shù)據(jù)不要拿全表，要使用 LIMIT 來分頁，每頁數(shù)量也不要太大
原開發(fā)人員已經(jīng)跑路，程序已經(jīng)完成上線，我無法修改 sql，故：該措辭無法執(zhí)行，放棄!
引擎
引擎
目前廣泛使用的是 和 兩種引擎：
引擎是 MySQL 5.1 及之前版本的默認(rèn)引擎，它的特點(diǎn)是：
不支持行鎖，讀取時(shí)對(duì)需要讀到的所有表加鎖，寫入時(shí)則對(duì)表加排它鎖不支持事務(wù)不支持外鍵不支持崩潰后的安全恢復(fù)在表有讀取查詢的同時(shí)，支持往表中插入新紀(jì)錄支持 BLOB 和 TEXT 的前 500 個(gè)字符索引，支持全文索引支持延遲更新索引，極大提升寫入性能對(duì)于不會(huì)進(jìn)行修改的表，支持壓縮表，極大減少磁盤空間占用
在 MySQL 5.5 后成為默認(rèn)索引，它的特點(diǎn)是：
\1. 支持行鎖，采用 MVCC 來支持高并發(fā)
\2. 支持事務(wù)
\3. 支持外鍵
\4. 支持崩潰后的安全恢復(fù)
\5. 不支持全文索引
總體來講， 適合 密集型的表，而 適合 和 密集型的表
速度可能超快，占用存儲(chǔ)空間也小，但是程序要求事務(wù)支持，故 是必須的，故該方案無法執(zhí)行，放棄!
3、分區(qū)
MySQL 在 5.1 版引入的分區(qū)是一種簡單的水平拆分，用戶需要在建表的時(shí)候加上分區(qū)參數(shù)，對(duì)應(yīng)用是透明的無需修改代碼
對(duì)用戶來說，分區(qū)表是一個(gè)獨(dú)立的邏輯表，但是底層由多個(gè)物理子表組成，實(shí)現(xiàn)分區(qū)的代碼實(shí)際上是通過對(duì)一組底層表的對(duì)象封裝，但對(duì) SQL 層來說是一個(gè)完全封裝底層的黑盒子。MySQL 實(shí)現(xiàn)分區(qū)的方式也意味著索引也是按照分區(qū)的子表定義，沒有全局索引
用戶的 SQL 語句是需要針對(duì)分區(qū)表做優(yōu)化，SQL 條件中要帶上分區(qū)條件的列，從而使查詢定位到少量的分區(qū)上，否則就會(huì)掃描全部分區(qū)，可以通過 來查看某條 SQL 語句會(huì)落在那些分區(qū)上，從而進(jìn)行 SQL 優(yōu)化，我測(cè)試，查詢時(shí)不帶分區(qū)條件的列，也會(huì)提高速度，故該措施值得一試。
分區(qū)的好處是：
可以讓單表存儲(chǔ)更多的數(shù)據(jù)分區(qū)表的數(shù)據(jù)更容易維護(hù)，可以通過清楚整個(gè)分區(qū)批量刪除大量數(shù)據(jù)，也可以增加新的分區(qū)來支持新插入的數(shù)據(jù)。另外，還可以對(duì)一個(gè)獨(dú)立分區(qū)進(jìn)行優(yōu)化、檢查、修復(fù)等操作部分查詢能夠從查詢條件確定只落在少數(shù)分區(qū)上，速度會(huì)很快分區(qū)表的數(shù)據(jù)還可以分布在不同的物理設(shè)備上，從而搞笑利用多個(gè)硬件設(shè)備可以使用分區(qū)表賴避免某些特殊瓶頸，例如 單個(gè)索引的互斥訪問、ext3 文件系統(tǒng)的 inode 鎖競(jìng)爭(zhēng)可以備份和恢復(fù)單個(gè)分區(qū)
分區(qū)的限制和缺點(diǎn)：
一個(gè)表最多只能有 1024 個(gè)分區(qū)如果分區(qū)字段中有主鍵或者唯一索引的列，那么所有主鍵列和唯一索引列都必須包含進(jìn)來分區(qū)表無法使用外鍵約束NULL 值會(huì)使分區(qū)過濾無效所有分區(qū)必須使用相同的存儲(chǔ)引擎
分區(qū)的類型：
RANGE 分區(qū)：基于屬于一個(gè)給定連續(xù)區(qū)間的列值，把多行分配給分區(qū)LIST 分區(qū)：類似于按 RANGE 分區(qū)，區(qū)別在于 LIST 分區(qū)是基于列值匹配一個(gè)離散值集合中的某個(gè)值來進(jìn)行選擇HASH 分區(qū)：基于用戶定義的表達(dá)式的返回值來進(jìn)行選擇的分區(qū)，該表達(dá)式使用將要插入到表中的這些行的列值進(jìn)行計(jì)算。這個(gè)函數(shù)可以包含 MySQL 中有效的、產(chǎn)生非負(fù)整數(shù)值的任何表達(dá)式KEY 分區(qū)：類似于按 HASH 分區(qū)，區(qū)別在于 KEY 分區(qū)只支持計(jì)算一列或多列，且 MySQL 服務(wù)器提供其自身的哈希函數(shù)。必須有一列或多列包含整數(shù)值具體關(guān)于 mysql 分區(qū)的概念請(qǐng)自行 或查詢官方文檔，我這里只是拋磚引玉了。
我首先根據(jù)月份把上網(wǎng)記錄表 RANGE 分區(qū)了 12 份，查詢效率提高 6 倍左右，效果不明顯，故：換 id 為 HASH 分區(qū)，分了 64 個(gè)分區(qū)監(jiān)控mysql表的數(shù)據(jù)變化，查詢速度提升顯著。問題解決!
結(jié)果如下：
PARTITION BY HASH (id)PARTITIONS 64 select count() from readroom_website;
/ 受影響行數(shù): 0 已找到記錄: 1 警告: 0 持續(xù)時(shí)間 1 查詢: 5.734 sec. /
select * from readroom_website where month(accesstime) =11 limit 10;
/ 受影響行數(shù): 0 已找到記錄: 10 警告: 0 持續(xù)時(shí)間 1 查詢: 0.719 sec. */ 4、分表
分表就是把一張大表，按照如上過程都優(yōu)化了，還是查詢卡死，那就把這個(gè)表分成多張表，把一次查詢分成多次查詢，然后把結(jié)果組合返回給用戶。
分表分為垂直拆分和水平拆分，通常以某個(gè)字段做拆分項(xiàng)。比如以 id 字段拆分為 100 張表： 表名為
但：分表需要修改源程序代碼，會(huì)給開發(fā)帶來大量工作，極大的增加了開發(fā)成本，故：只適合在開發(fā)初期就考慮到了大量數(shù)據(jù)存在，做好了分表處理，不適合應(yīng)用上線了再做修改，成本太高!!! 而且選擇這個(gè)方案，都不如選擇我提供的第二第三個(gè)方案的成本低! 故不建議采用。
5、分庫
把一個(gè)數(shù)據(jù)庫分成多個(gè)，建議做個(gè)讀寫分離就行了，真正的做分庫也會(huì)帶來大量的開發(fā)成本，得不償失! 不推薦使用。
方案二詳細(xì)說明：升級(jí)數(shù)據(jù)庫，換一個(gè) 100% 兼容 mysql 的數(shù)據(jù)庫
mysql 性能不行，那就換個(gè)。為保證源程序代碼不修改，保證現(xiàn)有業(yè)務(wù)平穩(wěn)遷移，故需要換一個(gè) 100% 兼容 mysql 的數(shù)據(jù)庫。
開源選擇
tiDB // /開源數(shù)據(jù)庫會(huì)帶來大量的運(yùn)維成本且其工業(yè)品質(zhì)和 MySQL 尚有差距，有很多坑要踩，如果你公司要求必須自建數(shù)據(jù)庫，那么選擇該類型產(chǎn)品。
云數(shù)據(jù)選擇
阿里云 //?spm=a2c4g...47.
官方介紹語： 是阿里云自研的下一代關(guān)系型分布式云原生數(shù)據(jù)庫，100% 兼容 MySQL，存儲(chǔ)容量 * 可達(dá) 100T，性能 * 提升至 MySQL 的 6 倍。 既融合了商業(yè)數(shù)據(jù)庫穩(wěn)定、可靠、高性能的特征，又具有開源數(shù)據(jù)庫簡單、可擴(kuò)展、持續(xù)迭代的優(yōu)勢(shì)，而成本只需商用數(shù)據(jù)庫的 1/10。
我開通測(cè)試了一下，支持免費(fèi) mysql 的數(shù)據(jù)遷移，無操作成本，性能提升在 10 倍左右，價(jià)格跟 rds 相差不多，是個(gè)很好的備選解決方案!
阿里云 淘寶使用的，扛得住雙十一，性能 ***，但是在公測(cè)中，我無法嘗試，但值得期待阿里云 for MySQL (原 )//?spm=a2c4g...54.
官方介紹：云數(shù)據(jù)庫 for MySQL (原名 )是同時(shí)支持海量數(shù)據(jù)在線事務(wù) (OLTP) 和在線分析 (OLAP) 的 HTAP( / )關(guān)系型數(shù)據(jù)庫。
我也測(cè)試了一下，是一個(gè) olap 和 oltp 兼容的解決方案，但是價(jià)格太高，每小時(shí)高達(dá) 10 塊錢，用來做存儲(chǔ)太浪費(fèi)了，適合存儲(chǔ)和分析一起用的業(yè)務(wù)。
騰訊云 //
官方介紹：DCDB 又名 TDSQL，一種兼容 MySQL 協(xié)議和語法，支持自動(dòng)水平拆分的高性能分布式數(shù)據(jù)庫——即業(yè)務(wù)顯示為完整的邏輯表，數(shù)據(jù)卻均勻的拆分到多個(gè)分片中; 每個(gè)分片默認(rèn)采用主備架構(gòu)，提供災(zāi)備、恢復(fù)、監(jiān)控、不停機(jī)擴(kuò)容等全套解決方案，適用于 TB 或 PB 級(jí)的海量數(shù)據(jù)場(chǎng)景。
騰訊的我不喜歡用，不多說。原因是出了問題找不到人，線上問題無法解決頭疼! 但是他價(jià)格便宜，適合超小公司，玩玩。
方案三詳細(xì)說明：去掉 mysql，換大數(shù)據(jù)引擎處理數(shù)據(jù)
數(shù)據(jù)量過億了，沒得選了，只能上大數(shù)據(jù)了。
開源解決方案
家族。hbase/hive 懟上就是了。但是有很高的運(yùn)維成本，一般公司是玩不起的，沒十萬投入是不會(huì)有很好的產(chǎn)出的!
云解決方案
這個(gè)就比較多了，也是一種未來趨勢(shì)，大數(shù)據(jù)由專業(yè)的公司提供專業(yè)的服務(wù)，小公司或個(gè)人購買服務(wù)，大數(shù)據(jù)就像水 / 電等公共設(shè)施一樣，存在于社會(huì)的方方面面。
國內(nèi)做的 *** 的當(dāng)屬阿里云。
我選擇了阿里云的 配合 ，使用超級(jí)舒服，按量付費(fèi)，成本極低。
可以理解為開源的 Hive，提供 sql//ai 算法 / 腳本 / shell 腳本等方式操作數(shù)據(jù)，數(shù)據(jù)以表格的形式展現(xiàn)，以分布式方式存儲(chǔ)，采用定時(shí)任務(wù)和批處理的方式處理數(shù)據(jù)。 提供了一種工作流的方式管理你的數(shù)據(jù)處理任務(wù)和調(diào)度監(jiān)控。
當(dāng)然你也可以選擇阿里云 hbase 等其他產(chǎn)品，我這里主要是離線處理，故選擇 ，基本都是圖形界面操作，大概寫了 300 行 sql，費(fèi)用不超過 100 塊錢就解決了數(shù)據(jù)處理問題。