翻譯｜宋辛童
校對(duì)｜李鈺
Flink 社區(qū)迎來了激動(dòng)人心的兩位數(shù)位版本號(hào)，F(xiàn)link 1.10.0 正式宣告發(fā)布！作為 Flink 社區(qū)迄今為止規(guī)模最大的一次版本升級(jí)，F(xiàn)link 1.10 容納了超過 200 位貢獻(xiàn)者對(duì)超過 1200 個(gè) issue 的開發(fā)實(shí)現(xiàn)，包含對(duì) Flink 作業(yè)的整體性能及穩(wěn)定性的顯著優(yōu)化、對(duì)原生 的初步集成以及對(duì) 支持（）的重大優(yōu)化。
Flink 1.10 同時(shí)還標(biāo)志著對(duì) Blink[1]的整合宣告完成，隨著對(duì) Hive 的生產(chǎn)級(jí)別集成及對(duì) TPC-DS 的全面覆蓋，F(xiàn)link 在增強(qiáng)流式 SQL 處理能力的同時(shí)也具備了成熟的批處理能力。本篇博客將對(duì)此次版本升級(jí)中的主要新特性及優(yōu)化、值得注意的重要變化以及使用新版本的預(yù)期效果逐一進(jìn)行介紹。
?
官網(wǎng)下載鏈接
新版本的二進(jìn)制發(fā)布包和源碼包已經(jīng)可以在最新的 Flink 官網(wǎng)下載頁面[2]找到。更多細(xì)節(jié)請(qǐng)參考完整的版本更新日志[3]以及最新的用戶文檔[4]。歡迎您下載試用此版本，并將您的反饋意見通過 Flink 郵件列表[5]或 JIRA[6] 與社區(qū)分享。
新特性及優(yōu)化
內(nèi)存管理及配置優(yōu)化
Flink 目前的 內(nèi)存模型存在著一些缺陷，導(dǎo)致優(yōu)化資源利用率比較困難，例如：
為了讓內(nèi)存配置變的對(duì)于用戶更加清晰、直觀，F(xiàn)link 1.10 對(duì) 的內(nèi)存模型和配置邏輯進(jìn)行了較大的改動(dòng) （FLIP-49[7]）。這些改動(dòng)使得 Flink 能夠更好地適配所有部署環(huán)境（例如 , Yarn, Mesos），讓用戶能夠更加嚴(yán)格的控制其內(nèi)存開銷。
■ 內(nèi)存擴(kuò)展
內(nèi)存的范圍有所擴(kuò)展，還涵蓋了 state 使用的內(nèi)存。盡管批處理作業(yè)既可以使用堆內(nèi)內(nèi)存也可以使用堆外內(nèi)存，使用 state 的流處理作業(yè)卻只能利用堆外內(nèi)存。因此為了讓用戶執(zhí)行流和批處理作業(yè)時(shí)無需更改集群的配置，我們規(guī)定從現(xiàn)在起 內(nèi)存只能在堆外。
■簡化 配置
此前，配置像 這樣的堆外 state 需要進(jìn)行大量的手動(dòng)調(diào)試，例如減小 JVM 堆空間、設(shè)置 Flink 使用堆外內(nèi)存等。現(xiàn)在，F(xiàn)link 的開箱配置即可支持這一切，且只需要簡單地改變 內(nèi)存的大小即可調(diào)整 state 的內(nèi)存預(yù)算。
另一個(gè)重要的優(yōu)化是，F(xiàn)link 現(xiàn)在可以限制 的 內(nèi)存占用（FLINK-7289[8]），以避免超過總的內(nèi)存預(yù)算——這對(duì)于 等容器化部署環(huán)境尤為重要。關(guān)于如何開啟、調(diào)試該特性，請(qǐng)參考 調(diào)試[9]。
注：FLIP-49 改變了集群的資源配置過程，因此從以前的 Flink 版本升級(jí)時(shí)可能需要對(duì)集群配置進(jìn)行調(diào)整。詳細(xì)的變更日志及調(diào)試指南請(qǐng)參考文檔[10]。
統(tǒng)一的作業(yè)提交邏輯
在此之前，提交作業(yè)是由執(zhí)行環(huán)境負(fù)責(zé)的，且與不同的部署目標(biāo)（例如 Yarn, , Mesos）緊密相關(guān)。這導(dǎo)致用戶需要針對(duì)不同環(huán)境保留多套配置，增加了管理的成本。
在 Flink 1.10 中，作業(yè)提交邏輯被抽象到了通用的 接口（FLIP-73[11]）。新增加的 （FLIP-81 [12]）引入了為任意執(zhí)行目標(biāo)[13]指定配置參數(shù)的統(tǒng)一方法。此外，隨著引入 （FLINK-74 [14]）負(fù)責(zé)獲取 ，獲取作業(yè)執(zhí)行結(jié)果的邏輯也得以與作業(yè)提交解耦。
上述改變向用戶提供了統(tǒng)一的 Flink 入口，使得在 Beam 或 等下游框架中以編程方式使用 Flink 變的更加容易。對(duì)于需要在多種不同環(huán)境使用 Flink 的用戶而言，新的基于配置的執(zhí)行過程同樣顯著降低了冗余代碼量以及維護(hù)開銷。
原生 集成（Beta）
對(duì)于想要在容器化環(huán)境中嘗試 Flink 的用戶來說，想要在 上部署和管理一個(gè) Flink 集群，首先需要對(duì)容器、算子及像 這樣的環(huán)境工具有所了解。
在 Flink 1.10 中，我們推出了初步的支持 模式的主動(dòng) 集成（FLINK-9953[15]）。其中，“主動(dòng)”指 Flink ()原生地與 通信，像 Flink 在 Yarn 和 Mesos 上一樣按需申請(qǐng) pod。用戶可以利用 ，在多租戶環(huán)境中以較少的資源開銷啟動(dòng) Flink。這需要用戶提前配置好 RBAC 角色和有足夠權(quán)限的服務(wù)賬號(hào)。
正如在統(tǒng)一的作業(yè)提交邏輯一節(jié)中提到的，F(xiàn)link 1.10 將命令行參數(shù)映射到了統(tǒng)一的配置。因此，用戶可以參閱 配置選項(xiàng)，在命令行中使用以下命令向 提交 Flink 作業(yè)。
./bin/flink?run?-d?-e?kubernetes-session?-Dkubernetes.cluster-id=?examples/streaming/WindowJoin.jar
如果你希望第一時(shí)間嘗試這一特性，歡迎參考相關(guān)文檔[16]、試用并與社區(qū)分享你的反饋意見：
Table API/SQL: 生產(chǎn)可用的 Hive 集成
Flink 1.9 推出了預(yù)覽版的 Hive 集成。該版本允許用戶使用 SQL DDL 將 Flink 特有的元數(shù)據(jù)持久化到 Hive 、調(diào)用 Hive 中定義的 UDF 以及讀、寫 Hive 中的表。Flink 1.10 進(jìn)一步開發(fā)和完善了這一特性，帶來了全面兼容 Hive 主要版本[17]的生產(chǎn)可用的 Hive 集成。
■Batch SQL 原生分區(qū)支持
此前，F(xiàn)link 只支持寫入未分區(qū)的 Hive 表。在 Flink 1.10 中，F(xiàn)link SQL 擴(kuò)展支持了 和 的語法（FLIP-63[18]），允許用戶寫入 Hive 中的靜態(tài)和動(dòng)態(tài)分區(qū)。
INSERT?{?INTO?|?OVERWRITE?}?TABLE?tablename1?[PARTITION?(partcol1=val1,?partcol2=val2?...)]?select_statement1?FROM?from_statement;
INSERT?{?INTO?|?OVERWRITE?}?TABLE?tablename1?select_statement1?FROM?from_statement;
對(duì)分區(qū)表的全面支持，使得用戶在讀取數(shù)據(jù)時(shí)能夠受益于分區(qū)剪枝，減少了需要掃描的數(shù)據(jù)量，從而大幅提升了這些操作的性能。
■其他優(yōu)化
除了分區(qū)剪枝，F(xiàn)link 1.10 的 Hive 集成還引入了許多數(shù)據(jù)讀取[19]方面的優(yōu)化，例如：
■將可插拔模塊作為 Flink 內(nèi)置對(duì)象（Beta）
Flink 1.10 在 Flink table 核心引入了通用的可插拔模塊機(jī)制，目前主要應(yīng)用于系統(tǒng)內(nèi)置函數(shù)（FLIP-68[20]）。通過模塊，用戶可以擴(kuò)展 Flink 的系統(tǒng)對(duì)象，例如像使用 Flink 系統(tǒng)函數(shù)一樣使用 Hive 內(nèi)置函數(shù)。新版本中包含一個(gè)預(yù)先實(shí)現(xiàn)好的 ，能夠支持多個(gè) Hive 版本，當(dāng)然用戶也可以選擇編寫自己的可插拔模塊 [21]。
其他 Table API/SQL 優(yōu)化
■SQL DDL 中的 和計(jì)算列
Flink 1.10 在 SQL DDL 中增加了針對(duì)流處理定義時(shí)間屬性及產(chǎn)生 的語法擴(kuò)展（FLIP-66[22]）。這使得用戶可以在用 DDL 語句創(chuàng)建的表上進(jìn)行基于時(shí)間的操作（例如窗口）以及定義 策略[23]。
CREATE TABLE table_name (
WATERMARK FOR columnName AS
) WITH (...)
■其他 SQL DDL 擴(kuò)展
Flink 現(xiàn)在嚴(yán)格區(qū)分臨時(shí)/持久、系統(tǒng)/目錄函數(shù)（FLIP-57[24]）。這不僅消除了函數(shù)引用中的歧義，還帶來了確定的函數(shù)解析順序（例如，當(dāng)存在命名沖突時(shí)，比起目錄函數(shù)、持久函數(shù) Flink 會(huì)優(yōu)先使用系統(tǒng)函數(shù)、臨時(shí)函數(shù)）。
在 FLIP-57 的基礎(chǔ)上，我們擴(kuò)展了 SQL DDL 的語法，支持創(chuàng)建目錄函數(shù)、臨時(shí)函數(shù)以及臨時(shí)系統(tǒng)函數(shù)（FLIP-79[25]）：
CREATE [TEMPORARY|TEMPORARY SYSTEM] FUNCTION
[IF NOT EXISTS] [catalog_name.][db_name.]function_name
AS?identifier?[LANGUAGE?JAVA|SCALA]
關(guān)于目前完整的 Flink SQL DDL 支持，請(qǐng)參考最新的文檔[26]。
注：為了今后正確地處理和保證元對(duì)象（表、視圖、函數(shù)）上的行為一致性，F(xiàn)link 廢棄了 Table API 中的部分對(duì)象申明方法，以使留下的方法更加接近標(biāo)準(zhǔn)的 SQL DDL（FLIP-64[27]）。
■批處理完整的 TPC-DS 覆蓋
TPC-DS 是廣泛使用的業(yè)界標(biāo)準(zhǔn)決策支持 ，用于衡量基于 SQL 的數(shù)據(jù)處理引擎性能。Flink 1.10 端到端地支持所有 TPC-DS 查詢（FLINK-11491[28]），標(biāo)志著 Flink SQL 引擎已經(jīng)具備滿足現(xiàn)代數(shù)據(jù)倉庫及其他類似的處理需求的能力。
: 支持原生用戶自定義函數(shù)（UDF）
作為 Flink 全面支持 的第一步，在之前版本中我們發(fā)布了預(yù)覽版的 。在新版本中，我們專注于讓用戶在 Table API/SQL 中注冊(cè)并使用自定義函數(shù)（UDFhive 計(jì)算新用戶，另 UDTF / UDAF 規(guī)劃中）（FLIP-58[29]）。
如果你對(duì)這一特性的底層實(shí)現(xiàn)（基于 Beam 的可移植框架 [30]）感興趣hive 計(jì)算新用戶，請(qǐng)參考 FLIP-58 的 章節(jié)以及 FLIP-78 [31]。這些數(shù)據(jù)結(jié)構(gòu)為支持 以及今后將 引入到 API 奠定了基礎(chǔ)。
從 Flink 1.10 開始，用戶只要執(zhí)行以下命令就可以輕松地通過 pip 安裝 ：
pip install apache-flink
更多 規(guī)劃中的優(yōu)化，請(qǐng)參考 FLINK-14500[32]，同時(shí)歡迎加入有關(guān)用戶需求的討論[33]。
重要變更
發(fā)行說明
準(zhǔn)備升級(jí)到 .10 的用戶，請(qǐng)參考發(fā)行說明[44]中的詳細(xì)變更及新特性列表。對(duì)于標(biāo)注為 @ 的 API，此版本與此前的 1.x 版本 API 兼容。
貢獻(xiàn)者列表
Fink 社區(qū)對(duì)此次新版本的所有貢獻(xiàn)者表示感謝：
, , , Alec.Ch, Pak, , Alice Yan, , Aloys, , Arvid Heise, Li, , Beno?t Paris, Das, Biao Liu, , Qiu, Chépélov, César Soto , David , David , David , Dawid , Dezhi Cai, Dian Fu, Dyana Rose, Eamon , , Fawad Halim, Fokko , Frey Gao, Gabor Gevay, Gao Yun, Gary Yao, , , Roman, Ma, Gyula Fora, Haibo Sun, Hao Dang, , Zhang, , Kim, Igal , Jacob , Jark Wu, Jeff , Jeff Yang, Jeff Zhang, () Qin, Jiayi, Jiayi Liao, Sun, Jing Zhang, Lee, , Joao Boto, John , Kaibo Zhou, Knauf, , Kurt Young, Xu, Ling Wang, Jing, , , Mads Chr. , Marco Zu?hlke, Klein, , Bode, , Nick , Nico , , Pablo , Paul Lam, Paul Lin, Li, Piotr , Piotr , , Ricco Chen, , , Roman, Roman , Roman , Rong Rong, Rui Li, Ryan Tao, Scott , Seth , Carey, .Ou, Shuo Cheng, , Ewen, Steve OU, Wu, Terry Wang, , Weise, Till , Timo , Tony Wei, , Tzu-Li () Tai, Wong, , Wei Zhong, , Wind (Jiayi Liao), Song, -Stars, Xuefu Zhang, , Xie, Yang Wang, Guo, Yikun Jiang, Ying, , Yu Li, Yuan Mei, Yun Gao, Yun Tang, Zhang, Gao, , Zhu Zhu, a-, , , biao.liub, , bowen.li, , , , , , , .wy, , , , , , , he, , , , , , , , -, , joe, , kevin.cyj, , -ken, , , -lil, , , , lz, , mojo, , , -huang, shuai-xu, shuo.cs, , , , , , , tison, , , , , , , , , , , , , , , chai, .cyz, , , , , jin, .zz, , , 硯田, 謝磊, 張志豪, 曹建華。
參考鏈接：
[1] #-of-the-new-blink-sql-query-
[2]
[3]
[4]
[5] #-lists
[6]
[7] %3A++++for+
[8]
[9] #--
[10]
[11] %3A+++for+job+
[12] )
[13]#-
[14] %3A+Flink++API)
[15]
[16]
[17]#-hive-
[18] %3A++table++
[19] #
[20] %3A++Core+Table++with++
[21]
[22] %3A++Time++in+SQL+DDL
[23] #-table
[24] %3A++
[25] +Flink++DDL+
[26]
[27] %3A++for+++in+Table+
[28]
[29] %3A+Flink++User-+++for+Table
[30]
[31] %3A+Flink++UDF++and++
[32]
[33]
[34]
[35]
[36]
[37]#-
[38]
[39]
[40]
[41]
[42]
[43]
[44]
?
往期推薦
1、HBase最佳實(shí)踐 | 聊聊HBase核心配置參數(shù)
2、 Hudi：劍指數(shù)據(jù)湖的增量處理框架
3、社區(qū)比 Ozone 更重要的事情
4、 和 Spark 結(jié)業(yè)篇