媒體數據庫
讓我們想象我們正在研究下一代自適應視頻流算法。我們的目標是將全球數百萬用戶的播放啟動時間降到最低。要做到這一點，我們需要收集ISO BMFF(基本媒體文件格式)格式化位流的頭大小的匯總統計信息(最小、最大、中位數、平均值、任意位數)。的跨編碼管道服務包含大量的內容，并為每個標題生成大量的位流(具有不同的編解碼器+質量組合)。在過去，我們需要編寫一次性的腳本，在分析數據之前，從我們的位流中費力地抓取位流頭信息。這種方法顯然是不可伸縮的——我們腳本中的一個軟件錯誤將重置整個工作。此外，還需要一個新的"丟棄"腳本來分析媒體數據的另一個完全不同的維度。對來自不同領域的問題重復使用這種方法幾次使我們認識到這里有一個模式，并使我們走上了構建一個系統的道路，該系統將以可伸縮的方式解決這個問題。
這篇博客文章介紹了 Media (NMDB)——一個建立在微服務平臺上的高度可查詢的數據系統。NMDB用于在上持久存儲關于各種媒體資產的深入技術元數據，并使用查找和運行時計算的組合以近乎實時的方式提供查詢。NMDB使開發人員(如視頻流研究人員)能夠將時間集中在開發對媒體數據的洞察上，并生成出色的數據驅動算法，而不是擔心收集和組織數據的任務。
為什么是媒體數據庫?
優化的用戶界面、有意義的個性化推薦、高效的流媒體和豐富的內容目錄是定義最終用戶體驗的主要因素。需要將各種復雜的業務工作流組合在一起才能實現這種體驗。
與故事相關的美術圖片和標題摘要(見上圖)，以及富有洞察力的視頻預覽對于幫助用戶找到相關的節目和電影大有幫助。不斷增長的內容攝取規模，要求開發能夠幫助我們的創意團隊及時合成高質量數字商品資產的系統。例如，可以通過自動(算法地)從源視頻資產中提取有意義的原始圖像和視頻剪輯來實現這一點。這可以作為創建吸引人的數字媒體資產的起點。
如下所示，內容推薦系統經濟地根據最終用戶的內容首選項和品味來顯示個性化的選擇。目錄中呈現的內容的緊湊而有效的特性表示對該功能至關重要。例如，可以通過構建使用媒體文件(音頻、定時文本、視頻)和標題元數據(類型標簽、摘要)作為輸入的機器學習模型來獲得這種表示。
高效的音頻和視頻編碼方法導致了緊湊的比特流的產生——這是互聯網媒體高效流媒體的先驅。時間和空間視頻分析，如檢測鏡頭的時刻和場景的變化，以及識別視頻幀中的突出部分和對象，有助于為視頻編碼系統生成關鍵輸入。
最后，保持對源內容的高質量標準對最終用戶的體驗至關重要。上面的圖片演示了一個這樣的用例。這張圖片對應的是西方古典音樂流派的一個標題的視頻框。在本例中，用于制作標題的攝像機在視頻中是可見的。非常希望有一個自動化的分析系統來檢測和定位(可能通過一個矩形邊框)相機的存在。另一種情況如下圖所示。在本例中，字幕文本被放置在視頻中燒毀的文本之上，使它們都無法讀取。利用視頻文本檢測算法，結合字幕的定時定位知識，可以自動解決這一問題。
我們要注意的是，上面所示的看似不同的用例實際上在使用核心組件算法時是重疊的。例如，鏡頭更改數據在視頻編碼用例中扮演重要角色。不同的鏡頭有不同的視覺特征，需要不同的比特預算。出于同樣的原因，鏡頭更改數據也是從源視頻資產生成各種原始圖像和視頻剪輯的基本組成部分。通過從每個鏡頭中選擇最優秀的幾個候選人，可以獲得高質量的原畫候選人的集合。同樣，視頻媒體的有意義的潛在表示也可以通過組合每個鏡頭表示來構建。另一個例子是，雖然視頻文本檢測數據在內容質量控制中發揮著無價的作用，但它也有利于視頻編碼和藝術品自動化用例——包含大量文本的視頻幀通常不能作為藝術品圖像的候選對象。
此外，這些分析中的許多在計算上往往非常昂貴——在處理不同的業務用例時重復相同的計算將非常低效。綜上所述，這些原因為數據系統提供了論據，該數據系統可以作為與媒體時間軸相關的任何分析的通用存儲。換句話說，我們需要一個"媒體數據庫"。
媒體數據庫的特征
媒體數據庫存儲了與不同形式的媒體相對應的媒體分析數據，這些形式包括音頻、視頻、圖像和文本(例如，字幕)。它將為媒體時間軸上的任意查詢提供服務。例如常見音頻數據庫，音頻軌道的時間軸中包含音樂的時間間隔，或包含文本的視頻幀列表，或對應于對話框的字幕文件中的時間間隔集。鑒于其范圍之廣，我們認為下列是一個媒體數據庫的重要特點:
1. 與結構化數據的關聯:具有模式的數據可以進行基于機器的處理，因此可以進行大規模的分析和使用。在我們的例子中，模式遵從性允許我們索引數據，從而支持數據搜索和挖掘機會。此外，這還減輕了數據創建者的負擔，使他們不必為數據的使用者戴上"白手套"。這就產生了一個高效的整體系統。
2. 有效的媒體時間軸建模:能夠為各種類型的媒體時間軸數據提供服務，從周期性的面向樣本的數據(例如，視頻幀)到基于事件的數據(例如，定時文本間隔)，這是媒體數據庫的一個基本特性。
3. 時空查詢能力:媒體數據庫本身支持媒體數據的時空特性(如音軌中的時間間隔)和空間特性(如圖像的部分)，并在這些維度上提供高查詢能力。例如，媒體數據庫可以很容易地檢查連續的視頻幀序列是否包含在視頻幀的特定空間區域(例如左上角)中的文本。這樣的查詢可以方便地檢測視頻和字幕中的文本之間的沖突。
4. 多租戶:一個設計良好的媒體數據庫可以作為一個平臺，支持來自多個應用程序的多個分析數據。因此，它允許存儲結構化的任意數據。此外，如果該數據還可以關聯到媒體資源的特定時間間隔常見音頻數據庫，那么每個租戶都可以從系統的高效查詢能力中獲益。
5. 可伸縮性:一個可伸縮的基于微服務的模型是必不可少的。這意味著系統必須在各種負載場景下處理與可用性和一致性相關的問題。
介紹媒體數據庫
上面概述的用例啟發我們構建NMDB——一個通用的存儲庫，用于與媒體時間軸相關的任何分析，可以用于大規模地回答媒體時間軸上的時空查詢。目錄包含大量不同形式的媒體資產——靜態資產的例子包括圖像，可播放資產的例子包括音頻、文本和視頻。如上所述，大量的業務應用程序將從訪問與這些資產相關的深入語義信息中獲益。NMDB的主要目標是為這些應用程序提供必要的數據——我們認為NMDB是構成各種媒體處理系統主干的數據系統。
待續…
媒體時間軸數據的高效建模是NMDB的一個核心特性。媒體時間軸的規范表示可以支持大量用例，同時有效地處理用戶查詢模式。這構成了本系列下一篇文章的主題。
ISO BMFF :