操屁眼的视频在线免费看,日本在线综合一区二区,久久在线观看免费视频,欧美日韩精品久久综

新聞資訊

    比語言圖像預訓練(Contrastive Language-Image Pre-training,CLIP) 已成為計算機視覺社區(qū)通向自然語言領(lǐng)域的一種常用的方法,CLIP模型在各種下游任務上都展示除了強大的零樣本(zero-shot)分類和檢索性能。然而,為了在特定的下游任務上充分發(fā)揮其潛力,微調(diào)CLIP仍然是一個必需的步驟。對于普通的視覺任務而言,微調(diào)時需要訪問大量目標任務分布中的圖像,因而微調(diào)整個CLIP模型可能會占用大量的算力資源并且訓練效果并不穩(wěn)定

    本文介紹一篇來自劍橋大學和DeepMind合作完成的論文,本文已被計算機視覺頂級會議ICCV 2023錄用。在本文中作者提出了一種名為SuS-X的微調(diào)方法,SuS-X可以實現(xiàn)一種“僅靠名稱遷移(name-only transfer)”的效果,即在微調(diào)過程中,模型對下游任務所掌握的唯一知識就是下游目標類別的名稱。SuS-X由兩個關(guān)鍵構(gòu)建模塊“SuS”和“TIP-X”組成,其既不需要密集數(shù)據(jù)的微調(diào),也不需要昂貴的標記數(shù)據(jù),打造了一種全新的微調(diào)范式。作者進行了大量的實驗來評估SuS-X方法的可行性和性能,SuS-X在多達19個基準數(shù)據(jù)集上均實現(xiàn)了SOTA零樣本分類效果。

    論文鏈接:
    https://arxiv.org/abs/2211.16198
    代碼倉庫:
    https://github.com/vishaal27/SuS-X

    一、介紹

    在開始介紹本文工作之前,我們簡單回顧一下CLIP模型[1],CLIP是在含有4億圖像文本對的超大規(guī)模語料庫上訓練得到,其使用對比損失來最大化成對圖像文本樣本之間的相似性CLIP在視覺語言設置中率先提出了零樣本遷移的概念,即可以實現(xiàn)對未見過的樣本進行分類。例如給定一個分類任務,CLIP可以直接將類別標簽轉(zhuǎn)換為對應類別的文本提示。例如“一個<CLASS> 的照片。”,其中<CLASS>隨后會被每個類別的真實文本標簽替換。然后,CLIP會計算所有類別的查詢圖像和文本提示之間的相似性,并選擇提示與查詢圖像具有最大相似度的類作為預測標簽然而,CLIP的零樣本性能通常會受到其預訓練分布的限制。如果下游數(shù)據(jù)集分布與預訓練期間訓練的圖像分布相差太大,CLIP的零樣本性能會急劇下降。

    為了緩解這一問題,本文作者的目標是采用CLIP和其他視覺語言模型(vision language models,VLMs)僅通過名稱(僅需要類別名稱,而不需要來自目標域的樣本)和免訓練的方式進行下游分類本文提出的SuS-X框架如下圖所示,其由兩個新穎的模塊組成:

    (1)SuS(支持集,Support Sets),通過設計一種動態(tài)支持集管理策略,來實現(xiàn)無需來自目標任務的樣本的訓練效果。

    (2)TIP-X,通過部署一個免訓練的適應模塊來將支持集得到的類別信息遷移到各種下游任務中。

    對于給定的下游任務,SuS-X首先利用任務類別標簽來構(gòu)建一個支持集,然后從大型視覺語言數(shù)據(jù)庫中(例如,LAION-5B[2])檢索一系列真實場景中的圖像。然后將構(gòu)建好的支持集送入到TIP-X模塊中進行下游任務遷移。

    二、方法細節(jié)

    下圖展示了SuS-X的兩個主要模塊SuS和TIP-X的內(nèi)部細節(jié),其中SuS模塊位于圖中右上角,通過構(gòu)建動態(tài)支持集,可以僅基于目標類別名稱來將視覺知識注入VLM。TIP-X模塊位于圖中右下角,是一種新型的免訓練方法,可以直接利用圖像文本距離來計算支持集和測試圖像之間的相似性

    2.1 SuS的構(gòu)建

    SuS的構(gòu)建也基本沿用了近來的一些遷移方法,這些方法通常使用一小批標記圖像來為CLIP提供視覺信息。不過,與這些方法不同的是,SuS并不是從目標分布中獲取帶有標簽的圖像,而是提出了兩種新方法,在不獲取圖像的情況下構(gòu)建一個支持集,這兩種方法如下:
    (1) 穩(wěn)定擴散生成這種方法利用了目前工業(yè)界學術(shù)界非常火熱的擴散模型(Stable Diffusion),并且采用特定的提示策略來生成突出和信息豐富的支持圖像。具體來說,給定一組下游文本類標簽, ,其中 表示類別數(shù),使用Stable Diffusion為每個類別生成 個圖像。這樣,就可以構(gòu)建大小為 的支持集,并且其中的每個圖像都有其相關(guān)的類別標簽。
    (2) LAION-5B 檢索,第二種方法利用了大規(guī)模的視覺語言數(shù)據(jù)集LAION-5B。該數(shù)據(jù)集包含58.5億個經(jīng)過CLIP過濾的圖像-文本對。然后使用類文本提示檢索特定任務的方式來構(gòu)建支持集。具體來說,給定文本類別標簽 ,將LAION-5B中的所有圖像按其與每個文本類別標簽 的CLIP圖像-文本相似度進行排序。然后使用匹配度最高的 幅圖像作為類別 的支持集,從而得到一個大小為 的支持集,其中包含圖像及其類別標簽。

    2.2 TIP-X免訓練推理

    TIP-X的靈感來源于近期提出的免訓練自適應的TIP-Adapter方法[3],給定一個大小為 來自目標域的 -shot 標記數(shù)據(jù)集 ,TIP-Adapter首先使用CLIP的圖像編碼器對 進行編碼:
    然后,它將每個小樣本類標簽轉(zhuǎn)換為 one-hot 向量 ,并且直接計算相關(guān)矩陣來反映 之間的相似性,公式如下所示。其中 為CLIP編碼器, 為遷移后用來分類的編碼器,最后,這些相關(guān)矩陣被用作 上的注意力權(quán)重,以生成適應于下游任務的分類logits:
    雖然TIP-Adapter可以從測試和少樣本圖像樣本之間的相關(guān)矩陣來實現(xiàn)分類遷移,但這種相似性完全是在CLIP的圖像空間中計算的,目前很多研究已經(jīng)證明CLIP的圖像和文本空間之間存在模態(tài)差距,這讓作者質(zhì)疑這種方式的合理性。
    上圖(a)展示了在ImageNet驗證集上,CLIP對成對圖像-圖像、文本-文本和圖像-文本生成的余弦相似度。顯然,不同模式內(nèi)和模式間相似度的分布不同,這體現(xiàn)在模式間的相似度具有較小的方差和均值,而模式內(nèi)的相似度具有較大的均值和方差。這意味著TIP-Adapter采用的圖像內(nèi)CLIP嵌入相似性可能無法反映真實的圖像內(nèi)相似性。
    上圖(b)用一個簡單的例子說明了這個想法,考慮兩個圖像嵌入,它們需要與特定文本嵌入保持有距離為 的球形結(jié)構(gòu),兩個圖像嵌入可以通過彼此非常接近或彼此非常遠離來滿足這個條件。通過觀察圖(b)我們可以發(fā)現(xiàn),半徑為 的超球面上的任意兩個點都可以滿足該約束,但是這種約束太過于理想化,不一定符合現(xiàn)實場景中的相似性情況(也可以理解為嵌入距離未在現(xiàn)實環(huán)境中進行校準)。
    為了解決上述模態(tài)內(nèi)嵌入距離未校準的問題,本文作者建議使用模態(tài)間距離作為橋梁,具體地,直接使用圖像文本空間,而不是計算圖像嵌入空間中的測試特征 和少樣本特征 之間的相似性。然后通過計算 與文本分類器權(quán)重 的相似度來構(gòu)造一組簽名:
    這些簽名包括對少樣本特征和類文本向量之間的模態(tài)間相關(guān)矩陣進行編碼的概率分布,對于測試特征也是如此。然后通過測量簽名之間的KL散度就可以來構(gòu)建相關(guān)矩陣 ,如下所示:
    其中, 表示 個測試樣本中的第 個測試簽名, 表示第 個小樣本簽名。由于本文處理的是離散概率分布,因此可以將KL散度計算為

    三、實驗效果

    為了詳細的評估SuS-X零樣本能力,作者在多達19個數(shù)據(jù)集上對其進行了測試,并且選擇了6個非常流行的baseline方法。為了對比公平,作者將所有參與實驗的方法的視覺backbone都設置為ResNet50。下表展示了SuS-X與其他baseline方法分別在Zero-Shot和Name-Only兩種實驗設置下的性能對比結(jié)果。
    如上表所示,在所有19個數(shù)據(jù)集上,SuS-X方法的性能均達到了最佳,相比零樣本CLIP,性能提升達到了4.6%。 此外,SuS-X相比目前免訓練自適應方法中的兩個SOTA(CuPL+ensemble 和VisDesc)平均性能提升達到1.1%和3.1%。

    3.1 在不同VLM上的遷移效果

    為了評估SuS-X方法的泛化性能,作者選用了其他兩個常用的VLM進行實驗,分別是TCL和BLIP,作者只保留了這些模型的圖像和文本編碼器來計算特征。下表為實驗結(jié)果。
    從上表中可以看出,本文提出的SuS-X方法在兩個VLM中均明顯優(yōu)于所有基線方法,在19個數(shù)據(jù)集上的零樣本性能平均提高了11.37%和5.97%。這表明本文方法并非特定于CLIP模型,而是可以輕松泛化到其他不同的VLM上

    3.2 從Zero-Shot適應到few-shot

    SuS-X方法的一個關(guān)鍵組成部分是TIP-X模塊,TIP-X可以直接擴展到few-shot設置上,其中支持集是來自目標域的標記樣本。為了在這種真實環(huán)境的支持集上評估TIP-X,作者對其進行了免訓練的小樣本分類實驗,并且與同類型的SoTA方法——TIP-Adapter進行比較。下圖展示了SuS-X、TIP-Adapter以及Zero-shot CLIP在K-shot分類任務設置上使用了11個數(shù)據(jù)集子集測試效果,其中K分別取1、2、4、8和16。
    從圖中可以看到,TIP-X明顯優(yōu)于Zero-shot CLIP和TIP-Adapter(在不同K-shot上的平均絕對增益為0.91%),這進一步證明了TIP-X方法在適應到few-shot免訓練設置方面的通用性

    3.3 對SuS支持集進行可視化

    為了進一步展示SuS-X方法的綜合能力,作者在下圖中可視化了其在ImageNet上構(gòu)建的兩種支持集,其中來自ImageNet的真實圖片與SuS包含的支持集圖像按照相同的類別名稱進行劃分。其實我們很難區(qū)分真實的ImageNet樣本和SuS樣本,因此可以使用SuS支持集來模擬真實的數(shù)據(jù)分布。

    四、總結(jié)

    本文針對Zero-shot和Few-shot問題,提出了一種僅通過類別名稱遷移的模型免訓練新范式,稱為SuS-X。SuS-X仍然遵循對比學習原則,可以在多種大型語言視覺模型上完成新任務適應和微調(diào)。其首先通過SuS模塊系統(tǒng)的構(gòu)建一個包含豐富知識的支持集,但是無法訪問任何目標分布中的樣本。隨后通過TIP-X模塊將原始分類器能力快速遷移到新任務上,這一過程中無需密集數(shù)據(jù)的微調(diào),也不需要非常標準的標注數(shù)據(jù)通過研究SuS-X框架,作者觀察到了先前方法中使用CLIP模態(tài)內(nèi)嵌入距離來計算模態(tài)相似性的缺陷,并基于本文方法對這種嵌入距離進行了校準。

    參考

    [1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pages 8748–8763. PMLR, 2021
    [2] Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, et al. Laion-5b: An open large-scale dataset for training next generation image-text models. arXiv preprint arXiv:2210.08402, 2022
    [3] Renrui Zhang, Wei Zhang, Rongyao Fang, Peng Gao, Kunchang Li, Jifeng Dai, Yu Qiao, and Hongsheng Li. Tipadapter: Training-free adaption of clip for few-shot classification. arXiv preprint arXiv:2207.09519, 2022.
    作者:seven_

    Illustration by IconScout Store from IconScout

    -The End-

    掃碼觀看

    本周上新!


    “AI技術(shù)流”原創(chuàng)投稿計劃


    TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)(www.techbeat.net社區(qū)上線480+期talk視頻,2400+篇技術(shù)干貨文章,方向覆蓋CV/NLP/ML/Robotis等;每月定期舉辦頂會及其他線上交流活動,不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺,希望為AI人才打造更專業(yè)的服務和體驗,加速并陪伴其成長。


    投稿內(nèi)容

    // 最新技術(shù)解讀/系統(tǒng)性知識分享 //

    // 前沿資訊解說/心得經(jīng)歷講述 //


    投稿須知

    稿件需要為原創(chuàng)文章,并標明作者信息。

    我們會選擇部分在深度技術(shù)解析及科研心得方向,對用戶啟發(fā)更大的文章,做原創(chuàng)性內(nèi)容獎勵


    投稿方式

    發(fā)送郵件到

    chenhongyuan@thejiangmen.com

    或添加工作人員微信(chemn493)投稿,溝通投稿詳情;還可以關(guān)注“將門創(chuàng)投”公眾號,后臺回復“投稿”二字,獲得投稿說明。


    >>> 添加小編微信!



    關(guān)于我“

    將門是一家以專注于數(shù)智核心科技領(lǐng)域新型創(chuàng)投機構(gòu),也是北京市標桿型孵化器公司致力于通過連接技術(shù)與商業(yè),發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè),推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

    將門成立于2015年底,創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

    如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè),不僅想獲得投資,還希望獲得一系列持續(xù)性、有價值的投后服務,歡迎發(fā)送或者推薦項目給我“門”:


    ?一鍵送你進入TechBeat快樂星球

    PU是電腦中最核心的硬件之一,它的好壞直接影響著運算速度,所以CPU在電腦當中屬于比較貴的硬件。就是因為價格貴,還影響電腦運算速度,我們在裝機選購CPU的時候,比較在意它,例如它的生產(chǎn)日期、封裝產(chǎn)地等。那么我們要怎么看CPU生產(chǎn)日期和封裝產(chǎn)地?下面裝機之家曉龍來教您辨別intel和AMD處理器生產(chǎn)日期和封裝產(chǎn)地,希望本文能夠幫助到廣大消費者。

    教您辨別intel和AMD處理器生產(chǎn)日期

    由于電腦CPU的研發(fā)技術(shù)較高,目前市場上的電腦CPU只有兩大品牌,分別是intel和AMD,均是美國的公司,所以對于CPU這種高科技的產(chǎn)物是沒有假貨的,這點大家可以放心。廢話不多說,我們先來了解一下intel處理器生產(chǎn)日期和封裝產(chǎn)地查看方法。

    intel CPU生產(chǎn)日期和封裝產(chǎn)地查看方法:

    intel CPU的出廠日期和封裝產(chǎn)地查看方法可以通過CPU表面上的BATCH編碼查看,就拿我手上有的i9-9900K處理器來舉個例子。

    intel處理器辨別生產(chǎn)日期和封裝產(chǎn)地

    如上圖CPU所示,L835E028就是所謂的BATCH碼,首字母代表封裝產(chǎn)地,L說明封裝產(chǎn)地來自馬來西亞,8代表2018年,35代表第35周,一周代表7天,換算下來是8月份左右,E表示步進,028表示批號。

    也就是說BATCH碼,第一位是封裝產(chǎn)地,第二位是年份,第三四位是周數(shù),第五位是步進,第六七八是批號。

    封裝產(chǎn)地含義:

    馬來西亞:L/Q

    越南:X

    哥斯達黎加:3/7

    中國(成都):5

    老款intel CPU會直接寫上產(chǎn)地,馬來西亞、越南、哥斯達黎加、中國都有CPU封裝廠,分別標識為MALAY、VIETNAM、COSA RICA、CHINA。如下圖CPU所示,VIETNAM代表封裝產(chǎn)地是越南的,BATCH碼第一位X字母也可以說明是越南的。

    越南封裝產(chǎn)地的CPU

    AMD CPU生產(chǎn)日期和封裝產(chǎn)地查看方法:

    AMD CPU生產(chǎn)日期查看方法與intel有點類似,我們看到如下AMD銳龍?zhí)幚砥髦械牡诙牛?810SUS,代表2018年第10周,換算下來大約二月份左右。而封裝產(chǎn)地直接寫上“MADE IN CHINA”,代表中國封裝!

    AMD處理器辨別生產(chǎn)日期和封裝產(chǎn)地

    此外,在這個二維碼下面有一個2017 AMD,這代表商標注冊日期,這可不是生產(chǎn)日期。

    以上就是裝機之家分享的教您辨別intel和AMD處理器生產(chǎn)日期和封裝產(chǎn)地的方法,相信大家在閱讀本文之后,以后我們在購買CPU的時候就可以快速的判斷CPU的生產(chǎn)日期和封裝產(chǎn)地了,希望本文能夠幫助到大家。

    期,上海市質(zhì)量技術(shù)監(jiān)督局對本市生產(chǎn)和銷售的微型計算機產(chǎn)品質(zhì)量進行了專項監(jiān)督抽查。結(jié)果顯示,14批次受檢產(chǎn)品中,有1批次不合格。

    微型計算機是列入國家強制性認證產(chǎn)品(CCC)目錄的產(chǎn)品。本次抽查上海市生產(chǎn)企業(yè)3家,實際抽到產(chǎn)品的有2家,另有1家企業(yè)由于停產(chǎn)原因未抽到樣品。依據(jù)GB 4943.1-2011《信息技術(shù)設備安全第1部分:通用要求》、GB 9254-2008 《信息技術(shù)設備的無線電騷擾限值和測量方法》、GB 17625.1-2012《電磁兼容 限值諧波電流發(fā)射限值(設備每相輸入電流≤16A)》、GB 21520-2008 《計算機顯示器能效限定值及能效等級》、GB 28380-2012 《微型計算機能效限定值及能效等級》、GB/T 9813-2000 《微型計算機通用規(guī)范》、SJ/T11292-2003《計算機用液晶顯示器通用規(guī)范》等國家標準及相關(guān)產(chǎn)品標準要求,對產(chǎn)品的下列項目進行了檢驗:外觀和結(jié)構(gòu)要求、電源適應能力、性能推薦,外觀及結(jié)構(gòu)(僅適用于配套銷售顯示器的臺式機), 亮度(僅適用于配套銷售顯示器的臺式機), 對比度(僅適用于配套銷售顯示器的臺式機), 灰度(僅適用于配套銷售顯示器的臺式機) 、計算機能效, 顯示器能效(僅適用于配套銷售顯示器的臺式機)。

    抽查中,在上海國美電器有限公司蓮花路店發(fā)現(xiàn),標稱聯(lián)想(北京)有限公司生產(chǎn)的一批次Lenovo G510便攜式計算機(生產(chǎn)日期/批號 13/11/02),計算機能效項目不合格,質(zhì)量問題嚴重。

    據(jù)悉,自今年2月1日起,臺式計算機、筆記本、一體機等微型計算機必須加貼能效標識才能在市場銷售。消費者購買此類產(chǎn)品時,可通過中國能效標識網(wǎng)(http://www.energylabel.gov.cn/)查詢產(chǎn)品是否經(jīng)過能效備案。

    2014年微型計算機質(zhì)量監(jiān)督抽查所檢項目符合相關(guān)標準的產(chǎn)品

    受檢產(chǎn)品

    商標

    規(guī)格型號

    生產(chǎn)日期/批號

    生產(chǎn)企業(yè)(標稱)

    受檢企業(yè)

    便攜式微型計算機

    清華同方

    鋒銳 N28A1

    2013年7月24日

    同方股份有限公司

    上海歐尚超市有限公司長陽店

    筆記本電腦

    ΛSUS

    X552V

    2013.11

    旭碩科技(重慶)有限公司

    上海 蘇寧云商銷售有限公司虹莘路店

    筆記本電腦

    東芝

    Satellite C40-A

    2013-10-28

    東芝電腦網(wǎng)絡(上海)有限公司

    上海聯(lián)家超市有限公司共江店

    微型計算機

    lenovo

    C340

    2013年11月23日

    聯(lián)想(北京)有限公司

    上海國美電器有限公司蓮花路店

    便攜式計算機

    acer

    P4V CO

    2013/11/29

    仁寶信息技術(shù)(昆山)有限公司

    宏碁電腦(上海)有限公司

    筆記本電腦

    Haier

    海爾X3 Pro

    2013.08.08

    海爾信息科技(深圳)有限公司

    上海國美電器有限公司盧灣店

    微型計算機

    海爾

    樂趣Q5T-C812a

    2013.12.11

    海爾信息科技(深圳)有限公司

    上海國美電器有限公司盧灣店

    微型計算機

    DELL

    Inspiron One 2330

    2013-09

    戴爾(中國)有限公司

    上海國美電器有限公司 徐家匯店

    便攜式計算機

    DELL

    Inspiron 15R-5537

    2013-08

    戴爾(中國)有限公司

    上海國美電器有限公司徐家匯店

    筆記本電腦

    SΛ MSUNG

    450R4V

    03.2014

    蘇州三星電子電腦有限公司

    三星(中國)投資有限公司上海分公司

    微型計算機

    acer

    Aspire ZC-602

    2014/01/11

    緯創(chuàng)資通(中山)有限公司

    宏碁電腦(上海)有限公司

    一體機電腦

    hp

    HP Compaq Pro 4300 ALL-in-One Business PC

    /

    上海 惠普有限公司

    上海惠普有限公司

    微型計算機

    hp

    HP ProDesk400 G1 MT Business PC

    /

    上海惠普有限公司

    上海惠普有限公司

    注:排名不分先后。

    2014年微型計算機質(zhì)量監(jiān)督抽查不合格產(chǎn)品

    受檢產(chǎn)品

    商標

    規(guī)格型號

    生產(chǎn)日期/

    批號

    生產(chǎn)企業(yè)

    (標稱)

    受檢企業(yè)

    不合格項目

    備注

    便攜式計算機

    lenovo

    Lenovo G510

    13/11/02

    聯(lián)想(北京)有限公司

    上海國美電器有限公司蓮花路店

    計算機能效

    質(zhì)量問題嚴重

    本次未能抽查產(chǎn)品生產(chǎn)企業(yè)名單

    企業(yè)名稱

    所屬區(qū)縣

    未抽查原因

    昌碩科技(上海)有限公司

    浦東新區(qū)

    停產(chǎn)

網(wǎng)站首頁   |    關(guān)于我們   |    公司新聞   |    產(chǎn)品方案   |    用戶案例   |    售后服務   |    合作伙伴   |    人才招聘   |   

友情鏈接: 餐飲加盟

地址:北京市海淀區(qū)    電話:010-     郵箱:@126.com

備案號:冀ICP備2024067069號-3 北京科技有限公司版權(quán)所有