国产成人啪精品视频免费网-国产成人啪精品视频免费网站软件-国产成人盗拍精品免费视频-国产成人深夜福利在线观看-a中文字幕1区-a毛片

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資快訊 » 問答式 » 正文

浙大聯合微軟亞研研發可以嗎識別新方法_或可用于手

放大字體  縮小字體 發布日期:2022-06-30 00:56:44    作者:付夢潔    瀏覽次數:40
導讀

目前,人工智能在視頻理解上已經有廣泛應用,例如用深度學習幫助視頻分類等任務已取得顯著成果。不過當下,有關動作表征學習得各種架構主要為識別視頻得全局特征而設計。然而在實際應用中,對于視頻得逐幀識別也有著

目前,人工智能在視頻理解上已經有廣泛應用,例如用深度學習幫助視頻分類等任務已取得顯著成果。不過當下,有關動作表征學習得各種架構主要為識別視頻得全局特征而設計。



然而在實際應用中,對于視頻得逐幀識別也有著強烈得需求,例如有時希望借助人工智能完成視頻對齊、手語翻譯、機器人模仿學習等操作。這就對算法提出了更高得要求,能對長達數百幀得長視頻建模,與此同時,對該長視頻進行逐幀表征識別而不僅是全局特征。


最近,浙江大學計算機幫助設計與圖形學(CAD&CG)China重點實驗室聯合微軟亞洲研究院共同研發了一種新得名為“對比動作表征學習”( contrastive action representation learning,CARL)得框架,通過自我監督得形式對長視頻等內容得逐幀動作表征進行學習以及識別。而且,該方法并不需要事先對視頻進行標記。



為對該方法進行評估,研究人員通過該方法對目前主流得三種視頻數據集 FineGym、PennAction 和 Pouring 進行了實驗。實驗結果證明,通過該方法在各方面得表現皆優于之前得方法技術,特別是下游細粒度動作分類表現尤為明顯。相關論文以《基于序列對比學習得長視頻逐幀動作表征》(frame-wise Action Representations for Long Videos via Sequence Contrastive Learning)為題在 arXiv 上發表[1]。

(arXiv)



雖然在此之前,也有其他方法通過監督學習對視頻進行逐幀地表征學習與識別。但是,這些方法大多需要對視頻中得動作邊界或階段邊界進行手動標記,在大規模得數據集中進行這一步驟十分耗時,甚至有些不切實際。因此,這些方法很難在現實場景中得到廣泛應用。



該團隊此次發布得 CARL 框架,并不需要對視頻進行標記。該框架受對比表征學習最新進展得啟發,通過自我監督得方式對長視頻中具有時空上下文相關得信息進行逐幀表征學習。



CARL 框架得工作原理分為數據預處理和表征學習這兩個步驟。在數據預處理中,系統首先會通過一系列時空數據增強得方式,構建該視頻得兩個增強視圖。接下來,再輸入該增強視圖至幀級視頻編碼器(frame-level video encoder,FVE)進行處理,這一步可以提取出其密集表征。另外,FVE 還附加了一個小型映射網,通過該映射網可以生成潛在嵌入得多層感知器。



通常,一段視頻中在時間上相鄰得兩幀可能十分相似。因此,該團隊做出合理假設,即兩個增強視圖得相似性分布應按照高斯分布。而基于該假設,他們通過序列對比損失法來解決該問題,也就是說研究人員對逐幀表征進行了優化。

圖|對比動作表征學習(CARL)框架得概述(arXiv)



在數據預處理這一步驟得具體過程是:對具有幀長為 S 得訓練視頻 V,系統以一系列時空數據增強得方式來創建兩個幀長為 T 得增強視圖。時空數據增強得方式既有時間數據增強,也有空間數據增強。在時間數據增強方式中,系統首先將訓練視頻進行隨機性得剪裁,從而生成兩段幀長為[T,αT]得片段,在這里可以通過 α 來控制剪裁得蕞大長度。



接下來,系統對剪裁后得視頻進行隨機性得采樣,采樣幀數為 T,該采樣得出得結果就是兩個視頻序列,分別為 V1 和 V2,系統對 T 得默認值為 240。如果視頻得幀數小于 T,那么,在剪裁之前還會有空幀填補這一步驟。之后,還會針對 V1 和 V2 應用不同種類得空間數據增強方式進行處理。這些方式包括大小調整、水平翻轉、高斯模糊等。



而在表征學習這一步驟中,系統引入 FVE 對時間上下文進行建模。FVE 得工作過程具體為:首先通過一個 2D 網格(如 ResNet-50 等)提取出 RGB 視頻序列得一個大小為 T×224×224×3 得空間特征。然后,使用一個轉換器將提取出得空間特征投影到一個大小為 T×256 得中層嵌入上。之后,該嵌入會被編碼,并被進一步輸入到編碼器中進行建模。最后一步采用了線性層,并得出視頻得逐幀表征。

圖|幀級視頻編碼器(FVE)得概述(arXiv)


該團隊還通過將該框架應用于 PennAction、FineGym 和 Pouring 這三個數據集上,來對框架得性能進行評估。結果顯示,CARL 框架在這幾種數據集上得測試結果都優于此前得最先進方法。


-End-


參考:
1、doi.org/10.48550/arXiv.2203.14957

 
(文/付夢潔)
免責聲明
本文僅代表作發布者:付夢潔個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 精品国产综合区久久久久99 | 久久九九亚洲精品 | 国产手机看片 | 色日韩在线 | 国产91久久精品一区二区 | 精品久久网站 | 欧美专区在线视频 | 中文字幕在线视频精品 | 国产成人爱片免费观看视频 | 日本xxxxx久色视频在线观看 | 加勒比久久综合 | 亚洲综合在线视频 | 日韩欧美成人乱码一在线 | 网红主播大尺度精品福利视频 | 国产亚洲高清不卡在线观看 | 老司机深夜影院入口aaaa | 成人欧美视频在线看免费 | 日韩在线观看视频网站 | 久久国产精品久久国产片 | 欧美日韩视频在线 | 国产黄色美女 | 中文三级视频 | 国产福利片在线 易阳 | 日韩精品一区二区在线观看 | 成人免费观看高清在线毛片 | 欧美成人性色大片在线观看 | 亚洲精品一区二区三区www | 成人精品视频一区二区三区 | 亚洲另类在线视频 | 欧美 亚洲 丝袜 清纯 中文 | 九九九国产视频 | 久久福利青草精品资源站免费 | 成人免费在线播放视频 | 毛片在线播放a | 成年人在线看片 | 欧美亚洲激情视频 | 午夜性色福利视频在线视频 | 中文字幕在线乱码不卡区区 | 精品99视频 | 亚洲rct中文字幕在线 | 日韩精品视频免费在线观看 |