1. <s id="hfppy"><noscript id="hfppy"><i id="hfppy"></i></noscript></s>
        <s id="hfppy"><dfn id="hfppy"></dfn></s>
      <s id="hfppy"><noscript id="hfppy"><i id="hfppy"></i></noscript></s>
      <u id="hfppy"><meter id="hfppy"><wbr id="hfppy"></wbr></meter></u>
        您的位置:首頁 >錢幣收藏 > 人民幣 >

        有沒有將深度學習融入機器人領域的新嘗試?

        2022-10-12 00:25:56 來源:

          

        (原標題:有沒有將深度學習融入機器人領域的嘗試?有哪些難點?)

          現在深度學習這么火,大家都會想著看看能不能用到自己的研究領域里。所以,將深度學習融入到機器人領域的嘗試也是有的。我就自己了解的兩個方面(視覺與規劃)來簡單介紹一下吧。

          物體識別

          這個其實是最容易想到的方向了,比較DL就是因為圖像識別上的成果而開始火起來的。

          這里可以直接把原來CNN的那幾套網絡搬過來用,具體工作就不說了,我之前在另一個回答amazon picking challenge(APC)2016中識別和運動規劃的主流算法是什么?下有提到,2016年的『亞馬遜抓取大賽』中,很多隊伍都采用了DL作為物體識別算法。

          物體定位

          當然,機器視覺跟計算機視覺有點區別。機器人領域的視覺除了物體識別還包括物體定位(為了要操作物體,需要知道物體的位姿)。

          2016年APC中,雖然很多人采用DL進行物體識別,但在物體定位方面都還是使用比較簡單、或者傳統的算法。似乎并未廣泛采用DL。

          當然,這一塊也不是沒人在做。我們實驗室的張博士也是在做這方面嘗試。我這里簡單介紹一下張博士之前調研的一偏論文的工作。

          Doumanoglou, Andreas, et al。 Recovering 6d object pose and predicting next-best-view in the crowd。Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition。 2016。

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          這個工作大概是這樣的:對于一個物體,取很多小塊RGB-D數據;每小塊有一個坐標(相對于物體坐標系);然后,首先用一個自編碼器對數據進行降維;之后,用將降維后的特征用于訓練Hough Forest。

          這樣,在實際物體檢測的時候,我就可以通過在物體表面采樣RGB-D數據,之后,估計出一個位姿。

          抓取姿態生成

          這個之前在另一個問題(傳統的RCNN可以大致框出定位物體在圖片中的位置,但是如何將這個圖片中的位置轉化為物理世界的位置?)下有介紹過,放兩個圖

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          ↑ Using Geometry to Detect Grasp Poses in 3DPoint Clouds

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          ↑ High precision grasp pose detection in dense clutter

          控制/規劃

          這一塊是我現在感興趣的地方。

          簡單地說,我們知道強化學習可以用來做移動機器人的路徑規劃。所以,理論上將,結合DL的Function Approximation 與 Policy Gradient,是有可能用來做控制或規劃的。當然,現在的幾個工作離取代原來的傳統方法還有很長的距離要走,但是也是很有趣的嘗試。

          放幾個工作,具體可以看他們的paper。

          1。Learning monocular reactive uav control in cluttered natural environments

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          ↑ CMU無人機穿越森林

          2。 From Perception to Decision! A Data-driven Approach to End-to-end Motion Planning for Autonomous Ground Robots

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          ↑ ETH 室內導航

          3。Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          ↑ DeepMind 物體抓取

          4。 End-to-end training of deep visuomotor policies

          

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          ↑ Berkeley 擰瓶蓋等任務

          有哪些難點

          1、在視覺領域,除了物體識別、還需要進行物體定位。這是一個 regression 問題,但是目前來看, regression 的精度還沒辦法直接用于物體操作,(可能是數據量還不夠,或者說現在還沒找到合適的網絡結構),所以一般還需要采用ICP等算法進行最后一步匹配迭代。

          2、機器人規劃/控制等方面,可能存在的問題就比較多了。我之前在雷鋒網『硬創公開課』直播(運動規劃 視頻篇)的時候有提到我碰到的一些問題,這里簡單列在下面:

          可觀性問題

          簡單地說,我們這些不做DL理論的人,都是先默認DL的收斂、泛化能力是足夠的。我們應該關心的是,要給DL喂什么數據。也就是說,在DL能力足夠強的前提下,哪些數據才能讓我需要解決的問題變得可觀。

          當然,目前的幾個工作都沒有提到這點,Berkeley的那個論文里是直接做了一個強假設:在給定數據(當前圖像、機器人關節狀態)下,狀態是可觀的。

          實際機器人操作中,系統狀態可能跟環境有關(例如物體性質),所以這一個問題應該是未來DL用在機器人上所不能繞過的一個問題。

          數據量

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          一方面,我們不了解需要多少數據才能讓問題收斂。另一方面,實際機器人進行一次操作需要耗費時間、可能會造成損害、會破壞實驗條件(需要人工恢復)等,采集數據會比圖像識別、語音識別難度大很多。

          是否可解決

        有沒有將深度學習融入機器人領域的嘗試?有哪些難點?"

          直播的時候我舉了個例子,黑色障礙物位置從左到右連續變化的時候,規劃算法輸出的最短路徑會發生突變。(具體看視頻可能會比較清楚)

          這對應于DL中,就是網絡輸入連續變化、但輸出則會在某一瞬間突變。而且,最短路徑可能存在多解等問題。

          DL的 Function Approximattion 是否能很好地處理這一狀況?

          是吧,這幾件事想想都很有趣,大家跟我一起入坑吧~

          

        undefined

          關注網易智能菌(微信公眾號:smartman163),獲取專業人工智能資訊與AI報告。

        相關閱讀
        熱門新聞
        有沒有將深度學習融入機器人領域的新嘗試?

        有沒有將深度學習融入機器人領域的新嘗試?

         ?。ㄔ瓨祟}:有沒有將深度學習融入機器人領域的嘗試?有哪些難點?)  現在深度學習這么火,大家都會想著看看能不能用到自己的研究領域

        2022-10-12 00:25
        沃爾瑪又裁員了,更多錢投給了電商業務

        沃爾瑪又裁員了,更多錢投給了電商業務

         ?。ㄔ瓨祟}:沃爾瑪又裁員了,更多錢投給了電商業務)  李莉蓉  根據《華爾街日報》的報道,沃爾瑪打算在2017財年結束之前——也就是

        2022-10-11 07:24
        穿著防輻射背心上月球,連干細胞都能保護

        穿著防輻射背心上月球,連干細胞都能保護

         ?。ㄔ瓨祟}:穿著防輻射背心 上月球 連干細胞都能保護)    總部位于以色列特拉維夫的StemRad公司開發了一款名為AstroRad的防輻射背心

        2022-10-11 06:51
        順豐科技云原生實時數據湖加速快消零售行業數智化轉型進程

        順豐科技云原生實時數據湖加速快消零售行業數智化轉型進程

         ?。ㄔ瓨祟}:順豐科技云原生實時數據湖加速快消零售行業數智化轉型進程)   8月24日,順豐科技大數據行業專家出席了由WRE World Retail

        2022-10-11 04:23
        日本研究出復眼照相機可從圖像中剝離出三維信息

        日本研究出復眼照相機可從圖像中剝離出三維信息

              一種全新的超薄型照相機可以從圖像中剝離出三維信息并辨別出特定對象?! 〈筅娲髮W的研究人員們已經開發出一款超薄型照相機,

        2022-10-10 21:22
        weboso科技類圖標設計作品欣賞

        weboso科技類圖標設計作品欣賞

          富于科技幻想色彩的圖標。。?!       ?/p> 2022-10-10 15:11

        骚伴娘闹洞房新郎怒屌冲冠把新娘和两伴娘都操了,美拍自拍偷情22,女厕hot,正在播放日本办公室OL诱惑,日韩高清不卡无码视,国产激情对白野战视频,云霸在线一区二区,黄瓜视频天美麻豆