Toyota Araştırma Enstitüsü, robotlara yeni davranışlar öğretmede bir atılım iddia ediyor

 (tri.global)
2 puan yazan GN⁺ 2023-09-21 | 1 yorum | WhatsApp'ta paylaş
  • Toyota Research Institute, hassas manipülasyon görevlerini hızla artırmak için Diffusion Policy tabanlı üretken yapay zeka ile robot davranışlarını öğretmeye yönelik bir yaklaşım açıkladı
  • Bu yöntem, robotlara yönelik Large Behavior Models hedefine giden bir adım olarak, sohbet tabanlı yapay zekada LLM'lerin oynadığı rolü robot davranışı öğrenimine uygulama girişimi
  • TRI, yeni kod yazmadan, yalnızca yeni veri sağlayarak sıvı dökme, araç kullanma, deforme olabilen nesneleri manipüle etme gibi 60'tan fazla beceriyi öğrettiğini söylüyor
  • Öğrenme, öğretmenin dokunsal gösterimleri ile hedefin dilsel açıklamasını birleştiriyor; kilit nokta, yalnızca onlarca gösterimle otonom olarak devreye alınabilir davranışlar oluşturabilmesi
  • Hedef, 2023 sonuna kadar yüzlerce, 2024 sonuna kadar 1.000 beceri; Drake ve özel kontrol yığınıyla güvenlik garantileri de birlikte tasarlanıyor

Diffusion Policy ile robot davranışı öğreniminin hızlandırılması

  • Toyota Research Institute, robotlara yeni ve hassas becerileri hızlı ve güvenilir biçimde öğretmek için üretken yapay zeka yaklaşımını duyurdu
  • Bu yaklaşım, robotlara yönelik Large Behavior Models(LBMs) oluşturma yolunda bir adım ve sohbet tabanlı yapay zekada Large Language Models(LLMs)'in oynadığı role benzetiliyor
  • Mevcut en ileri yöntemlerin yeni davranışlar öğretmede çeşitli sınırlamaları vardı
    • Öğrenme yavaş ve tutarlılığı düşük
    • Verimliliği düşük ve çoğu zaman yüksek ölçüde kısıtlanmış ortamlardaki dar görevlere sıkışıyor
    • Robotik mühendislerinin karmaşık kodları saatlerce yazması veya çok sayıda deneme-yanılma yapması gerekiyordu

Yeni kod olmadan 60'tan fazla beceri öğrenimi

  • TRI'nin robot davranış modeli, öğretmenin dokunsal gösterimlerini ve hedefe ilişkin dilsel açıklamayı birlikte kullanıyor
  • Ardından yapay zeka tabanlı Diffusion Policy ile gösterilen becerileri öğreniyor
    • Yeni davranışlar yalnızca onlarca gösterimle otonom olarak devreye alınabiliyor
    • Öğrenme sonucu, tutarlı, tekrarlanabilir ve yüksek performanslı davranışları hızlıca üretmeye odaklanıyor
  • TRI, robotlara şimdiden 60'tan fazla hassas beceri öğretti
    • Örnekler arasında sıvı dökme, araç kullanma ve deforme olabilen nesneleri manipüle etme var
    • Bu, yeni kod yazmadan yalnızca yeni veri sağlanarak başarıldı
  • Hedef, 2023 sonuna kadar yüzlerce, 2024 sonuna kadar 1.000 beceri
  • Yeni beceriler, basit “pick and place”in ötesine geçerek dünyayla çeşitli biçimlerde etkileşime giren davranışları içeriyor
    • Uzun vadede, gündelik, öngörülemez ve sürekli değişen ortamlarda insanlara destek olan robotlarda kullanılabilir

Özel platform ve Drake tabanlı güvenlik tasarımı

  • TRI ve Columbia University'den Professor Song grubu, davranış öğrenimi için üretken yapay zeka yaklaşımı olan Diffusion Policyyi geliştirdi
    • Diffusion Policy, 2023 Robotics Science and Systems conference'ta sunuldu
  • TRI'nin robot platformu, hassas çift kollu manipülasyon görevleri için özel olarak üretildi
    • Dokunsal geri bildirimi ve dokunsal algılamayı mümkün kılmaya odaklanıyor
  • TRI, Drake'i robotik için model tabanlı tasarım aracı ve simülasyon platformu olarak kullanıyor
    • Şirket içi robot yığını, Drake'in optimizasyon ve sistem çerçevesi üzerine inşa edildi
    • Drake, robotik topluluğu genelindeki çalışmaları hızlandırmak üzere açık kaynak olarak sunuluyor
  • Güvenlik, TRI'nin robotik araştırmalarında temel bir tasarım unsuru
    • Sistem, Drake ve özel robot kontrol yığınının çalıştırdığı koruyucu önlemleri içeriyor
    • Robotun kendisiyle veya çevresiyle çarpışmaması için güvenlik garantilerine uyacak şekilde tasarlandı

İlgili okumalar

1 yorum

 
GN⁺ 2023-09-21
Hacker News yorumları

  • Lisansüstü eğitimde ve sektörde robot öğrenimi topluluğunun içinde bulunmuş biri olarak, burada övgünün büyük kısmını TRI'ın almasını gayet anlaşılır buluyorum; ama asıl katkıyı da doğru işaret etmek istiyorum.
    Bu gelişmenin merkezinde, Columbia'dan Prof. Shuran Song'un laboratuvarının geliştirdiği ve öncülük ettiği Diffusion Policy [1] var. Orijinal proje sitesi [2] de mutlaka görülmeye değer; gerçek dünyada yapılmış pek çok zorlu deney içeriyor.
    Bu yılki R:SS konferansında [3] Best Paper Award için topluluğun favori adaylarındandı ve bizim laboratuvarımızla robotik bölümündeki diğer öğrenme laboratuvarları da bu makaleyi enine boyuna inceledi. Davranış klonlama/taklit öğrenimi projelerini bırakıp, çok modlu eylem uzaylarını çok daha doğal biçimde ele alan bu yaklaşıma tamamen yön değiştiren insanlar tanıyorum.
    Prof. Song şu anda robotikte gerçekten olağanüstü bir araştırmacı ve IRP [4] gibi gerçek dünyaya zarif biçimde ölçeklenen birçok güçlü yaklaşım ortaya koydu. IRP, R:SS 2022 Best Paper ödülünü aldı; FlingBot [5] ve Scaling Up Distilling Down [6] da görülmeye değer.
    [1] - https://arxiv.org/abs/2303.04137
    [2] - https://diffusion-policy.cs.columbia.edu/
    [3] - https://roboticsconference.org/program/awards/
    [4] - https://irp.cs.columbia.edu/
    [5] - https://flingbot.cs.columbia.edu/
    [6] - https://www.cs.columbia.edu/~huy/scalingup/

    • Adil olmak gerekirse TRI da Song hocaya ve bağlantı verilen makaleye atıf yapıyor. O makalede de TRI işbirliği kurumu olarak yer alıyor.
      “Diffusion Policy: TRI ve Columbia University'den Prof. Song'un grubundaki işbirlikçiler, davranış öğrenimi için yeni ve güçlü bir üretken yapay zeka yaklaşımı geliştirdi. Diffusion Policy adı verilen bu yaklaşım, gösterim yoluyla kolay ve hızlı davranış öğretimini mümkün kılıyor.”
    • Görünüşe göre hem Diffusion Policy hem de IRP, TRI ile ortak çalışmaydı.
    • Biri diffusion'ı basitçe açıklayabilir mi? Otoenkoder, transformer ve evrişimli sinir ağlarını anlayan biri seviyesinde de olur.
      Yukarıda bahsedilen alternatiflerden neden çok daha iyi çalıştığını merak ediyorum.
    • Song hocanın laboratuvarındaki bazı araştırmacılar da Toyota ile çalışmış gibi görünüyor.

  • İlgilenenler için Russ Tedrake'in YouTube kanalı var: https://www.youtube.com/@underactuated5171
    Burada 6.4210 (2023) Robotics Manipulation ve 6.8210 (2023) Underactuated Robotics dersleri yer alıyor.

  • Russ Tedrake'in son çalışmalarını görmek sevindirici. Onun çevrimiçi dersi Underactuated Robotics, robotiğin karmaşıklığını kavramak için çok iyi bir ders.
    HN'de çok önerilen robot öğrenimi çalışmaları genelde “LLM'i robota kabaca bağlamak yeter” seviyesinde oluyor; bundan çok daha derin bilgiye sahip birinin ele alınması güzel. Dağınık gerçek dünyada düzgün bir cisimlenmiş ajan yapmak için yalnızca dil öğrenimini çözmek yetmez.

  • Web sitesi yüklenmiyor ama videoyu Toyota Research YouTube'da buldum: https://www.youtube.com/watch?v=w-CGSQAO5-Q

    • Videonun 2:40 civarında bunu “robotlar için anaokulu” diye açıklıyorlar; ilginç bir bakış açısı.
      Standart bir öğrenme teknolojisi protokolü olursa yeni görevlerin öğrenimini crowdsourcing ile yaptırmak mümkün olur mu merak ediyorum. İstenen görevlere teklif verilir, çözen kişi ödül alır ve herkes faydalanır gibi. Görevlerin uzun kuyruğu o kadar uzun ki, tek bir merkezi laboratuvarın hepsini halletmesi zor görünüyor.

  • Google da yaklaşık bir ay önce benzer bir şey yaptı ve HN'ye de düştü [1].
    Kuvvet geri bildirimini ne kadar kullandıklarını merak ediyorum. Videodaki büyük, yuvarlak ve yumuşak nesne, içinde çok sayıda basınç sensörü olan büyük bir parmak gibi bir şey mi? Yüzey basınç sensörleri 1980'lerden beri yapılıyordu ama o zamanlar bu kadar veriyi nasıl kullanacaklarını bilmiyorlardı. Şimdi sensör verisinin fazla olması çok daha az büyük bir sorun.
    Eskiden bir robot kola yıldız anahtar takıp bu problemi denemiştim. Fikir, cıvata başını yoklayarak bulmak, anahtarı oturtmak ve sonra çevirmekti. 6 serbestlik dereceli bir kuvvet sensörü yeterliydi ama derin öğrenme öncesi dönemdi, bu yüzden fazla ilerleyemedi. Yine de anahtarlı robot düzeneğini yapmıştım.
    [1] https://news.ycombinator.com/item?id=37167698

    • O yumuşak nesne aslında içinde kamera bulunan şişirilmiş bir balon; kamera balonun deformasyonunu gözlemliyor: https://punyo.tech

  • Gerçekten etkileyici. Boston Dynamics gösterilerinden bile çok daha öyle görünüyor
    Pankek çevirmek çok zor, çünkü her pankek farklıdır. Böyle videoların seçilmiş sahneler olduğunu biliyorum ama yalnızca basit bir gösterimle robota bunu öğreterek yaptırmak muazzam bir sıçrama gibi geliyor

    • Pankek çevirme 2010’da zaten yapılmıştı. İnsanlara etkileyici görünen şeyler robotlar için kolay olabilir; tersi de geçerli: https://youtu.be/W_gxLKSsSIE?si=HDyNXe1Ys_eFXiVU
      Başka bir örnek olarak, robot jonglörlüğü 1990’larda bile yapılabiliyordu ama bugün hâlâ herhangi bir kapıyı insan gibi güvenilir biçimde açabilen bir robot yok. Bir tür Moravec paradoksuna benziyor
    • Sıradan biri gibi sorarsak, böyle bir robotu eğitmenin en verimli yolu, ona işin nasıl yapılacağını gösteren milyarlarca video yedirmek mi?
    • Fiziksel emek gerektiren işlerin çok uzun süre güvende olacağını düşünüyordum ama öyle olmayabilir. Politika yapanların, insanların yapacak işi olmadığı bir dünyanın nasıl görüneceğini ciddi biçimde düşündüğünü umuyorum

  • Google’ın yaptığı PaLM-E gibi çalışmalara benziyor: https://blog.research.google/2023/03/palm-e-embodied-multimodal-language.html
    Robotik için gerçekten heyecan verici bir dönem

    • Bu, PaLM-E’den çok daha iyi görünüyor. Kullanılan robot daha yetenekli, görevler de çok daha karmaşık
      Üstelik insanın robotu kumanda ederek gösterdiği hızla aynı hızda hareketi gerçekleştiriyor. PaLM-E demoları gerçekte acı verecek kadar yavaştı; hepsi hızlandırılmış videolarla gösterilmişti

  • Genel amaçlı insansı robotlara ulaşma yolu bence epeyce buna benzer olacak
    Örneğin bir şantiyede Boston Dynamics tarzı bir insansı robot olsun; diyelim ki burada duvar ustası. Şantiyenin dışındaki açık bir alanda çok yönlü koşu bandı zemini, etrafında kameralar ve derinlik sensörleri var; insan da Hollywood tarzı bir motion capture kıyafeti ve VR başlığı takarak robot kameralarından gelen görüşü görüyor
    Bu kişi, şantiyede yapacağı gibi tuğla yığınına doğru yürüyüp tuğlayı alma ve yerine koyma hareketini yapıyor. Robot şantiyede gerçek zamanlı hareket ederek insanın yaptıklarını taklit ediyor. Bunu düzgün yapmak için sahne aksesuarları gerekir mi, yoksa yılların şantiye kas hafızası yeterli olur mu bilmiyorum
    Tüm veriler kaydediliyor; biri video akışını izleyip yapılan her eyleme etiket koyuyor. Sonra hepsi makine öğrenmesi algoritmalarına veriliyor ve sonunda yalnızca mimari çizimleri robota gönderip “bu duvarı ör” diyebileceğiniz noktaya giden bir akış ortaya çıkıyor

    • İlk 3/4’lük kısım 2008 yapımı Sleep Dealer filmiyle neredeyse birebir aynı, o yüzden oradan esinlendiğini sandım
    • Ama bildiğim kadarıyla, insan operatörün hareketleriyle gevşek biçimde fiziksel olarak eşlenen çok daha kaba hareketli ekipmanlarda bile bunun olgun bir uygulaması henüz yok. Örneğin çift joystick ile kullanılan ekskavatörler gibi ekipmanlar
    • Kısa vadede böyle olabilir ama uzun vadede sanmıyorum
      Muhtemelen bir ekip gönderip şantiyeyi dijitalleştirecek ve bir dijital ikiz oluşturacaklar. Mimar her şeyi bu ikize eşleyecek, bilgisayar sistemi de inşaat aşamalarını simüle edecek. Ardından robotlar sahaya sokulacak ve gerekirse ince ayarlı bir model alıp otomatik olarak inşa edecekler
    • Eskiden bu fikrin geçtiği bir roman ya da kısa hikâye okumuştum. Robot, öğrenmek için sahada kumanda ediliyordu; daha sonra kendi başına serbest bırakılmıştı. Bunun dışındaki olay örgüsünü ya da yazarı hatırlamıyorum
    • Evet, buna pekiştirmeli öğrenme deniyor

  • “Büyük dil modeli” ifadesinin kullanılma sebebini, web’in tamamı, Library of Congress vb. kaynaklardan gelen muazzam miktarda yazı sayesinde LLM’lerin öğrenebileceği devasa bir veri kümesine sahip olması olarak anlıyorum. Buradaki “büyük” kısmı bunu ifade ediyor
    Peki bu videoda “büyük eylem modeli” denirken neyi büyük? Benzer ölçekte devasa eylem girdisi verisi nereden geliyor? Büyük bir laboratuvarda onlarca kişinin eylemleri gösterdiği anlaşılıyor; bu iyi ama bu kadar insanın tüm dijital yazılı içerik kadar veri üretebileceği pek olası görünmüyor

  • Oldukça havalı görünüyor ama birinin aynı anda hem MIT’de tam zamanlı profesör hem de TRI’de tam zamanlı başkan yardımcısı olup olamayacağından pek emin değilim
    Bu tür iki işi bir arada yürütmeyi daha önce de gördüm ama haftada 70 saatten fazla çalışmıyorsa bunun pratikte nasıl mümkün olduğunu anlamak zor

    • Muhtemelen haftada 40 saatten az çalışsa bile, alanında o kadar uzman ki o kişinin 10 saatlik çalışması başkasının tam zamanlı çalışmasıyla ikame edilemiyordur
      Yazılım mühendisliğinden benzetirsek, John Carmack bir projede ayda yalnızca 6-7 gün çalışsa bile ona iyi bir maaş ve rol vermeye gönüllü olabilirsiniz. Çünkü o John Carmack