Moravec'in paradoksunu duydun mu? Paradoks, ileri akıl yürütmenin yapay zeka (AI) sistemi için çok az hesaplama gücü gerektirdiğini belirtirken, insanların kabul ettiği algısal motor becerilerini uygular. Özünde, karmaşık mantıksal görevler AI için insan içgüdülerinin başarabileceği temel duyusal görevlerden daha kolaydır. Bu paradoks, bu aşamada AI ve insan bilişsel yetenekleri arasındaki farkı vurgulamaktadır.
İnsanlar doğal olarak çok modludur. Her birimiz, genellikle eğitilmek (eğitimli) için okula gitmesi gereken akıllı bir terminal gibiyiz, ancak bu eğitim ve öğrenmenin amacı, her zaman dış talimatlara ve her zaman dış talimatlara güvenmeden çalışma ve yaşama yeteneğine sahip olmamızdır. kontrol.
Etrafımızdaki dünyayı, analiz, akıl, karar ve harekete geçmek için görme, konuşma, ses, dokunma, tat ve koku gibi birden fazla duyusal yöntemle öğreniyoruz.
Yıllarca süren sensör füzyonu ve AI evriminden sonra, robotlar bu aşamada büyük ölçüde multimodal sensörlerle donatılmıştır. Robotlar gibi kenar cihazlarına daha fazla bilgi işlem gücü getirdiğimizde, bu cihazlar daha akıllı ve daha akıllı hale geliyor, çevrelerini algılayabiliyor, doğal dilde anlayabiliyor ve iletişim kurabilen, dijital algılama arayüzleri aracılığıyla haptikleri elde edebiliyor ve robotun spesifik kuvvetini algılayabiliyor, Açısal hız ve hatta ivmeölçerler, jiroskoplar ve manyetometreler ve daha fazlasının bir kombinasyonu ile robotun etrafındaki manyetik alan.
Yeni bir robot ve makine biliş çağına doğru
Transformatör ve büyük dil modellerinden (LLMS) önce, AI'da multimodalite uygulanması tipik olarak farklı veri türlerinden (metin, görüntüler, ses) sorumlu birden fazla ayrı modelin kullanılmasını ve farklı yöntemlerin karmaşık bir işlemle entegrasyonunu gerektiriyordu.
Transformer modellerinin ve LLM'lerin ortaya çıkmasıyla, multimodalite daha entegre hale geldi ve tek bir modelin birden fazla veri türünü aynı anda işlemesine ve anlamasına izin vererek, çevrelerini kapsamlı bir şekilde algılayabilen AI sistemlerine neden oldu. Bu değişim, multimodal AI uygulamalarının etkinliğini ve etkinliğini büyük ölçüde artırmıştır.
GPT -3 gibi LLM'ler öncelikle metin tabanlı olsa da, endüstri çok modluluğa doğru hızlı ilerleme kaydetmiştir. Openai'nin klibi ve Dall-E'den ve şimdi Sora ve GPT -4 o, çok modluluğa ve daha doğal insan-bilgisayar etkileşimine doğru hareket eden modellere örnektir. Örneğin, CLIP doğal dille eşleştirilmiş görüntüleri anlar, böylece görsel ve metinsel bilgiler arasındaki boşluğu doldurur; Dall-E, metin açıklamalarına dayalı görüntüler üretmeyi amaçlamaktadır. Benzer bir evrim geçiren Google Gemini modelini görüyoruz.
2024'te multimodal evrim hızlanır. Şubat ayında Openai, metin açıklamalarına dayanan gerçekçi veya yaratıcı videolar üreten Sora'yı yayınladı. Bunu düşündüğünüzde, bu evrensel dünya simülatörleri oluşturmak için umut verici bir yol sağlayabilir veya robotları eğitmek için önemli bir araç olabilir. Üç ay sonra, GPT -4 O, insan-robot etkileşiminin performansını önemli ölçüde geliştirdi ve ses, vizyon ve metin arasında gerçek zamanlı olarak akıl yürütebilir. Metin, görsel ve ses bilgilerini birleştirmek için yeni bir modeli uçtan uca birleştirmek, giriş modalitesinden metne ve daha sonra metinden çıktı modalitesine kadar iki modal geçişi ortadan kaldırır ve bu da performansı önemli ölçüde iyileştirir.
Şubat ayında aynı hafta Google, bağlam uzunluğunu 1 milyon jetona dramatik bir şekilde genişleten Gemini 1.5'i yayınladı. Bu, 1.5 Pro'nun bir saatlik video, 11 saat ses ve 30'dan fazla, 000 kod satırı veya 700, 000 içeren bir kod tabanı dahil olmak üzere büyük miktarda bilgiyi bir kerede işleyebileceği anlamına gelir. Word.gemini 1.5, Google'ın Transformatör ve Karma Üyesi Uzman Mimarisi (MOE) ve açık kaynaklı 2B ve 7B modelleri üzerine önde gelen araştırmalar üzerine inşa edilmiştir. Mayıs ayında Google I/O konferansında, bağlamın uzunluğunu iki katına çıkarmanın ve bir dizi üretken AI aracı ve uygulaması yayınlamanın yanı sıra, çok modlu bilgileri işleyen genel amaçlı bir AI asistanı olan Project Astra'nın geleceği için vizyonunu araştırdı. , bir kullanıcının yerleştirildiği bağlamı anlar ve konuşmalarda insanlarla çok doğal bir şekilde etkileşime girer.
Açık kaynaklı LLM Lama'nın arkasındaki şirket olarak Meta, genel yapay zeka (AGI) pistine de katılıyor.
Bu gerçek multimodalite, makine zekasının seviyesini büyük ölçüde artırır ve birçok endüstri için yeni paradigmalara yol açacaktır.
Örneğin, robotlar bazı sensörler ve hareket yetenekleri ile çok homojendi, ancak genellikle yeni şeyler öğrenmek ve yapılandırılmamış ve tanıdık olmayan ortamlara uyum sağlamak için "beynine" sahip değillerdi.
Multimodal LLM'lerin robotların uzmanlaşmadan genellemeye geçme, öğrenme ve öğrenme yeteneğini dönüştürmesi beklenmektedir. PC'ler, sunucular ve akıllı telefonlar genel amaçlı bilgi işlem platformlarında liderdir ve çok çeşitli işlevler elde etmek için birçok farklı yazılım uygulaması çalıştırabilir. Genelleme, ölçeklendirme, ölçek ekonomileri üretmeye yardımcı olacaktır ve fiyatlar ölçeklendikçe önemli ölçüde azaltılabilir ve bu da daha fazla alanda erdemli bir evlat edinme döngüsüne yol açar.
Elon Musk, Tesla'nın robotlarının 2022'de Bumblebee'den Mart 2023'te açıklanan Optimus Gen 1'e dönüştüğü için genelleştirilmiş teknolojinin faydalarını erken fark etti ve Gen 2, 2023'ün sonunda her zaman artan çok yönlülük ve öğrenme yetenekleriyle açıklandı. Geçmiş 6-12 aylarında, robotik ve insansı robotik alanında bir dizi atılım gördük.
Yeni nesil robotiklerin ve somutlaşmış zekanın arkasında yeni teknolojiler
Hiç şüphe yok ki, somut istihbarat kitlesel üretime ulaşmadan önce hala yapacak çok işimiz var. Zamanında kararlar ve kontrol eylemleri yapmak için sensör veri bilgilerini işlemek ve kaynaştırmak için daha hafif tasarımlara, daha uzun çalışma sürelerine ve daha hızlı, daha güçlü, kenar bilgi işlem platformlarına ihtiyacımız var.
Ve biz insansı robotlar yaratmaya doğru ilerliyoruz; Binlerce yıllık insan medeniyeti, insanlar için tasarlanmış her yerde bulunan ortamlar üretmiştir ve insansı robotik sistemlerin insanlar ve çevre ile rahatça etkileşime girebilmesi ve insanlara benzerlikleri nedeniyle insan var olan ortamlarda gerekli operasyonları gerçekleştirebilmesi beklenmektedir. Bu sistemler, hasta bakımı ve rehabilitasyon, misafirperverlik endüstrisinde hizmet çalışmaları, eğitim alanında öğretim yardımcıları veya öğrenme yoldaşları ve felaket müdahalesi ve tehlikeli maddeler işleme gibi tehlikeli görevler gibi kirli, tehlikeli ve sıkıcı görevleri üstlenmek için çok uygun olacaktır. . Bu tür uygulamalar, doğal insan-robot etkileşimlerini kolaylaştırmak, insan merkezli alanlarda hareket etmek ve geleneksel robotların başarması genellikle zor olan görevleri yerine getirmek için insansı makinesi insan niteliklerini kullanır.
Birçok AI ve robot şirketi, yeni yapılandırılmamış ortamlarda daha iyi bir neden ve plan yapmak için robotların nasıl eğitileceği konusunda yeni araştırma ve işbirliği başlatıyor. Robotların yeni "beyinleri" olarak, büyük miktarlarda veriler üzerinde önceden eğitilmiş modeller mükemmel genelleme yeteneklerine sahiptir, robotların çevrelerini daha kapsamlı bir şekilde görmesine ve anlamasına, hareketlerini ve eylemlerini duyusal geri bildirimlere göre ayarlamasına ve performanslarını optimize etmesine izin verir. çeşitli dinamik ortamlarda.
İlginç bir örnek olarak, Boston Dynamics'in robot köpeği Spot, bir müzede bir tur rehberi olarak hareket edebilir, ziyaretçilerle etkileşime girebilir, onları çeşitli sergilerle tanıştırabilir ve sorularını cevaplayabilir. İnanmak zor olabilir, ancak bu kullanım durumunda, Spot'un eğlenceli, etkileşimli ve ince performansları gerçeklerin doğru olduğundan emin olmaktan daha önemlidir.
Robotik Transformatör: Robotiklerin Yeni Beyni
Robotik transformatör (RT), multimodal girişleri doğrudan eyleme geçirilebilir koda çevirmek için hızla gelişmektedir. Google DeepMind'in RT -2, daha önce görülen görevleri yerine getirirken% 100 başarı oranı ile selefi RT -1 performans gösterir. Bununla birlikte, Palm-E (robot odaklı bir somutlaşmış multimodal dil modeli) ve Pali-X (özellikle robotlar için özel olarak tasarlanmamış büyük ölçekli çok dilli bir görme ve dil modeli) ile eğitildiğinde, RT -2 daha iyi genelleme yeteneklerine sahiptir. ve görünmeyen görevlerde RT -1 daha iyi performans gösterir.
Microsoft, büyük ölçekli bir dil ve vizyon asistanı olan Llava'yı tanıttı. Başlangıçta metin tabanlı görevler için tasarlanan Llava, robotik görevler için yararlı olabilen metin ve görsel bileşenleri sorunsuz bir şekilde entegre etmek için çok modlu talimatlar için yeni bir paradigma oluşturmak için GPT -4}} gücünden yararlanır. Llava, tanıtımından sonra, multimodal sohbet ve bilimsel sınav görevleri için yeni kayıtlar belirledi ve zaten insan ortalama yeteneklerini aştı.
Daha önce de belirtildiği gibi, Tesla'nın insansı ve genel amaçlı robotiklere girmesi, sadece ölçek ve seri üretim için tasarlandığı için değil, aynı zamanda Tesla'nın otomobiller için otopilotun güçlü tamamen kendi kendine sürüş (FSD) Teknoloji Vakfı'nın kullanılabileceği için önemlidir. Robotlar. Tesla ayrıca Optimus'un yeni enerji aracı üretim sürecine uygulanması için akıllı bir üretim kullanım durumu var.
Kol, robotiklerin geleceğinin temel taşıdır
ARM, hem "büyük beyin" hem de "küçük beyin" robotik beyninin, üstün performans, gerçek zamanlı tepki ve enerji verimliliği sağlayan heterojen bir AI bilgi işlem sistemi olması gerektiğine inanıyor.
Robotik, temel hesaplama (örneğin motorlara ve motorlara sinyal gönderme ve alma), gelişmiş veri işleme (örneğin, görüntü ve sensör verilerini yorumlama) ve daha önce bahsedilen multimodal LLM'leri çalıştırma dahil olmak üzere çok çeşitli görevleri içerir. CPU genel amaçlı görevler için çok uygundur, AI gaz pedalları ve GPU'lar makine öğrenimi (ML) ve grafik işleme gibi paralel işleme görevlerini daha verimli bir şekilde ele alabilir. Robotun görme yeteneklerini ve depolama/iletim verimliliğini artırmak için görüntü sinyal işlemcileri ve video kodekleri gibi ek gaz pedalları da entegre edilebilir. Buna ek olarak, CPU'nun gerçek zamanlı duyarlılığa sahip olması ve Linux ve ROS paketleri gibi işletim sistemlerini çalıştırabilmesi gerekir.
Robotik yazılım yığınına genişletildiğinde, işletim sistemi katmanı, zaman açısından kritik görevleri güvenilir bir şekilde işleyebilen gerçek zamanlı bir işletim sistemi (RTOS) ve ROS gibi robotikler için özelleştirilmiş bir Linux dağıtımına ihtiyaç duyabilir. Heterojen bilgi işlem kümeleri için tasarlanmış hizmetler. SystemReady ve PSA Sertifikalı gibi kol destekli standartların ve sertifika programlarının robotik yazılımın geliştirilmesine yardımcı olacağına inanıyoruz. SystemReady, Standart Zengin İşletme Dağıtımlarının ARM mimarisine dayalı olarak çok çeşitli çipler üzerinde (SOCS) çalışmasını sağlamak için tasarlanmıştır, PSA sertifikası ise bağlantılı cihazlar için bölgesel güvenlik ve düzenleyici gereksinimleri karşılamak için güvenlik uygulama çözümlerini basitleştirmeye yardımcı olur.
Büyük ölçekli multimodal modellerde ve üretken AI, AI robotlarının ve insansı robotların geliştirilmesinde yeni bir çağda ilerlemeler. Yapay zeka bilgi işlem ve ekosistemlerle birlikte, bu yeni çağda robotikleri genel hale getirmek için enerji verimliliği, güvenlik ve fonksiyonel güvenlik esastır. ARM işlemcileri zaten robotiklerde yaygın olarak kullanılmaktadır ve kolu AI robotiklerinin geleceğinin temel taşı haline getirmek için ekosistemle yakın çalışmayı dört gözle bekliyoruz.