Teknoloji endüstrisinde birisinin çıkarımdan, yapay zekadan (AI) ve makine öğreniminden (ML) bahsetmeden konuşmanız neredeyse imkansızdır. Ancak, tüm bu terimlerin birbiriyle bağlantılı olmasına rağmen önemli ölçüde farklı olduklarını da unutmamak önemlidir.
Bu makalede, temel farklılıkları açıklayacağız ve özellikle uç ve yerleşik sistemlerde tensör işleme-tabanlı uç yapay zeka teknolojisinin kullanılmasının önemini vurgulayacağız. Grafik işleme birimlerine (GPU'lar) dayalı çözümlerle karşılaştırıldığında, tensör işleme birimleri (TPU'lar) daha verimli ve-uygun maliyetli performans sunar. Ayrıca gelecekte uç yapay zeka çözümleriyle nerede karşılaşabileceğinizi gösteren bazı örnek kullanım durumları da sunacağız.
ML ve Çıkarımın Temelleri
ML, makinelerin görevleri nasıl gerçekleştireceklerini öğrenmesini sağlamak için temsili verileri kullanan eğitim modellerinin metodolojisini ifade eder. Bu süreç, hesaplama açısından oldukça yoğun olabilir ve yeni eğitim veri noktası başına trilyonlarca işlem üretebilir. Eğitim sürecinin yinelemeli doğası, yüksek doğruluk elde etmek için gereken devasa eğitim veri kümeleriyle birleştiğinde, son derece yüksek-performanslı kayan nokta-işleme talebini artırır. ML eğitimi en iyi şekilde, yüksek sermaye ve operasyonel maliyetlerin çok sayıda müşteri arasında amorti edilerek haklı gösterilebileceği veri merkezi altyapısı olarak uygulanır.
Çıkarım, modelin eğitildiği temsili verilerle ilgili yeni veriler için potansiyel eşleşmeler oluşturmak amacıyla eğitilmiş modellerin kullanılmasını içerir. Çıkarım, milisaniyeler içinde hızlı yanıtlar sunmayı amaçlamaktadır. Çıkarım örnekleri arasında konuşma tanıma, gerçek-zamanlı dil çevirisi, makine görüşü ve reklam ekleme optimizasyonu kararları yer alır. Çıkarım, eğitim için gereken işlem gücünün yalnızca küçük bir kısmını gerektirse de, özellikle bilgisayarlı görüntü uygulamaları için geleneksel merkezi işlem birimi (CPU)-tabanlı sistemlerin sağlayabileceği gücün çok üzerindedir. Bu nedenle pek çok şirket, uçta gereken-saniyeden kısa yanıt sürelerine ulaşmak için ister SoC'lerde IP olarak, ister-sistem hızlandırıcılarda-tensör-tabanlı hızlandırma çözümlerine- yöneliyor. Gerçek şu ki, bir görüntü sisteminde görüntüleri işlemek için bir dakika veya birkaç saniye harcamanın bile pek faydası yoktur. Endüstriyel görüntü sistemleri milisaniye düzeyinde{13}işleme hızları arıyor.
Eğitim ve Çıkarımı Ayırmak
Çıkarım iş yüklerini işlemek için eğitim için kullanılan donanımın aynısını dağıtmak, çıkarım makinelerine-hızlandırıcılar ve CPU donanımının aşırı sağlanmasıyla sonuçlanabilir. Son on yılda makine öğrenimi için geliştirilen GPU çözümleri, makine öğrenimi çıkarım teknolojilerinin büyük-ölçekli dağıtımı için mutlaka en uygun seçim olmayabilir. Aşağıdaki şema, TPU hızlandırıcılar ile GPU hızlandırıcılar arasındaki karşılaştırmayı mükemmel bir şekilde göstermektedir. Bu, TPU hızlandırıcıların GPU-tabanlı AGX çözümleriyle karşılaştırıldığında daha düşük güç tüketimi, daha düşük maliyetler ve daha yüksek verimlilik sunarken, yine de çıkarım uygulamaları için etkileyici performans düzeyleri sağladığını açıkça göstermektedir.
Makine öğrenimi eğitimi ve çıkarım çözümlerine yaklaşırken göz önünde bulundurulması gereken bir diğer kritik nokta da yazılım ortamıdır. Bugün, NVIDIA GPU'lar için CUDA, TensorFlow ve PyTorch gibi makine öğrenimi çerçeveleri, Keras gibi optimize edilmiş-platformlar arası model kitaplıkları ve daha fazlası gibi çok sayıda popüler kitaplık kullanılmaktadır. Bu araç takımları makine öğrenimi modellerini geliştirmek ve eğitmek için gereklidir, ancak çıkarım uygulamaları farklı, daha küçük bir yazılım araçları seti gerektirir.
Çıkarım araç setleri, modelleri hedef platformlarda çalıştırmaya odaklanır. Bazı operatör dönüşümlerini, nicelemeyi ve ana bilgisayar entegrasyon hizmetlerini içerebilecek şekilde eğitilmiş modellerin platformlara taşınmasını desteklerler. Ancak bu, model geliştirme ve eğitim için gerekli olanlarla karşılaştırıldığında nispeten basit bir işlevsellik kümesini temsil eder.
Çıkarım araçları, modelin standartlaştırılmış bir temsiliyle başlamanın faydasını görür. Açık Sinir Ağı Değişimi (ONNX), ML modellerini temsil etmek için standart formattır. Adından da anlaşılacağı gibi Linux Foundation projesi olarak yönetilen açık bir standarttır. ONNX gibi teknolojiler, eğitim ve çıkarım sistemlerinin birbirinden ayrılmasını sağlayarak geliştiricilere her biri için farklı optimize edilmiş platformlar seçme özgürlüğü verir.
Örnek Görsel Uygulamalar
Makine öğrenimi ve çıkarım işlemcisi teknolojileri ilerlemeye ve gelişmeye devam ettikçe uygulamalar da çoğalıyor. Aşağıda gelecekte bu teknolojiyle karşılaşabileceğiniz birkaç yer var.
Fabrikalar, hastaneler, perakende mağazalar ve finans kurumları gibi kuruluşlardaki uç sunucular. Örneğin endüstriyel ortamlarda yapay zeka, envanter yönetimine, kusur tespitine ve hatta sorunlar ortaya çıkmadan önce tahmine dayalı bakıma yardımcı olabilir. Perakendede, insan duruşunu tespit etmek ve analiz etmek için bilgisayar görüşünü kullanarak poz tahmini gibi özellikleri etkinleştirir. Bu analizden elde edilen veriler, fiziksel perakendecilerin mağazalarındaki insan davranışlarını ve yaya trafiğini daha iyi anlamalarına yardımcı olarak mağaza düzenlerini maksimum satış ve müşteri memnuniyeti için optimize etmelerine olanak tanır.
Robotik, endüstriyel otomasyon/denetim, tıbbi görüntüleme, bilimsel görüntüleme, gözetleme ve nesne tanıma kameraları ve fotonik gibi uygulamalar için yüksek{0}}hassas/yüksek-kaliteli görüntüleme. Örneğin, makine öğrenimi yöntemleri, dijital X-ışınlarını işleyerek kanseri tespit etme yeteneğini göstermiştir. Bu süreç, genellikle kanserli lezyonları tanımlamak için eğitimli semantik segmentasyon algoritmaları kullanılarak X-ışını görüntülerini işlemek üzere tasarlanmış bir ML modelinin geliştirilmesini içerir. Eğitim sırasında radyologlar tarafından belirlenen kanser görüntüleri, ağa neyin kanser olmadığını, kanserin ne olduğunu ve farklı kanser türlerinin nasıl ortaya çıktığını öğretmek için kullanılır. Bir ML modeli ne kadar çok eğitilirse, doğru teşhisleri en üst düzeye çıkarma ve yanlış teşhisleri en aza indirme konusunda o kadar iyi olur. Bu, makine öğreniminin yalnızca akıllı model tasarımına değil, aynı zamanda kanserin ustalıkla tanımlandığı, dikkatle seçilmiş büyük miktardaki (on binlerce ila milyonlarca) veri örneğine de dayandığı anlamına gelir.
Akıllı Alışveriş Sepetleri-Birçok şirket, ürünleri UPC barkodlarına göre değil, ambalajın görsel görünümüne göre tanıyan akıllı alışveriş sistemleri geliştiriyor ve dağıtıyor. Bu özellik, alışveriş yapanların UPC kodunu bulmalarına ve bir UPC lazer tarayıcıyla taramalarına gerek kalmadan ürünleri sepete veya ödeme sistemine kolayca yerleştirmelerine olanak tanır. Bu teknoloji alışveriş sürecini daha doğru, daha hızlı ve daha rahat hale getiriyor.
Doğru Karar Vermek
Şirketler bugün mevcut tüm çözümleri değerlendirmeli ve kendi özel kullanım durumlarına göre en uygun olanı seçmelidir. Ayrıca, TPU-tabanlı çözümler daha yüksek işleme verimliliği ve daha düşük silikon kullanımı sunarak güç tüketimini ve maliyetleri azalttığından, tüm AI çözümlerinin en iyi şekilde GPU cihazlarında uygulandığını varsayamazlar.