Nvidia ve Microsoft, PC'lerde yapay zeka işlemlerini hızlandırıyor

Nvidia ve Microsoft, Nvidia RTX tabanlı yapay zeka bilgisayarlarında yapay zeka işlemlerinin performansını hızlandırmak için çalışmalar yürüttüklerini duyurdu .

Üretken Yapay Zeka, dijital insanlardan yazma asistanlarına, akıllı aracılardan yaratıcı araçlara kadar PC yazılımlarını çığır açan deneyimlere dönüştürüyor.

Nvidia RTX AI PC'ler, üretken AI ile denemeler yapmayı kolaylaştıran ve Windows 11'de daha yüksek performansın kilidini açan teknolojiyle bu dönüşüme güç veriyor.

TensorRT, RTX AI PC'ler için yeniden tasarlandı ve sektör lideri TensorRT performansını, anında cihaz içi motor oluşturma ve 100 milyondan fazla RTX AI PC'ye hızlı AI dağıtımı için 8 kat daha küçük paket boyutuyla bir araya getirdi.

Microsoft Build'de duyurulan RTX için TensorRT, uygulama geliştiricilerine hem geniş donanım uyumluluğu hem de en son teknoloji performansı sağlayan yeni bir çıkarım yığını olan Windows ML tarafından doğal olarak destekleniyor.

Nvidia'da AI PC ürün direktörü olan Gerardo Delgado, bir basın brifinginde AI PC'lerin Nvidia'nın RTX donanımı, CUDA programlaması ve bir dizi AI modeliyle başladığını söyledi. Yüksek seviyede bir AI modelinin temelde bir dizi matematiksel işlem ve bunları çalıştırmanın bir yolu olduğunu belirtti. Ve işlemlerin birleşimi ve bunların nasıl çalıştırılacağı, makine öğrenmesinde normalde grafik olarak bilinen şeydir.

"GPU'larımız bu işlemleri Tensor çekirdekleriyle gerçekleştirecek. Ancak Tensor çekirdekleri nesilden nesile değişiyor. Bunları zaman zaman uyguluyoruz ve daha sonra bir nesil GPU içinde şemaya bağlı olarak farklı Tensor kodu sayılarına da sahip oluyorsunuz. Her matematiksel işlem için doğru Tensor kodunun ne olduğunu eşleştirebilmek, performansa ulaşmanın anahtarıdır. Bu nedenle bir TensorRT bunu iki adımlı bir yaklaşımla yapar."

Öncelikle, Nvidia'nın AI modelini optimize etmesi gerekiyor. Modeli nicelleştirmesi gerekiyor, böylece modelin parçalarının veya bazı katmanlarının hassasiyeti azalıyor. Nvidia modeli optimize ettiğinde, TensorRT bu optimize edilmiş modeli tüketiyor ve ardından Nvidia temel olarak önceden seçilmiş çekirdeklerle bir plan hazırlıyor.”

Bunu Windows'ta yapay zekayı çalıştırmanın standart bir yoluyla karşılaştırırsanız, Nvidia ortalama olarak yaklaşık 1,6 kat daha fazla performans elde edebilir.

Şimdi bu deneyimi iyileştirmek için RTX için yeni bir TensorRT sürümü olacak. Özellikle RTX AI PC'ler için tasarlandı ve aynı TensorRT performansını sağlıyor, ancak GPU başına TensorRT motorlarını önceden oluşturmak yerine modeli optimize etmeye odaklanacak ve genel bir TensorRT motoru sunacak.

"Daha sonra uygulama yüklendikten sonra, TensorRT for RTX, saniyeler içinde belirli GPU'nuz için doğru TensorRT motorunu üretecektir. Bu, geliştirici iş akışını büyük ölçüde basitleştirir," dedi.

Delgado, sonuçlar arasında kütüphanelerin boyutunun küçülmesi, video üretiminde daha iyi performans ve daha kaliteli canlı yayınların yer aldığını söyledi.

Nvidia SDK'ları, uygulama geliştiricilerinin AI özelliklerini entegre etmesini ve GeForce RTX GPU'larında uygulamalarını hızlandırmasını kolaylaştırır. Bu ay Autodesk, Bilibili, Chaos, LM Studio ve Topaz'ın en iyi yazılım uygulamaları, RTX AI özelliklerini ve hızlandırmayı açmak için güncellemeler yayınlıyor.

Yapay zeka meraklıları ve geliştiricileri, AnythingLLM, Microsoft VS Code ve ComfyUI gibi popüler uygulamalarda çalışan önceden paketlenmiş, optimize edilmiş yapay zeka modelleri olan Nvidia NIM'i kullanarak yapay zekaya kolayca başlayabilir. FLUX.1-schnell görüntü oluşturma modeli artık bir NIM olarak mevcuttur ve popüler FLUX.1-dev NIM daha fazla RTX GPU'yu destekleyecek şekilde güncellendi.

Yapay zeka geliştirmeye dalmak için kodsuz bir seçenek için, Nvidia uygulamasındaki RTX PC yapay zeka asistanı olan Project G-Assist, asistan iş akışları oluşturmak için eklentiler oluşturmanın basit bir yolunu etkinleştirdi. Google Gemini web araması, Spotify, Twitch, IFTTT ve SignalRGB dahil olmak üzere yeni topluluk eklentileri artık mevcut.

Günümüzün yapay zeka PC yazılım yığını, geliştiricilerin geniş donanım desteğine sahip ancak daha düşük performans sunan çerçeveler ile yalnızca belirli donanım veya model türlerini kapsayan ve geliştiricinin birden fazla yolu sürdürmesini gerektiren optimize edilmiş yollar arasında seçim yapmasını gerektiriyor.

Yeni Windows ML çıkarım çerçevesi bu zorlukları çözmek için oluşturulmuştur. Windows ML, ONNX Runtime'ın üzerine kurulmuştur ve her donanım üreticisi tarafından sağlanan ve bakımı yapılan optimize edilmiş bir AI yürütme katmanına sorunsuz bir şekilde bağlanır. GeForce RTX GPU'ları için Windows ML, yüksek performans ve hızlı dağıtım için optimize edilmiş bir çıkarım kitaplığı olan RTX için TensorRT'yi otomatik olarak kullanır. DirectML ile karşılaştırıldığında TensorRT, PC'lerdeki AI iş yükleri için %50'den fazla daha hızlı performans sunar.

Windows ML ayrıca geliştiriciler için yaşam kalitesi avantajları da sunar. Her AI özelliğini çalıştırmak için doğru donanımı otomatik olarak seçebilir ve bu donanım için yürütme sağlayıcısını indirebilir, böylece bu dosyaları uygulamalarına paketleme gereksinimini ortadan kaldırır. Bu, Nvidia'nın kullanıcılara hazır oldukları anda en son TensorRT performans optimizasyonlarını sunmasını sağlar. Ayrıca ONNX Runtime üzerine kurulu olduğu için Windows ML herhangi bir ONNX modeliyle çalışır.

Geliştiriciler için deneyimi daha da iyileştirmek amacıyla, TensorRT RTX için yeniden tasarlandı. TensorRT motorlarını önceden oluşturup bunları uygulama ile paketlemek yerine, TensorRT for RTX, AI modelinin kullanıcının belirli RTX GPU'su için saniyeler içinde nasıl çalıştırılacağını optimize etmek için tam zamanında, cihaz üzerinde motor oluşturmayı kullanır. Ayrıca, kütüphane basitleştirildi ve dosya boyutu sekiz kat büyük ölçüde azaltıldı. TensorRT for RTX, bugün Windows ML önizlemesi aracılığıyla geliştiriciler için kullanılabilir ve Nvidia Developer'da doğrudan bağımsız bir SDK olarak kullanılabilir olacak ve Haziran ayında yayınlanması hedefleniyor.

Geliştiriciler, Nvidia'nın Microsoft Build Developer Blog'undan, TensorRT for RTX lansman blog'undan ve Microsoft'un Windows ML blog'undan daha fazla bilgi edinebilirler.

Yapay zeka özellikleri eklemek veya uygulama performansını artırmak isteyen geliştiriciler, geniş bir Nvidia SDK yelpazesinden yararlanabilir. Bunlar arasında GPU hızlandırma için CUDA ve TensortRT; 3D grafikler için DLSS ve Optix; multimedya için RTX Video ve Maxine; ve üretken yapay zeka için Riva, Nemotron veya ACE bulunur.

En iyi uygulamalar bu SDK'ları kullanarak Nvidia'nın benzersiz özelliklerini etkinleştirmek için bu ay güncellemeler yayınlıyor. Topaz, CUDA tarafından hızlandırılan video kalitesini artırmak için üretken bir AI video modeli yayınlıyor. Chaos Enscape ve Autodesk VRED, daha hızlı performans ve daha iyi görüntü kalitesi için DLSS 4 ekliyor. BiliBili, Nvidia Broadcast özelliklerini entegre ederek yayıncıların canlı yayınların kalitesini artırmak için doğrudan Bilibili Livehime içinde Nvidia Virtual Background'u etkinleştirmesini sağlıyor.

Bilgisayarlarda AI geliştirmeye başlamak göz korkutucu olabilir. AI geliştiricileri ve meraklıları, Hugging Face'te 1,2 milyondan fazla AI modeli arasından seçim yapmalı, bunları bilgisayarda iyi çalışan bir formata dönüştürmeli, çalıştırmak için tüm bağımlılıkları bulup yüklemeli ve daha fazlasını yapmalıdır. Nvidia NIM, bunları çalıştırmak için gereken tüm dosyalarla önceden paketlenmiş ve RTX GPU'larda tam performans elde etmek için optimize edilmiş, düzenlenmiş bir AI modelleri listesi sağlayarak başlamayı kolaylaştırır. Ve konteynerleştirilmiş mikro hizmetler olarak, aynı NIM PC veya bulutta sorunsuz bir şekilde çalıştırılabilir.

NIM bir pakettir; çalıştırmanız için ihtiyaç duyduğunuz her şeyle önceden paketlenmiş üretken bir yapay zeka modelidir.

Zaten RTX GPU'lar için TensorRT ile optimize edilmiş durumda ve açık API uyumlu, kullanımı kolay bir API ile geliyor; bu da onu günümüzde kullanıcıların kullandığı tüm üst düzey yapay zeka uygulamalarıyla uyumlu hale getiriyor.

Computex'te Nvidia, Black Forest Labs'ın hızlı görüntü oluşturma için bir görüntü oluşturma modeli olan FLUX.1-schnell NIM'i piyasaya sürüyor ve FLUX.1-dev NIM'i çok çeşitli GeForce RTX 50 ve 40 Serisi GPU'larla uyumluluk eklemek için güncelliyor. Bu NIM'ler, TensorRT ile daha hızlı performans ve niceliksel modeller sayesinde ek performans sağlıyor. Blackwell GPU'larda, FP4 ve RTX optimizasyonları sayesinde bunlar yerel olarak çalıştırılandan iki kat daha hızlı çalışıyor.

Yapay zeka geliştiricileri, NIM kullanılarak hazırlanan örnek iş akışları ve projeler olan Nvidia AI Blueprints ile çalışmalarına hızla başlayabilirler.

Geçtiğimiz ay Nvidia, 3B sahneyi referans olarak kullanarak oluşturulan görüntülerin kompozisyonunu ve kamera açılarını kontrol etmenin güçlü bir yolu olan 3B Rehberli Üretken AI Planı'nı yayınladı. Geliştiriciler, açık kaynaklı planı kendi ihtiyaçlarına göre değiştirebilir veya ek işlevlerle genişletebilir.

Nvidia yakın zamanda Nvidia uygulamasına entegre edilmiş deneysel bir yapay zeka asistanı olan Project G-Assist'i yayınladı. G-Assist, kullanıcıların GeForce RTX sistemlerini basit ses ve metin komutları kullanarak kontrol etmelerini sağlayarak, birden fazla eski kontrol paneline yayılmış manuel kontrollere kıyasla daha kullanışlı bir arayüz sunuyor.

Geliştiriciler ayrıca Project G-Assist'i kullanarak eklentileri kolayca oluşturabilir, yardımcı kullanım durumlarını test edebilir ve bunları Nvidia'nın Discord ve GitHub'ı üzerinden yayınlayabilirler.

Eklentiler oluşturmaya başlamayı kolaylaştırmak için Nvidia, kullanımı kolay Plug-in Builder'ı kullanıma sundu. Bu, doğal dil komutlarıyla kodsuz/düşük kodlu geliştirmeye izin veren ChatGPT tabanlı bir uygulamadır. Bu hafif, topluluk odaklı eklentiler, basit JSON tanımlarını ve Python mantığını kullanır.

GitHub'da, cihaz üzerindeki yapay zekanın PC'nizi ve oyun iş akışlarınızı nasıl geliştirebileceğini gösteren çeşitli açık kaynaklı örnekler mevcut.

● Gemini: Google'ın bulut tabanlı ücretsiz LLM programını kullanan mevcut Gemini eklentisi, gerçek zamanlı web arama yeteneklerini içerecek şekilde güncellendi.

● IFTTT: IoT ve ev otomasyon sistemleri gibi IFTTT ile çalışan yüzlerce uç noktadan otomasyonları etkinleştirin ve dijital kurulumlardan fiziksel ortamlara kadar uzanan rutinleri etkinleştirin.

● Discord: Oyununuzun önemli anlarını veya mesajlarınızı, oyununuzu bozmadan doğrudan Discord sunucularına kolayca paylaşın.

Spotify üzerinden eller serbest müzik kontrolü, Twitch ile canlı yayın durumu kontrolleri ve daha fazlası dahil olmak üzere ek örnekler için GitHub deposunu inceleyin.

Şirketler ayrıca AI'yı yeni PC arayüzü olarak benimsiyor. Örneğin, SignalRGB birden fazla üretici arasında birleşik aydınlatma kontrolü sağlayan bir G-Assist eklentisi geliştiriyor. SignalRGB kullanıcıları yakında bu eklentiyi doğrudan SignalRGB uygulamasından yükleyebilecekler.

Project G-Assist eklentilerini geliştirmek ve denemek isteyen meraklıları, işbirliği yapmak, yaratımları paylaşmak ve geliştirme sırasında destek almak için Nvidia Developer Discord kanalına katılmaya davet ediyoruz.

RTX AI Garage blog dizisi her hafta, NIM mikro servisleri ve AI Planları hakkında daha fazla bilgi edinmek isteyenler için topluluk odaklı AI yenilikleri ve içerikleri sunuyor; ayrıca AI bilgisayarları ve iş istasyonlarında AI aracıları, yaratıcı iş akışları, dijital insanlar, üretkenlik uygulamaları ve daha fazlasını oluşturmayı ele alıyor.