Apple’ın Claris isminde bir yan şirketi olduğunu duymuş muydunuz? Şimdi Apple’ın office paketi olarak bilgisayarların içinde ücretsiz olarak gelen Pages, Keynote ve Numbers uygulamaları eskiden ClarisWorks ismiyle yayınlanırdı. Daha da geriye giderek MacWrite ve MacPaint‘e kadar uzanabiliriz ama konumuz Apple’ın tarihçesi değil.
Yine de macOS 27 / iOS 27 ile tekrar popüler olan Susan Kare tasarımı olan köpek Clarus ikonunu buraya ekliyorum.
Claris aynı zamanda FileMaker‘ın da yayıncısı konumunda. FileMaker uzun zamandır Low-code uygulama geliştirme ve veritabanı çözümü olarak kurumsal uygulamalar geliştirmek için kullanılıyor.
Claris, kısa bir süre önce Fabric isimli bir ürün geliştirdiğini duyurdu. Fabric, LLM Studio gibi çeşitli LLM modellerini lokal olarak kendi bilgisayarınızda veya bilgisayarınızın dahil olduğu bir cluster’da çalıştırabilmenize olanak sağlıyor.
Fabric şu anda Alpha sürümünde. Versiyon numarası 0.41.0. Dolayısıyla final bir ürün haline gelinceye kadar Fabric ismi de değişebilirmiş. Uygulama genele açık değil. https://content.claris.com/local-ai-server-get-started adresinden bir erişim talebi oluşturuyorsunuz, ardından onaylanırsa indirme linki geliyor. Gelen indirme linki ile de doğrudan indiremeyebilirsiniz. Çünkü uygulama şu anda sadece ABD AppStore‘unda bulunuyor. Eğer bir Amerikan Apple hesabınız varsa AppStore üzerinde tanımlı olan hesabınızı onunla değiştirerek indirebilirsiniz.
Ön gereksinimler
• Minimum M1 çipli ve macOS 27 Golden Gate yüklü bir Mac
• Minimum 16 GB RAM. 70B ve üstü büyük parametreli modelleri çalıştırabilmek için ise 64 GB veya birden fazla node bulunan bir Cluster gerekiyor.
• Çalıştıracağınız modele bağlı olarak 20-80 GB arası disk kapasitesi
• RDMA üzerinden bir cluster oluşturacaksanız her bir bilgisayarın Thunderbolt 5 kapısına sahip olması gerekiyor. Thunderbolt 5 destekli modeller ise şunlar:
- Mac mini (M4 Pro)
- MacBook Pro 14 (M4 Pro, M4 Max, M5 Pro, M5 Max)
- MacBook Pro 16 (M4 Pro, M4 Max, M5 Pro, M5 Max)
- Mac Studio (M3 Ultra, M4 Max, M5 Max, M5 Ultra)
“Az önce M1 yeterli dememiş miydin? Ne ara M5’lere Ultra’lara, Max’lere çıktık” diyor olabilirsiniz. Bu donanımlar, büyük parametreli modelleri, birden fazla bilgisayarı Cluster modunda çalıştırarak bir RAM havuzu elde edebilmek için gerekiyor. Bu işlemi RDMA Networking oluşturarak Thunderbolt 5 kablolar aracılığı ile yapabiliyorsunuz. M4 Pro ve sonrasındaki Mac modelleri Thunderbolt 5 kapısına sahipler. Ama elinizde sadece örneğin M2 çipli bir MacBook Air de varsa onunla da Standalone modunda belleğinin elverdiği oranda modelleri indirip lokalinizde çalıştırabilirsiniz.
Eğer daha önce okumadıysanız şimdi Settings Blog’da daha önce yayınladığımız RDMA Networking Üzerine başlıklı yazıyı okumanın tam zamanıdır.
Kullanım
Fabric’i ilk açtığınızda eğer Thunderbolt port konfigürasyonu ile ilgili aşağıdaki uyarı gelecektir. Fabric, mümkün olan en hızlı bağlantıyı sunabilmek için her bir Thunderbolt portunu birbirinden bağımsız olarak kullanmayı tercih eden bir uygulama. Eğer bridge modunda bir kullanımınız sözkonusu ise bunu bağımsız portlara çevirebilmek için Continue butonuna tıklamalısınız.
Bu adımı geçtikten sonra Fabric’in ana ekranına ulaşırsınız. Aşağıdaki ekran görüntüsünde benim bu yazıyı yazarken kullandığım MacBook Pro’yu standalone modunda görüyorsunuz. Eğer bir Cluster kurmuş olsaydık bu yapının topolojisini de yine bu ekranda görüyor olacaktık. Fabric, benim Thunderbolt kablolarımı Thunderbolt 4 oldukları için beğenmedi. Bu nedenle bilgisayarımda bulunan 24GB RAM ile sınırlanmış durumdayım.
Standart olarak herhangi bir model yüklü gelmiyor. Ekranın üst kısmından Select a model bağlantısına tıklayarak Hugging Face üzerinden yapacağınız işe ve kaynaklarınıza uygun bir modeli indirebilirsiniz.
İndirdiğiniz modeller, ~/Library/Application Support/com.claris.fabric adresinde tutuluyor. Ama bilgisayarınızdaki disk kapasitesini gözeterek bu alanı değiştirebilir ve örneğin harici bir depolama birimini adres gösterebilirsiniz. Bunu yapacaksanız herhangi bir modeli indirmeye başlamadan önce yapmanızı öneririm. Çünkü adresi değiştirdiğiniz an, çalışan model kapatılarak com.claris.fabric klasörü siliniyor.
Modelinizi indirdikten sonra kullanıma hazırsınız. Ekranın sağ üst köşesinde bulunan ⌽ butonuna tıklayarak Fabric’i hangi modda çalıştırdığınız (Standalone veya Cluster), donanım detayları, çalıştırdığınız model, ona ayırılan bellek miktarı gibi temel bilgileri edinebilirsiniz.
Ekranın sağ alt tarafında bulunan yeni mesaj simgesine tıklayarak çalışmaya başlayabilirsiniz. Modelinizin kapasitesi doğrultusunda çeşitli işleri yaptırabilir, sorularınızı yöneltebilirsiniz.
Photo by Nadir sYzYgY on Unsplash
Bir yanıt yazın