CLARIS FABRIC: IHR ZUGANGSPUNKT ZU LOKALEN LLMs

Hatten Sie gehört, dass Apple eine Tochtergesellschaft namens Claris hat? Die Anwendungen Pages, Keynote und Numbers, die nun als Apples Office-Suite kostenlos in Computern kommen, wurden früher unter dem Namen ClarisWorks veröffentlicht. Noch weiter zurückgehend könnten wir bis zu MacWrite und MacPaint reichen, aber unser Thema ist nicht Apples Geschichte.

Claris ist außerdem der Herausgeber von FileMaker. FileMaker wird seit langem als Low-Code-Anwendungsentwicklungs- und Datenbanklösung verwendet, um Unternehmensanwendungen zu entwickeln.

Claris kündigte vor kurzem an, ein Produkt namens Fabric entwickelt zu haben. Fabric ermöglicht es Ihnen, verschiedene LLM-Modelle, wie LM Studio, lokal auf Ihrem eigenen Computer oder auf einem Cluster, zu dem Ihr Computer gehört, auszuführen.

Fabric befindet sich derzeit in seiner Alpha-Version. Die Versionsnummer ist 0.41.0. Daher kann sich, bis es ein finales Produkt wird, auch der Name Fabric ändern. Die Anwendung ist nicht öffentlich verfügbar. Sie erstellen unter der Adresse https://content.claris.com/local-ai-server-get-started eine Zugriffsanfrage, dann kommt, falls sie genehmigt wird, ein Download-Link. Mit dem kommenden Download-Link können Sie möglicherweise nicht direkt herunterladen. Denn die Anwendung ist derzeit nur im US-App-Store verfügbar. Wenn Sie ein amerikanisches Apple-Konto haben, können Sie sie herunterladen, indem Sie Ihr im App Store definiertes Konto mit jenem austauschen.

Voraussetzungen

• Ein Mac mit mindestens M1-Chip und installiertem macOS 27 Golden Gate
• Mindestens 16 GB RAM. Und um große Modelle mit 70B und mehr Parametern ausführen zu können, wird ein Cluster mit 64 GB oder mehr als einem Node benötigt.
• Zwischen 20-80 GB Festplattenkapazität, abhängig von dem Modell, das Sie ausführen werden
• Wenn Sie einen Cluster über RDMA erstellen werden, muss jeder Computer einen Thunderbolt-5-Anschluss haben. Und die Thunderbolt-5-unterstützten Modelle sind diese:

• Mac mini (M4 Pro)
• MacBook Pro 14 (M4 Pro, M4 Max, M5 Pro, M5 Max)
• MacBook Pro 16 (M4 Pro, M4 Max, M5 Pro, M5 Max)
• Mac Studio (M3 Ultra, M4 Max, M5 Max, M5 Ultra)

Sie sagen vielleicht: „Hast du nicht gerade gesagt, M1 reicht aus? Wann sind wir zu M5s, Ultras, Maxes aufgestiegen?“ Diese Hardware wird benötigt, um durch das Ausführen großer Modelle mit mehr als einem Computer im Cluster-Modus einen RAM-Pool erhalten zu können. Diesen Vorgang können Sie durchführen, indem Sie RDMA Networking über Thunderbolt-5-Kabel erstellen. M4 Pro und spätere Mac-Modelle haben einen Thunderbolt-5-Anschluss. Aber wenn Sie zum Beispiel nur ein MacBook Air mit M2-Chip zur Hand haben, können Sie auch damit Modelle in dem Maße herunterladen, wie es sein Speicher erlaubt, und sie lokal im Standalone-Modus ausführen.

Wenn Sie es zuvor nicht gelesen haben, ist jetzt genau die Zeit, den Artikel mit dem Titel Über RDMA Networking zu lesen, den wir zuvor auf Settings Blog veröffentlicht haben.

Verwendung

Wenn Sie Fabric zum ersten Mal öffnen, erscheint die folgende Warnung in Bezug auf die Thunderbolt-Port-Konfiguration. Fabric ist eine Anwendung, die es vorzieht, jeden Thunderbolt-Port unabhängig voneinander zu verwenden, um die schnellstmögliche Verbindung bieten zu können. Wenn Sie eine Verwendung im Bridge-Modus haben, sollten Sie auf die Schaltfläche Continue klicken, um dies in unabhängige Ports umwandeln zu können.

Nachdem Sie diesen Schritt passiert haben, erreichen Sie den Hauptbildschirm von Fabric. Im untenstehenden Screenshot sehen Sie das MacBook Pro, das ich beim Schreiben dieses Artikels verwendet habe, im Standalone-Modus. Wenn wir einen Cluster eingerichtet hätten, würden wir die Topologie dieser Struktur ebenfalls auf diesem Bildschirm sehen. Fabric mochte meine Thunderbolt-Kabel nicht, weil sie Thunderbolt 4 sind. Aus diesem Grund bin ich auf die 24 GB RAM, die sich in meinem Computer befinden, beschränkt.

Standardmäßig kommt kein Modell installiert. Indem Sie auf den Link Select a model im oberen Teil des Bildschirms klicken, können Sie über Hugging Face ein für die von Ihnen durchzuführende Arbeit und Ihre Ressourcen geeignetes Modell herunterladen.

Die von Ihnen heruntergeladenen Modelle werden unter der Adresse ~/Library/Application Support/com.claris.fabric aufbewahrt. Aber unter Berücksichtigung der Festplattenkapazität auf Ihrem Computer können Sie diesen Bereich ändern und zum Beispiel eine externe Speichereinheit als Adresse angeben. Wenn Sie dies tun werden, empfehle ich Ihnen, es zu tun, bevor Sie mit dem Herunterladen irgendeines Modells beginnen. Denn in dem Moment, in dem Sie die Adresse ändern, wird das laufende Modell geschlossen und der Ordner com.claris.fabric gelöscht.

Nachdem Sie Ihr Modell heruntergeladen haben, sind Sie bereit zur Verwendung. Indem Sie auf die Schaltfläche ⌽ in der oberen rechten Ecke des Bildschirms klicken, können Sie grundlegende Informationen erhalten, wie in welchem Modus Sie Fabric ausführen (Standalone oder Cluster), Hardwaredetails, das von Ihnen ausgeführte Modell und die ihm zugewiesene Speichermenge.

Indem Sie auf das Neue-Nachricht-Symbol unten rechts auf dem Bildschirm klicken, können Sie mit der Arbeit beginnen. Entsprechend der Kapazität Ihres Modells können Sie verschiedene Aufgaben erledigen lassen und Ihre Fragen stellen.

Photo by Nadir sYzYgY on Unsplash