Lokale KI-Modelle in DEVONthink

Wenn es um KI in DEVONthink 4 geht, sind für viele Leute vor allem zwei Punkte wichtig: Kosten und Privatsphäre. Neben den großen, kommerziellen Produkten können Sie auch kleinere KI-Modelle verwenden, die lokal auf Ihrem Mac laufen. Diese Modelle sind oft kostenlos und verarbeiten Ihre Anfragen lokal auf Ihrem Mac, statt sie über einen fremden Server zu schicken. Allerdings gibt es auch einige Einschränkungen. Hier ist ein kleiner Überblick.

In DEVONthinks Einstellungen > KI > Chat können Sie ein KI-Modell konfigurieren. In den Einstellung Chat können Sie neben den bekannten kommerziellen Plattformen wie ChatGPT oder Claude im unteren Bereich auch lokale Plattformen auswählen. Diese Plattformen ermöglichen Ihnen, KI-Modelle lokal auf Ihrem Mac zu installieren. Bei der Veröffentlichung dieses Blogartikels haben Sie folgende Optionen:

• Ollama ist eine Open-Source-Plattform, mit der Sie KI-Modelle herunterladen und lokal verwenden können. Das Herunterladen und Verwenden ist zwar recht einfach, allerdings benötigen Sie das Terminal, um die Modelle zu installieren. Hier finden Sie eine Übersicht über die Modelle, die Ollama unterstützt. Um ein Modell zu installieren, sollten Sie den Befehl pull verwenden, also z. B. ollama pull gemma3:8b.
• GPT4All lässt Sie lokale Modelle ganz einfach herunterladen und mit ihnen chatten. Sie können auch einen Server einrichten, um die Modelle in DEVONthink 4 zu verwenden. Machen Sie dazu ein Häkchen bei der Einstellung Settings > Enable Local API Server von GPT4All.
• LM Studio bietet Ihnen, genauso wie GPT4All, eine hübsche Oberfläche, um auch außerhalb unserer Anwendung mit einem installierten Modell zu chatten. Auch LM Studio hat einen Server, den Sie für den Chat in DEVONthink nutzen können. Richten Sie den Server in den Developer-Einstellungen ein.

Lokal installierte Modelle haben den Vorteil, dass sie mehr Privatsphäre bieten. Allerdings gibt es auch einige Einschränkungen:

• Im Gegensatz zu den großen, kommerziellen Produkten treten bei lokalen Modellen mehr Halluzinationen auf, also unsinnige oder fehlerhafte Inhalte. Lokale Modelle müssen mit viel weniger Parametern auskommen und neigen daher eher zu unpräzisen Antworten oder Halluzinationen.
• Die Hardware ist bei vielen Rechnern ein stark limitierender Faktor. Je mehr Arbeitsspeicher Ihr Mac hat, desto größer ist das Modell, das er ausführen kann. Empfohlen sind Modelle, die maximal ca. 50 bis 75% des Arbeitsspeichers belegen; auf einem Mac mit 16 GB RAM lassen sich also sinnvollerweise Modelle mit maximal zwölf Milliarden Parametern ausführen. Das klingt zwar nach viel, ist aber eigentlich ein kleines Modell. Die größeren, leistungsstärkeren Modelle haben Hunderte von Milliarden Parametern.
• Sie können einige lokale Modelle für den Chat verwenden, allerdings vielleicht keine Tool Calls nutzen. Das sind Funktionen von DEVONthink, auf die die KI zugreifen kann, z. B. neue Dokumente erzeugen.

Trotz der Einschränkungen können lokale Modelle nützliche Ergebnisse erzeugen und sind einen Blick wert. Sie sind auch eine interessante Möglichkeit, falls Sie Ihre Anfragen nicht über fremde Server schicken möchten. Weitere Informationen zur KI-Integration von DEVONthink finden Sie im Kapitel Getting Started > AI Explained der eingebauten Hilfe oder des Benutzerhandbuchs.