Neues von DEVONtechnologies
Wie Sie eine lokale KI in DEVONthink nutzen
Wenn Sie generative KI in DEVONthink nutzen möchten, können Sie zwischen Server-basierten Modellen (das sind die großen) und lokalen Modellen entscheiden. Lokale Modelle sind definitiv einen Blick wert, ob aus Datenschutzgründen oder einfach nur der Möglichkeit wegen. Doch welches Modell sollten Sie wählen?
Zunächst benötigen Sie einen Host für die lokale KI. Die zwei Anwendungen, die DEVONthink nativ unterstützt sind LM Studio und Ollama. Auf den Seiten beider Anbieter finden Sie unter Models eine Liste mit ausgewählten Modellen. Weitere Informationen zum Herunterladen von Modellen erhalten Sie in den jeweiligen Dokumentationen.
Welches Modell Sie flüssig verwenden können, hängt weitgehend von der Größe des Arbeitsspeichers (RAM) Ihres Geräts ab. Je mehr Arbeitsspeicher Sie haben, desto größer kann das Modell sein, das Sie verwenden können. Als grobe Faustregel gilt: Berechnen Sie 50 % bis 70 % Ihres gesamten Arbeitsspeichers und verwenden Sie diese Zahl als Anzahl der Parameter des Modells. Auf einem Mac mit 16 GB RAM sind beispielsweise 50 % 8 und 70 % 11,2. Wenn Sie also nach Modellen suchen, achten Sie auf solche mit 8B (Milliarden) bis 12B im Namen. Diese sind zwar nicht so schnell (oder so genau) wie kommerzielle Modelle – im Vergleich zu den großen Modellen sind das nicht besonders viele Parameter – aber das Modell sollte Ihren Rechner auch nicht aufgrund mangelnder Ressourcen blockieren.
Die meisten Modelle sind außerdem für bestimmte Zwecke gedacht und haben daher zusätzliche Eigenschaften. Modelle mit der Fähigkeit Vision können Bilder verarbeiten und analysieren, Tooling oder Tool Use bedeutet, dass das Modell nicht nur Antworten geben, sondern auch bestimmte Aktionen ausführen kann. Modelle mit Thinking bzw. Reasoning reflektieren ihre Antworten und justieren sie nach, bevor sie Ihnen die Antwort ausgeben. Manche der Modelle unterstützen auch mehrere dieser Fähigkeiten.
Sobald Ollama läuft, kann DEVONthink dem lokalen Modell Anfragen stellen. In LM Studio müssen Sie zunächst Power User am unteren Rand des Fensters auswählen. Klicken Sie dann auf das grüne Prompt-Zeichen und starten Sie den Server mit dem Schalter Status (wie im Bildschirmfoto zu sehen ist). Beide Apps sind gute Optionen, aber nutzen Sie nicht beide Apps gleichzeitig.
Wir haben außerdem bereits einen einführenden Artikel zu lokaler KI geschrieben, in dem Sie weitere Informationen finden.