Ollama läuft laut Produktbeschreibung unter Windows 10 und Windows 11. Für die Installation sind mindestens 4 GB freier Festplattenspeicher nötig; zusätzliche Sprachmodelle benötigen weiteren Platz. Unterstützt werden Nvidia- und AMD-Grafikkarten. Welche Anforderungen an Grafikspeicher und Arbeitsspeicher gelten, hängt vom jeweils verwendeten Modell ab. Ollama ist Open Source und auch für Linux und MacOS verfügbar.
Nach dem Start bleibt die Anwendung zunächst im Infobereich der Taskleiste. Über ein Chatfenster lassen sich Modelle wie Gemma, DeepSeek, Qwen oder Llama auswählen und direkt verwenden. Auch Dateien können angehängt werden. Die benötigten Modelldaten lädt Ollama bei der ersten Nutzung herunter. Danach werden lokale Modelle auf der eigenen Hardware ausgeführt. Laut Beschreibung findet dabei keine Kommunikation nach außen statt; Gespräche sollen den Computer nicht verlassen.
Neben dem lokalen Betrieb gibt es in Ollama auch Cloud-Modelle, die auf externer Hardware laufen. Für diese Nutzung ist ein Benutzerkonto erforderlich. Die Entwickler versprechen, dass dabei keine Nutzerdaten gespeichert werden. Diese Zusage bezieht sich auf die Cloud-Funktion und ist vom lokalen Betrieb zu unterscheiden. Wer Ollama zusätzlich über die Eingabeaufforderung bedient, kann mit dem Befehl „ollama“ weitere Modelle herunterladen und die Anwendung für komplexere Aufgaben und Automatisierungen nutzen.
Die grafische Oberfläche richtet sich auch an Menschen, die Modelle nicht ausschließlich über die Eingabeaufforderung verwalten möchten. Für den lokalen Einsatz muss der PC die Anforderungen des gewählten Modells erfüllen; neben dem Mindestplatz für Ollama ist daher Speicherplatz für die Modelldaten einzuplanen. Wer stattdessen Cloud-Modelle nutzt, benötigt ein Benutzerkonto und verwendet externe Rechenleistung.