ohmu/third/server/ollama/LOEMIND.md

Ollama – Docker kasutusjuhend

LLM (Large Language Model) päringuteenus. Kasutab AMD ROCm GPU-d kiirenduseks.

Tähtis

• Kasutab network_mode: "host" – seega API on otse hosti aadressil
• ROCm versioon AMD GPU-de jaoks
• Piiratud 28 GB mäluga

Docker käsud

# Käivita
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml up -d

# Peata
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml down

# Taaskäivita
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml restart

# Logid
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml logs -f

# Uuenda
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml pull
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml up -d

Docker otse

# Konteineri seis
docker ps | grep ollama

# Logid
docker logs ollama-rocm

# Sisene konteinerisse
docker exec -it ollama-rocm /bin/bash

API kasutamine

# Testi kas teenus töötab
curl http://100.87.1.24:11434/api/tags

# Küsi mudelit
curl http://100.87.1.24:11434/api/generate \
  -d '{"model":"qwen3:30b-a3b-thinking-2507-q4_K_M","prompt":"Tere!"}'

# Kuva installitud mudelid
curl http://100.87.1.24:11434/api/tags | python3 -m json.tool

Mudelid

Mudel	Suurus	Kasutus
qwen3:30b-a3b-thinking-2507-q4_K_M	~30B	Peamine LLM
nomic-embed-text:latest	~137M	Embedding (RAG)

Mudelite haldus:

# Laadi uus mudel
docker exec ollama-rocm ollama pull llama3:8b

# Kustuta mudel
docker exec ollama-rocm ollama rm qwen2.5:14b-instruct

# Kuva mudelid
docker exec ollama-rocm ollama list

Keskkonnaseaded

Muutuja	Väärtus	Selgitus
OLLAMA_HOST	0.0.0.0:11434	API kõigil liidestel
OLLAMA_KEEP_ALIVE	5m	Mudel püsib mälus 5 minutit
OLLAMA_FLASH_ATTENTION	1	Kiirem päringutöötlus
OLLAMA_KV_CACHE_TYPE	q8_0	Vähendab mälukasutust
HSA_OVERRIDE_GFX_VERSION	11.5.0	AMD GPU versioon
HIP_VISIBLE_DEVICES	0	Kasuta esimest GPU-d

Olulised kataloogid

Asukoht	Sisu
/home/ardo/.ollama/	Mudelite salvestuskoht

Ligipääs

• API: http://100.87.1.24:11434
• Teised konteinerid saavad ligi läbi host.docker.internal:11434