# Ollama – Docker kasutusjuhend

LLM (Large Language Model) päringuteenus. Kasutab AMD ROCm GPU-d kiirenduseks.

## Tähtis

- Kasutab **network_mode: "host"** – seega API on otse hosti aadressil
- ROCm versioon AMD GPU-de jaoks
- Piiratud 28 GB mäluga

## Docker käsud

```bash
# Käivita
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml up -d

# Peata
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml down

# Taaskäivita
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml restart

# Logid
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml logs -f

# Uuenda
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml pull
docker-compose -f /opt/docker-compose/third/server/ollama/docker-compose.yml up -d
```

## Docker otse

```bash
# Konteineri seis
docker ps | grep ollama

# Logid
docker logs ollama-rocm

# Sisene konteinerisse
docker exec -it ollama-rocm /bin/bash
```

## API kasutamine

```bash
# Testi kas teenus töötab
curl http://100.87.1.24:11434/api/tags

# Küsi mudelit
curl http://100.87.1.24:11434/api/generate \
  -d '{"model":"qwen3:30b-a3b-thinking-2507-q4_K_M","prompt":"Tere!"}'

# Kuva installitud mudelid
curl http://100.87.1.24:11434/api/tags | python3 -m json.tool
```

## Mudelid

| Mudel | Suurus | Kasutus |
|-------|--------|---------|
| qwen3:30b-a3b-thinking-2507-q4_K_M | ~30B | Peamine LLM |
| nomic-embed-text:latest | ~137M | Embedding (RAG) |

Mudelite haldus:

```bash
# Laadi uus mudel
docker exec ollama-rocm ollama pull llama3:8b

# Kustuta mudel
docker exec ollama-rocm ollama rm qwen2.5:14b-instruct

# Kuva mudelid
docker exec ollama-rocm ollama list
```

## Keskkonnaseaded

| Muutuja | Väärtus | Selgitus |
|---------|---------|----------|
| OLLAMA_HOST | 0.0.0.0:11434 | API kõigil liidestel |
| OLLAMA_KEEP_ALIVE | 5m | Mudel püsib mälus 5 minutit |
| OLLAMA_FLASH_ATTENTION | 1 | Kiirem päringutöötlus |
| OLLAMA_KV_CACHE_TYPE | q8_0 | Vähendab mälukasutust |
| HSA_OVERRIDE_GFX_VERSION | 11.5.0 | AMD GPU versioon |
| HIP_VISIBLE_DEVICES | 0 | Kasuta esimest GPU-d |

## Olulised kataloogid

| Asukoht | Sisu |
|---------|------|
| `/home/ardo/.ollama/` | Mudelite salvestuskoht |

## Ligipääs

- API: `http://100.87.1.24:11434`
- Teised konteinerid saavad ligi läbi `host.docker.internal:11434`