ohmu/third/server/anythingllm/LOEMIND.md

AnythingLLM – Docker kasutusjuhend

Dokumentide põhine LLM vestlusrobot (RAG – oma failidest küsimiseks).

Arhitektuur

Komponent	Asukoht	Ühendus
AnythingLLM	Docker konteiner (anythingllm)	port 3002
Ollama (LLM)	Native systemd teenus	host.docker.internal:11434
Ollama (embedding)	Native systemd teenus	host.docker.internal:11434
Qdrant	Docker konteiner (qdrant)	host.docker.internal:6333
GPU	ROCm 7.2.2, gfx1151 (Radeon 8060S)	hostil

NB! Ollama EI OLE Dockeris – see jookseb native systemd teenusena koos ROCm GPU toega. Ühendus toimub läbi host.docker.internal:11434.

Seadistus

Kasutab:

• Ollama (native) – LLM mudel (qwen3:30b-fast, 18 GB)
• Ollama (native) – embedding mudel (nomic-embed-text:latest, GPU, 274 MB)
• Qdrant – vektorbaas (host.docker.internal:6333)

Compose faili olulised keskkonnamuutujad:

• LLM_PROVIDER=ollama – LLM läbi ollama
• OLLAMA_BASE_PATH=http://host.docker.internal:11434 – native ollama
• OLLAMA_MODEL_PREF=qwen3:30b-fast – LLM mudel
• EMBEDDING_ENGINE=ollama – embedding läbi ollama
• EMBEDDING_MODEL_PREF=nomic-embed-text:latest – GPU embedding
• VECTOR_DB=qdrant – vektorbaasi tüüp
• SETUP=false – süsteem juba seadistatud

NB! Mudelit saab igal ajal muuta AnythingLLM veebiliidese kaudu (Settings → LLM / Embedder). Compose failis olev mudelinimi on ainult algseadistuse jaoks.

Docker käsud

# Ava kaust
cd /opt/docker-compose/third/server/anythingllm/

# Käivita
docker-compose up -d

# Peata
docker-compose down

# Taaskäivita
docker-compose restart

# Logid
docker-compose logs -f

# Uuenda
docker-compose pull
docker-compose up -d

Docker otse

# Konteineri seis
docker ps | grep anythingllm

# Logid
docker logs anythingllm

# Taaskäivita
docker restart anythingllm

# Kontrolli ollama ühendust
docker exec anythingllm curl -s http://host.docker.internal:11434/api/tags

Ligipääs

Teenus	Port	URL
AnythingLLM UI	3002	http://100.87.1.24:3002

Sisselogimine

• Kasutaja: ardo
• Parool: dwNs55RkiwSEC3TxQG0P

Olulised kataloogid

Asukoht	Sisu
/opt/docker-compose/third/server/anythingllm/	Compose failid ja see dokument
/data/docker/anythingllm/storage	Andmebaas, dokumendid, seadistused
/data/docker/anythingllm/logs	Logid
/backups/docker/anythingllm	Varukoopiad

Võrguinfo

• Konteiner on main_ai_network peal (compose'is ai_network)
• Ligipääs Ollamale ja Qdrantile läbi host.docker.internal
• extra_hosts: host.docker.internal:host-gateway on compose failis seadistatud

Vead ja tõrkeotsing

Ei ühendu Ollamaga

# Testi ollama API-t
curl http://100.87.1.24:11434/api/tags

# Testi konteineri seest
docker exec anythingllm curl -s http://host.docker.internal:11434/api/tags

# Kontrolli compose faili
grep OLLAMA /opt/docker-compose/third/server/anythingllm/docker-compose.yml

Embedding aeglane

• Kontrolli, et EMBEDDING_MODEL_PREF=nomic-embed-text:latest (GPU versioon)
• Kontrolli ollama GPU olekut: ollama ps peaks näitama "100% GPU"
• Kui mudel pole laetud, tee üks embedding päring UI kaudu

Andmebaasi lähtestamine

Kui on vaja kõik andmed kustutada ja otsast alustada:

# Peata konteiner
docker-compose -f /opt/docker-compose/third/server/anythingllm/docker-compose.yml down

# Kustuta storage (ETTEVAATUST – kustutab KÕIK)
sudo rm -rf /data/docker/anythingllm/storage/*

# Muuda compose failis SETUP=true (esmaseks seadistuseks)
# Käivita uuesti
docker-compose -f /opt/docker-compose/third/server/anythingllm/docker-compose.yml up -d

Ajalugu

Kuupäev	Muudatus
2025-07-05	Konteiner viidud otse docker run pealt compose haldusesse
2025-07-05	SETUP=true → false (süsteem juba seadistatud)
2025-07-05	Ollama viidud native peale – ühendus host.docker.internal:11434