# AnythingLLM – Docker kasutusjuhend Dokumentide põhine LLM vestlusrobot (RAG – oma failidest küsimiseks). ## Arhitektuur | Komponent | Asukoht | Ühendus | |-----------|---------|---------| | **AnythingLLM** | Docker konteiner (`anythingllm`) | port 3002 | | **Ollama** (LLM) | Native systemd teenus | `host.docker.internal:11434` | | **Ollama** (embedding) | Native systemd teenus | `host.docker.internal:11434` | | **Qdrant** | Docker konteiner (`qdrant`) | `host.docker.internal:6333` | | **GPU** | ROCm 7.2.2, gfx1151 (Radeon 8060S) | hostil | **NB!** Ollama EI OLE Dockeris – see jookseb native systemd teenusena koos ROCm GPU toega. Ühendus toimub läbi `host.docker.internal:11434`. ## Seadistus Kasutab: - **Ollama** (native) – LLM mudel (`qwen3:30b-fast`, 18 GB) - **Ollama** (native) – embedding mudel (`nomic-embed-text:latest`, GPU, 274 MB) - **Qdrant** – vektorbaas (`host.docker.internal:6333`) Compose faili olulised keskkonnamuutujad: - `LLM_PROVIDER=ollama` – LLM läbi ollama - `OLLAMA_BASE_PATH=http://host.docker.internal:11434` – native ollama - `OLLAMA_MODEL_PREF=qwen3:30b-fast` – LLM mudel - `EMBEDDING_ENGINE=ollama` – embedding läbi ollama - `EMBEDDING_MODEL_PREF=nomic-embed-text:latest` – GPU embedding - `VECTOR_DB=qdrant` – vektorbaasi tüüp - `SETUP=false` – süsteem juba seadistatud **NB!** Mudelit saab igal ajal muuta AnythingLLM veebiliidese kaudu (Settings → LLM / Embedder). Compose failis olev mudelinimi on ainult algseadistuse jaoks. ## Docker käsud ```bash # Ava kaust cd /opt/docker-compose/third/server/anythingllm/ # Käivita docker-compose up -d # Peata docker-compose down # Taaskäivita docker-compose restart # Logid docker-compose logs -f # Uuenda docker-compose pull docker-compose up -d ``` ## Docker otse ```bash # Konteineri seis docker ps | grep anythingllm # Logid docker logs anythingllm # Taaskäivita docker restart anythingllm # Kontrolli ollama ühendust docker exec anythingllm curl -s http://host.docker.internal:11434/api/tags ``` ## Ligipääs | Teenus | Port | URL | |--------|------|-----| | AnythingLLM UI | 3002 | http://100.87.1.24:3002 | ## Sisselogimine - **Kasutaja:** ardo - **Parool:** dwNs55RkiwSEC3TxQG0P ## Olulised kataloogid | Asukoht | Sisu | |---------|------| | `/opt/docker-compose/third/server/anythingllm/` | Compose failid ja see dokument | | `/data/docker/anythingllm/storage` | Andmebaas, dokumendid, seadistused | | `/data/docker/anythingllm/logs` | Logid | | `/backups/docker/anythingllm` | Varukoopiad | ## Võrguinfo - Konteiner on `main_ai_network` peal (compose'is `ai_network`) - Ligipääs Ollamale ja Qdrantile läbi `host.docker.internal` - `extra_hosts: host.docker.internal:host-gateway` on compose failis seadistatud ## Vead ja tõrkeotsing ### Ei ühendu Ollamaga ```bash # Testi ollama API-t curl http://100.87.1.24:11434/api/tags # Testi konteineri seest docker exec anythingllm curl -s http://host.docker.internal:11434/api/tags # Kontrolli compose faili grep OLLAMA /opt/docker-compose/third/server/anythingllm/docker-compose.yml ``` ### Embedding aeglane - Kontrolli, et `EMBEDDING_MODEL_PREF=nomic-embed-text:latest` (GPU versioon) - Kontrolli ollama GPU olekut: `ollama ps` peaks näitama "100% GPU" - Kui mudel pole laetud, tee üks embedding päring UI kaudu ### Andmebaasi lähtestamine Kui on vaja kõik andmed kustutada ja otsast alustada: ```bash # Peata konteiner docker-compose -f /opt/docker-compose/third/server/anythingllm/docker-compose.yml down # Kustuta storage (ETTEVAATUST – kustutab KÕIK) sudo rm -rf /data/docker/anythingllm/storage/* # Muuda compose failis SETUP=true (esmaseks seadistuseks) # Käivita uuesti docker-compose -f /opt/docker-compose/third/server/anythingllm/docker-compose.yml up -d ``` ## Ajalugu | Kuupäev | Muudatus | |---------|----------| | 2025-07-05 | Konteiner viidud otse `docker run` pealt compose haldusesse | | 2025-07-05 | `SETUP=true` → `false` (süsteem juba seadistatud) | | 2025-07-05 | Ollama viidud native peale – ühendus `host.docker.internal:11434` |