## 🧩 **RAG (Retrieval-Augmented Generation) voog Weaviate + LLM + Embedding**

````
📄 PDF-d / artiklid
│
│  ① Ekstraktime teksti (PyMuPDF, PDFPlumber vms)
│
▼
🔤 Tekstilõigud (chunks)
│  Näiteks 500–800 tähemärki iga lõigu kohta
│
│  ② SentenceTransformer -> loob embeddingud
│     (nt nomic-ai/nomic-embed-text-v1.5)
│
▼
🧮 Embeddingud = vektorid  [ -0.13, 0.45, ..., 0.88 ]
│
│  ③ Salvestatakse Weaviate’i:
│
│   class: "Article"
│   properties:
│     • content: "textilõik"
│     • file_name: "2012.08388v2.pdf"
│     • source_url: "https://arxiv.org/abs/2012.08388"
│     • page_start: 0
│     • page_end: 800
│     • _vector: [-0.13, 0.45, ..., 0.88]
│
▼
🗄️ **Weaviate** = vektoriandmebaas
│  - Hoiab kõik lõigud ja nende vektoreid
│  - Kasutab HNSW indeksit semantiliste otsingute jaoks
│
│  ④ Kui kasutaja küsib midagi:
│     "Mis on artiklite põhiteema?"
│
│  ⑤ Embedder loob ka küsimusele vektori
│
▼
🔍 **Weaviate otsib lähimad `_vector`-id**
│  - arvutab kosinus-sarnasuse
│  - tagastab 5–10 kõige sarnasemat `content` lõiku
│
▼
🧠 **LLM (nt Mistral, Llama, GPT-4, jms)**
│  ⑥ saab päringu + konteksti:
│     ```
│     KONTEKST:
│     [Lõik 1: "...liiklusohutuse modelleerimine..."]
│     [Lõik 2: "...õnnetuste raskusaste Poissoni regressiooniga..."]
│
│     KÜSIMUS:
│     Mis on artiklite põhiteema?
│     ```
│
│  ⑦ LLM genereerib vastuse:
│     → “Kõik artiklid käsitlevad liiklusõnnetuste raskusastme modelleerimist...”
│
▼
✅ Vastus kasutajale
````
---

## 🧠 Olulisemad seosed

| Etapp                   | Roll                   | Kus toimub                                    |
| ----------------------- | ---------------------- | --------------------------------------------- |
| ① PDF → tekst           | Ekstraktsioon          | Python (`PyMuPDF`, `pdfminer`)                |
| ② Tekst → vektor        | Embedding              | `SentenceTransformer`                         |
| ③ Salvestus             | `_vector` + metaandmed | Weaviate                                      |
| ④ Päring → embedding    | Embedding              | Sama mudel (`nomic-ai/nomic-embed-text-v1.5`) |
| ⑤ Vektoriotsing         | Semantiline sarnasus   | Weaviate (HNSW indeks)                        |
| ⑥ Konteksti liitmine    | Kontekstualiseerimine  | Python / LLM wrapper                          |
| ⑦ Vastuse genereerimine | Looduskeelne väljund   | LLM (nt Mistral)                              |