Obsidian/AAA_isiklik/LLM loomine/Seaded/OpenWebUI.md

Reranking Engine (Ümberjärjestamise mootor) on OpenWebUI RAG-süsteemi (Retrieval-Augmented Generation) üks olulisemaid täiustusi.

Mida see teeb?

1. Esmane otsing (embedding + BM25 hybrid search) toob välja suurema hulga potentsiaalselt relevantseid tekstikilde (nt Top K = 20 sinu seadetes).
2. Reranker võtab need tulemused ja hindab neid uuesti spetsiaalse mudeliga, mis on palju täpsem kui lihtsad embeddings. See kasutab cross-encoder arhitektuuri: mudel vaatab korraga query (sinu küsimus) + dokument/chunk ja annab otsese relevantsus-skoori.
3. Tulemuseks on paremini järjestatud kontekst LLM-ile — kõige relevantsemad tükid tulevad esimesena, müra väheneb.

Efekt teadusartiklitega töötamisel: Väga suur. Teaduslikus tekstis on tihti palju tehnilisi termineid, valemeid ja konteksti. Ilma rerankerita võib LLM saada segase või poolikult relevantse konteksti. Rerankeriga paraneb täpsus ja väheneb "hallutsinatsioonide" oht.

Mudelite valikud

• Vaikimisi / soovitatud: BAAI/bge-reranker-v2-m3 (see, mis sul praegu on) — väga hea valik. Multilinguaalne, kerge (~568M parameetrit), kiire ja tugev eriti lühemate-passaažidega (mis sobib teadusartiklitele).
• Teised head variandid (MTEB Reranking leaderboardi järgi):
  • Jina rerankers (nt jina-reranker-v2-base-multilingual)
  • Voyage AI rerankers (kui kasutad external API-t)
  • MS MARCO fine-tunedit mudelid (nt cross-encoder/ms-marco-MiniLM-L-12-v2)

Sinu seadetes on "Vaikimisi (SentenceTransformers)" + BAAI/bge-reranker-v2-m3 — see on hea ja soovitatav kombinatsioon (eeldusel, et sul on piisavalt VRAM-i või CPU jõudlust).

---

Ülevaade sinu praegustest seadetest + soovitused teadusartiklite kirjutamiseks

Praegused seaded (head punktid):

• Embedding mudel: nomic-embed-text — väga hea valik.
• Reranking: bge-reranker-v2-m3 — suurepärane.
• Hybrid Search (BM25 + semantic) sisse lülitatud + kaal 0.5 — hea tasakaal.
• Async Embedding peal — mugav.
• Top K = 20, Top K Reranker = 3 — mõistlik.

Soovitused teadusartiklite jaoks (täpsus > kiirus)

Seade	Praegu	Soovitus teadusartiklitele	Põhjus
Top K	20	12–16	Liiga palju müra → LLM segab. Teaduslikus tekstis on parem kvaliteetne kontekst.
Top K Reranker	3	6–8	Reranker on "kallim", aga annab parima kvaliteedi.
Relevance Threshold	0	0.2–0.35	Filtreerib välja nõrgad match'id.
BM25 kaal	0.5	0.3–0.4 (rohkem semantic)	Teadusartiklid on terminitega tihedad → semantic on tugevam.
Chunk Size (kui saab seadistada)	-	800–1200 tokenit + 100–200 overlap	Teaduslikud lõigud vajavad sageli laiemat konteksti.
Content Extraction	?	Tika (kui pole veel)	Palju parem PDF/LaTeX/tabelite käsitlemine.

Lisasoovitused

1. Reindex pärast iga olulist seadete muutmist (nagu kirjas sinu ekraanil).
2. RAG Template (kui on eraldi väli): Lisa range juhiseid stiilis:
   • "Kasuta ainult kontekstis olevaid fakte. Tsiteeri allikaid. Ole täpne ja akadeemiline."
3. LLM valik: Suuremad mudelid (70B+) või tugevad reasonerid (nt DeepSeek-R1, Qwen2.5, Llama 3.3 70B) töötavad teadusliku kirjutamisega paremini.
4. Full Context Mode → proovi välja lülitada (kui on sisse), et RAG oleks dünaamilisem.

Kokkuvõte soovituslikest seadetest teadusartiklite jaoks:

• Top K: 14
• Top K Reranker: 7
• Relevance Threshold: 0.25
• BM25 kaal: 0.35
• Reranker: bge-reranker-v2-m3 (hoia)

Kui tahad, saada mulle täpsemad andmed (nt chunk size, milliseid dokumente kasutad — PDF-id, LaTeX, HTML jne), ja ma annan veel täpsemad soovitused. Need seaded peaksid juba praegu päris hästi töötama akadeemilise töö jaoks.