transpordi_artiklid/README.md

Teadusartiklite Töötlussüsteem

Süsteem teadusartiklite automaatseks töötlemiseks, analüüsiks ja salvestamiseks Weaviate'i baasi.

Funktsioonid

1. PDF töötlus: Automaatne tekstieraldus ja struktureerimine
2. DeepSeek analüüs: Põhjalike kokkuvõtete loomine eesti keeles
3. Võtmesõnade eraldamine: Olulisemate mõistete identifitseerimine
4. Embeddingu loomine: SentenceTransformers abil semantiliste vektorite genereerimine
5. Weaviate'i integreerimine: Struktureeritud salvestamine ja otsing

Paigaldus

1. Klooni repository:

   git clone https://gots.odamus.com/weaviate/transpordi_artiklid.git
   cd transpordi_artiklid
   

Artiklite salvestamine pdf kataloogist andmebaasi

python peamine.py

Artiklite andmebaasi sisu pärimine

Markdown (vali CTRL+SHIFT+P ja otsi pdf, siis saad tesendada pdf-ks)

python fetch_articles/fetch_and_convert.py

Päringud

Interaktiivne režiim

python query_client.py --interactive

Üksik päring

python query_client.py --query "Kuidas parandada teede ohutust?"

Päringute failist

python query_client.py --file näidispäringud.txt

Tehniline vastus semantilise otsinguga

python query_client.py --query "transpordimudelid" --type semantic --context technical