Pythoni deepseek kood transpordiartiklite salvestamiseks weaviate andmebaasi
Ardo Kubjas
d930b88da0
salvestamise asukoha muudatus
|
3 місяців тому | |
|---|---|---|
| fetch_articles | 3 місяців тому | |
| jupyter | 4 місяців тому | |
| src | 3 місяців тому | |
| .env | 4 місяців тому | |
| .gitignore | 4 місяців тому | |
| LICENSE | 4 місяців тому | |
| LOEMIND.md | 4 місяців тому | |
| LOEMIND_CURL.md | 3 місяців тому | |
| LOEMIND_GIT.md | 4 місяців тому | |
| README.md | 3 місяців тому | |
| check_weaviate.py | 4 місяців тому | |
| näidispäringud.txt | 3 місяців тому | |
| peamine.py | 4 місяців тому | |
| query_client.py | 3 місяців тому | |
| recreate_schema.py | 4 місяців тому | |
| requirements.txt | 4 місяців тому | |
| save_articles_to_pdf.py | 3 місяців тому |
README.md
Teadusartiklite Töötlussüsteem
Süsteem teadusartiklite automaatseks töötlemiseks, analüüsiks ja salvestamiseks Weaviate'i baasi.
Funktsioonid
- PDF töötlus: Automaatne tekstieraldus ja struktureerimine
- DeepSeek analüüs: Põhjalike kokkuvõtete loomine eesti keeles
- Võtmesõnade eraldamine: Olulisemate mõistete identifitseerimine
- Embeddingu loomine: SentenceTransformers abil semantiliste vektorite genereerimine
- Weaviate'i integreerimine: Struktureeritud salvestamine ja otsing
Paigaldus
Klooni repository:
git clone https://gots.odamus.com/weaviate/transpordi_artiklid.git cd transpordi_artiklid
Artiklite salvestamine pdf kataloogist andmebaasi
python peamine.py
Artiklite andmebaasi sisu pärimine
Markdown (vali CTRL+SHIFT+P ja otsi pdf, siis saad tesendada pdf-ks)
python fetch_articles/fetch_and_convert.py
Päringud
Interaktiivne režiim
python query_client.py --interactive
Üksik päring
python query_client.py --query "Kuidas parandada teede ohutust?"
Päringute failist
python query_client.py --file näidispäringud.txt
Tehniline vastus semantilise otsinguga
python query_client.py --query "transpordimudelid" --type semantic --context technical