transpordi_artiklid/peamine.py

#!/usr/bin/env python3
"""
Peamine skript artiklite töötlemiseks ja Weaviate'i salvestamiseks
"""

import sys
import os

# Lisa src kaust Pythoni teele
sys.path.insert(0, os.path.join(os.path.dirname(__file__), 'src'))

from src.pipeline import ArticleProcessingPipeline
from src.utils import setup_logging

def main():
    """Peamine funktsioon"""
    # Seadista logimine
    logger = setup_logging()
    
    try:
        logger.info("ALUSTAN ARTIKLITE TÖÖTLUST")
        logger.info("="*60)
        
        # Käivita pipeline
        pipeline = ArticleProcessingPipeline()
        results = pipeline.run()
        
        logger.info("TÖÖTLUS LÕPETATUD")
        
        if results:
            logger.info(f"Edukalt töödeldud {len(results)} artiklit")
            # Näita esimese artikli näidet
            if len(results) > 0:
                first_article = results[0]
                logger.info("\nESIMESE ARTIKLI NÄIDE:")
                logger.info(f"Pealkiri: {first_article.get('title', 'N/A')}")
                logger.info(f"Autorid: {', '.join(first_article.get('authors', []))}")
                logger.info(f"Võtmesõnu: {len(first_article.get('key_concepts', []))}")
                logger.info(f"Kokkuvõtte pikkus: {len(first_article.get('summary_et', ''))} märki")
        
        # Sulge ressursid
        pipeline.close()
        
    except Exception as e:
        logger.error(f"Viga peaprogrammis: {str(e)}")
        sys.exit(1)

if __name__ == "__main__":
    main()