ohmu/main/scripts/pytorch2.sh

#!/bin/bash

DOCKER_NAME=pytorch_rocm
docker stop ${DOCKER_NAME} && docker rm ${DOCKER_NAME}

# --rm -it
docker run -d -ti --name=${DOCKER_NAME} \
  --device=/dev/kfd \
  --device=/dev/dri \
  --security-opt seccomp=unconfined \
  --shm-size=8G \
  -v $HOME:/workspace \
  rocm/pytorch:rocm7.2_ubuntu24.04_py3.12_pytorch_release_2.9.1

sleep 5
# konteineri sees 
docker exec -ti -u 0 ${DOCKER_NAME} bash -c "
echo 'TORCH_ROCM_AOTRITON_ENABLE_EXPERIMENTAL=1' >> /root/.bashrc;
source /root/.bashrc;
pip install --upgrade pip;
pip install --upgrade pip;
pip install marker-pdf;
"
# Kontrolli GPU kasutamist konteineri sees:
docker exec -ti -u 0 ${DOCKER_NAME} python3 -c "import torch; print(torch.cuda.is_available())"
# Peaks väljastama `True`
docker exec -ti -u 0 ${DOCKER_NAME} python3 -c "import torch; print(torch.cuda.get_device_name(0))"

# GPU kontrollimine (kui käivitada midagi docker'i sees, siis on näha)
amd-smi

# Dockeri parameetrite selgitus
#   - `--rm`: Kustutab konteineri pärast väljumist.
#   - `-it`: Interaktiivne terminal.
#   - `--device=/dev/kfd --device=/dev/dri`: Annab juurdepääsu AMD GPU seadmetele ROCm-i jaoks.
#   - `--security-opt seccomp=unconfined`: Vajalik mõnede ROCm funktsioonide jaoks (nt HSA).
#   - `--shm-size=8G`: Suurendab jagatud mälu (kasulik suurte mudelite jaoks, nt AI-tööd).
#   - `-v $HOME:/workspace`: Ühendab sinu kodukataloogi konteineri sisse, et saaksid faile jagada.

docker exec -ti -u 0 ${DOCKER_NAME} bash -c "
input_dir=/workspace/rag-demo/pdf-pipeline/data/raw_pdfs \
output_dir=/workspace/rag-demo/pdf-pipeline/data/markdown_output \
cd \"$input_dir\" \
for file in *.pdf; do \
    base=\"${file%.pdf}\" \
    outdir=\"$output_dir\"/\"$base\" \
    if [ -d "$outdir" ]; then \
        echo \"Jätan vahele (kaust olemas): $file\" \
        continue \
    fi \
        echo \"Töötlen pdf faili: $file\" \
    marker_single \"$file\" --output_dir \"$output_dir\" \
done
"