|
|
@@ -207,9 +207,14 @@ Rakendatud: **HyperDX webhook → `alert-relay` → Telegram**.
|
|
|
- **`alert-relay`** konteiner (`dev/config/alert-relay/alert_relay.py`, `python:3.12-slim`, port 9099):
|
|
|
võtab vastu HyperDX „generic" webhook POST-id ja saadab Telegrami. Token `dev/.env`-st
|
|
|
(`TELEGRAM_BOT_TOKEN`), chat `5036685258`.
|
|
|
+ ⚠️ HyperDX **generic** webhook saadab `{"text": "..."}` (Slack-laadne) — relay saadab selle
|
|
|
+ **otse**, ilma `parse_mode`-ita (Markdown `[ ] * _` põhjustaks Telegrami parse-vea).
|
|
|
+ Varem ootas välju `name/state/message` → kuvas **„Seis: ?"** + toor-JSON (parandatud 02.10.2026).
|
|
|
- **Webhook:** `Telegram (ohmu)` → `http://alert-relay:9099/` (id `6ab760240c9282a5b0fde124`).
|
|
|
- **Alert:** „Teenus maas (ohmu_service_up)" → dashboardi paneel „Teenused üleval",
|
|
|
- `thresholdType=below`, `threshold=1`, `interval=5m`, kanal webhook (id `6ab7603c0c9282a5b0fde12d`).
|
|
|
+ `thresholdType=below`, `threshold=1`, `interval=5m`, **`numConsecutiveWindows=2`**
|
|
|
+ (nõuab 2 järjestikust akent → väldib üksiku andmeaugu valehäiret), kanal webhook
|
|
|
+ (id `6ab7603c0c9282a5b0fde12d`).
|
|
|
|
|
|
**Oluline API-piirang:** väline API v2 (`POST /api/v2/alerts`) toetab ainult
|
|
|
`source: "tile"` või `"saved_search"` — **`inline` alert on ainult sisemise API jaoks**.
|
|
|
@@ -220,7 +225,8 @@ Paneeli-alert viitab: `{source:"tile", tileId, dashboardId}`; kanal:
|
|
|
```bash
|
|
|
# relay otse (hostilt pole 9099 avaldatud; kasuta konteinerit võrgus):
|
|
|
docker run --rm --network main_ai_network curlimages/curl:latest -s \
|
|
|
- -X POST http://alert-relay:9099/ -d '{"name":"test","state":"ALERT"}'
|
|
|
+ -X POST http://alert-relay:9099/ -H 'Content-Type: application/json' \
|
|
|
+ -d '{"text":"🚨 test (ignoreeri)"}'
|
|
|
```
|
|
|
|
|
|
Tüüpilised täiendavad alertid (sama muster: tile + webhook + below/above):
|
|
|
@@ -228,6 +234,18 @@ Tüüpilised täiendavad alertid (sama muster: tile + webhook + below/above):
|
|
|
- `ohmu_container_restarts` > 0 (restart-loop)
|
|
|
- `llamacpp:kv_cache_usage_ratio` > 0.9
|
|
|
|
|
|
+### ⚠️ Clickstack'i collector ↔ ClickHouse käivitusrace (valehäirete allikas)
|
|
|
+Clickstack'i kaasasolev OTLP-collector (`opampsupervisor`) teeb käivitusel ClickHouse'i skeemi
|
|
|
+seed'i; kui **ClickHouse pole sel hetkel kättesaadav** (`dial tcp <ip>:9000: connection refused`),
|
|
|
+collector **sureb** → OTLP `4317/4318` on maas → kõik meetrikad/logid/trace'id seiskusid
|
|
|
+(ja `ohmu_app_metrics.py` logib `[Errno 104] Connection reset by peer`). Kuna `ohmu_service_up`
|
|
|
+andmeid ei tule, arvutab alert'i `min()` tühja akna pealt **0** → vale „Teenus maas" häire.
|
|
|
+**Ravi:** `docker restart clickstack` (seed õnnestub, collector tuleb tagasi, 4318 → 200).
|
|
|
+Kontroll: `docker exec clickstack sh -c 'tail -3 /var/log/otel-collector.log'` (peab olema
|
|
|
+`Schema seed completed successfully` + `Connected to the OpAMP server`); OTLP-test: `curl -X POST
|
|
|
+-H 'authorization: <INGEST_KEY>' http://127.0.0.1:4318/v1/metrics` → 200.
|
|
|
+(Pikaajaline: collector võiks seed'i ebaõnnestumisel retry'da, mitte surra — upstream.)
|
|
|
+
|
|
|
## Seotud
|
|
|
- Vahejuhtumite audit: `../LOEMIND_seisevad_konteinerid.md`
|
|
|
- Serveri mudelid: `~/servers/LOEMIND/llama-server.md`
|
