LLM ਰੁਕਾਵਟਾਂ ਦਾ ਪਰਦਾਫਾਸ਼: ਔਬਜ਼ਰਵੇਬਿਲਟੀ, OTEL ਅਤੇ ਲਾਗਤ ਨਿਯੰਤਰਣ

Workstation ਬਿਜ਼ਨਸ ਬ੍ਰੀਫ: ਔਬਜ਼ਰਵੇਬਿਲਟੀ ਨਾਲ LLM ਅਤੇ ਏਜੰਟ ਰੁਕਾਵਟਾਂ ਦਾ ਪਰਦਾਫਾਸ਼ ਕਰੋ — OpenTelemetry, Prometheus/Grafana/Thanos, ਅਤੇ Langfuse ਵਰਗੇ LLM ਪਲੇਟਫਾਰਮ — ਤਾਂ ਜੋ ਤੁਸੀਂ ਲਾਗਤ ਘਟਾ ਸਕੋ, SLOs ਕੱਸ ਸਕੋ, ਅਤੇ ਸਬੂਤਾਂ ਨਾਲ ਏਜੰਟ ਸ਼ਿਪ ਕਰ ਸਕੋ। ਡੂੰਘਾਈ: ਲੰਮਾ ਤਕਨੀਕੀ ਲੇਖ (OTEL, FinOps, ਏਜੰਟ ਬਜਟ)। ਸੰਬੰਧਿਤ: Turbocharging LLMs · Enterprise AI Lab.

ਟੈਲੀਮੈਟਰੀ ਤੋਂ ਬਿਨਾਂ ਰੁਕਾਵਟਾਂ ਕਿਉਂ ਲੁਕਦੀਆਂ ਹਨ

LLM ਏਜੰਟ ਪ੍ਰਾਂਪਟ, ਟੂਲ, RAG ਰਿਟਰੀਵਲ ਅਤੇ ਰੀਟ੍ਰਾਈਜ਼ ਨੂੰ ਚੇਨ ਕਰਦੇ ਹਨ। ਲੈਟੈਂਸੀ ਅਤੇ ਖਰਚ ਹਰ ਹੌਪ ’ਤੇ ਵਧਦੇ ਹਨ। ਸਪੈਨ ਅਤੇ ਮੈਟ੍ਰਿਕਸ ਤੋਂ ਬਿਨਾਂ ਤੁਸੀਂ ਨਹੀਂ ਦੱਸ ਸਕਦੇ ਕਿ ਰੁਕਾਵਟ ਮਾਡਲ ਹੈ, ਵੈਕਟਰ ਸਟੋਰ, ਫਲੇਕੀ ਟੂਲ, ਜਾਂ ਬਿਨਾਂ ਹੱਦ ਦਾ ਸੈਲਫ-ਡੀਬੱਗ ਲੂਪ। ਫਿਰ ਬਿਜ਼ਨਸ ਸਟੇਕਹੋਲਡਰ GPUs ਜਾਂ API ਕੋਟਾ ਵੱਧ ਖਰੀਦ ਲੈਂਦੇ ਹਨ ਜਦੋਂਕਿ ਉਤਪਾਦ ਕੁਆਲਿਟੀ ਥੱਲ੍ਹੀ ਰਹਿੰਦੀ ਹੈ।

AI ਅਸਟੇਟ ਲਈ Workstation ਦਾ ਰੁਖ: ਏਜੰਟ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਕਿਸੇ ਹੋਰ ਪ੍ਰੋਡਕਸ਼ਨ ਸਰਵਿਸ ਵਾਂਗ ਲਓ — ਪਹਿਲਾਂ ਔਬਜ਼ਰਵੇਬਿਲਟੀ, ਫਿਰ ਸਰਵਿੰਗ ਆਪਟੀਮਾਈਜ਼ ਕਰੋ (PagedAttention / vLLM ਵੇਖੋ), ਫਿਰ ਅਨੁਸ਼ਾਸਨ ਨਾਲ ਪ੍ਰੋਮੋਟ ਕਰੋ (Ring Promoter)।

ਉਹ ਔਬਜ਼ਰਵੇਬਿਲਟੀ ਸਟੈਕ ਜੋ ਆਪਣੀ ਲਾਗਤ ਵਾਪਸ ਕਰਦਾ ਹੈ

• OpenTelemetry (OTEL) — ਟ੍ਰੇਸ, ਮੈਟ੍ਰਿਕਸ ਅਤੇ (ਜਿੱਥੇ ਲਾਭਦਾਇਕ ਹੋਵੇ) ਲੌਗ ਲਈ ਇੱਕ ਇੰਸਟ੍ਰੂਮੈਂਟੇਸ਼ਨ ਲੇਅਰ। ਕਲੈਕਟਰ ਨੂੰ ਐਕਸਪੋਰਟ ਕਰੋ; ਬੈਕਐਂਡ ਵੱਲ ਫੈਨ-ਆਊਟ ਕਰੋ।
• Prometheus + Grafana (+ Thanos) — ਗੋਲਡਨ ਸਿਗਨਲ: ਰਿਕਵੈਸਟ ਰੇਟ, ਐਰਰ ਰੇਟ, ਲੈਟੈਂਸੀ, ਟੋਕਨ ਥ੍ਰੂਪੁੱਟ, ਅਨੁਮਾਨਿਤ $/request, GPU ਉਪਯੋਗਤਾ। Thanos (ਜਾਂ ਬਰਾਬਰ) FinOps ਸਮੀਖਿਆਵਾਂ ਲਈ ਲੰਮੀ-ਮਿਆਦ ਦੇ ਮੈਟ੍ਰਿਕਸ ਰੱਖਦਾ ਹੈ।
• LLM ਔਬਜ਼ਰਵੇਬਿਲਟੀ ਪਲੇਟਫਾਰਮ (ਜਿਵੇਂ Langfuse, LMNR) — ਸੈਸ਼ਨ/ਟ੍ਰੇਸ UI, ਪ੍ਰਾਂਪਟ ਵਰਜਨ, ਮਨੁੱਖੀ ਅਤੇ ਆਟੋ ਸਕੋਰ, ਰਿਗ੍ਰੈਸ਼ਨ ਲਈ ਡਾਟਾਸੈੱਟ।

ਇਸ ਪਹੁੰਚ ਦੇ ਫਾਇਦੇ ਅਤੇ ਨੁਕਸਾਨ

ਲਾਗਤਾਂ: ਤੁਸੀਂ ਕੀ ਖਰਚਦੇ ਹੋ ਬਨਾਮ ਕੀ ਬਚਾਉਂਦੇ ਹੋ

ਇੰਸਟ੍ਰੂਮੈਂਟੇਸ਼ਨ ਲਾਗਤ (ਆਮ ਮੱਧਮ ਏਜੰਟ ਪਲੇਟਫਾਰਮ):

• OTEL ਸਪੈਨ ਕਨਵੈਨਸ਼ਨ + ਐਕਸਪੋਰਟਰ ਵਾਇਰਿੰਗ ਲਈ 1–2 ਇੰਜੀਨੀਅਰ-ਹਫ਼ਤੇ।
• ਕਲੈਕਟਰ + ਮੈਟ੍ਰਿਕਸ ਰਿਟੈਂਸ਼ਨ: ਸੈਂਪਲਿੰਗ ਟਿਊਨ ਹੋਣ ਤੋਂ ਬਾਅਦ ਅਕਸਰ ਮਹੀਨਾਵਾਰ LLM API/GPU ਖਰਚ ਦਾ <5–10%।
• ਵਿਕਲਪਿਕ SaaS LLM ਔਬਜ਼ਰਵੇਬਿਲਟੀ: ਪ੍ਰਤੀ ਇਵੈਂਟ/ਟ੍ਰੇਸ ਕੀਮਤ — ਇਸ ਨੂੰ ਮਾਡਲ ਖਰਚ ਦੇ % ਵਜੋਂ ਬਜਟ ਕਰੋ, ਬਾਅਦ ਦੀ ਸੋਚ ਵਜੋਂ ਨਹੀਂ।

ਬਚਤ ਲੀਵਰ (ਵਰਤੋਂ ਮੈਟ੍ਰਿਕਸ ਜੋ ਫਰਕ ਪਾਉਂਦੇ ਹਨ):

• ਪ੍ਰਤੀ ਸਫਲ ਟਾਸਕ ਟੋਕਨ — ਕੱਚੀ ਕਾਲ ਪ੍ਰਤੀ ਟੋਕਨ ਨਹੀਂ। ਟੂਲ ਲੂਪ ਅਤੇ ਸੈਲਫ-ਡੀਬੱਗ ਰਾਊਂਡ ਕੈਪ ਕਰੋ।
• ਪ੍ਰਤੀ ਸਫਲ ਟਾਸਕ ਲਾਗਤ — classify/route ਲਈ ਸਸਤੇ ਮਾਡਲ; ਔਖੇ ਕਦਮਾਂ ਲਈ ਫਰੰਟੀਅਰ ਮਾਡਲ ਰਾਖਵੇਂ ਰੱਖੋ।
• ਕੈਸ਼ ਹਿਟ ਰੇਟ — ਜਿੱਥੇ ਸੁਰੱਖਿਅਤ ਹੋਵੇ ਪ੍ਰਾਂਪਟ/ਪ੍ਰੀਫਿਕਸ ਕੈਸ਼ਿੰਗ; ਸਿਰਫ਼ ਲੈਟੈਂਸੀ ਨਹੀਂ, ਸਹੀਤਾ ਵੀ ਮਾਪੋ।
• ਰੀਟ੍ਰਾਈ ਰੇਟ ਅਤੇ ਡੈੱਡ-ਲੈਟਰ ਰੇਟ — ਫਲੇਕੀ ਟੂਲ “ਮਾਡਲ ਕੁਆਲਿਟੀ” ਮਸਲਿਆਂ ਵਾਂਗ ਦਿਖਦੇ ਹਨ।
• p95 TTFT ਅਤੇ ਐਂਡ-ਟੂ-ਐਂਡ ਲੈਟੈਂਸੀ — ਖਰਚ ਘਟਾਉਂਦੇ ਹੋਏ UX ਦੀ ਰੱਖਿਆ ਕਰੋ।

ਸਕੋਰਿੰਗ: ਮੈਨੂਅਲ ਬਨਾਮ ਆਟੋਮੈਟਿਕ

ਮਾਈਗ੍ਰੇਸ਼ਨ ਪਲੇਬੁੱਕ (ਛੋਟਾ ਸ਼ੁਰੂ ਕਰੋ)

1. OTEL + ਟੋਕਨ/ਲਾਗਤ ਐਟ੍ਰਿਬਿਊਟਸ ਨਾਲ ਇੱਕ ਪ੍ਰੋਡਕਸ਼ਨ ਏਜੰਟ ਪਾਥ ਐਂਡ-ਟੂ-ਐਂਡ ਇੰਸਟ੍ਰੂਮੈਂਟ ਕਰੋ।
2. ਰੇਟ / ਐਰਰ / ਲੈਟੈਂਸੀ / $/success ਲਈ Grafana ਬੋਰਡ ਸ਼ਿਪ ਕਰੋ।
3. ਉਸ ਪਾਥ ’ਤੇ ਪ੍ਰਾਂਪਟ ਵਰਜਨ ਅਤੇ ਸਕੋਰ ਲਈ Langfuse (ਜਾਂ ਬਰਾਬਰ) ਜੋੜੋ।
4. ਸਖ਼ਤ ਕੈਪ ਲਾਗੂ ਕਰੋ: ਵੱਧ ਤੋਂ ਵੱਧ ਟੋਕਨ, ਟੂਲ ਕਾਲਾਂ, ਪ੍ਰਤੀ ਸੈਸ਼ਨ ਰੀਟ੍ਰਾਈ।
5. ਪਹਿਲੇ ਪਾਥ ’ਤੇ ਮਾਪੀ ਹੋਈ ਲਾਗਤ ਜਾਂ ਲੈਟੈਂਸੀ ਜਿੱਤ ਦਿਖਾਉਣ ਤੋਂ ਬਾਅਦ ਹੀ ਅਗਲੇ ਏਜੰਟ ਤੱਕ ਫੈਲਾਓ।

ਵੇਖੋ: AI ਸਿਸਟਮਾਂ ਲਈ ਔਬਜ਼ਰਵੇਬਿਲਟੀ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਔਬਜ਼ਰਵੇਬਿਲਟੀ ਕਲਚਰ ’ਤੇ ਸੰਦਰਭ ਗੱਲਬਾਤ — Workstation ਉਤਪਾਦ ਡੈਮੋ ਨਹੀਂ। OpenTelemetry ਡੌਕਸ ਅਤੇ Workstation ਤਕਨੀਕੀ ਲੇਖ ਨਾਲ ਜੋੜੋ।

ਅੱਗੇ ਪੜ੍ਹੋ

1. ਲੰਮਾ ਲੇਖ — OTEL ਸਪੈਨ ਸਕੀਮਾ, ਕਲੈਕਟਰ, ਲਾਗਤ ਫਾਰਮੂਲੇ, ਏਜੰਟ ਕੈਪ, Langfuse/LMNR ਨੋਟਸ।
2. Turbocharging LLMs — ਦੇਖਣ ਤੋਂ ਬਾਅਦ ਸਰਵਿੰਗ-ਸਾਈਡ ਰੁਕਾਵਟਾਂ।
3. ਲੋਕਲ ਏਜੰਟ · Enterprise AI Lab · Workstation ਨਾਲ ਸੰਪਰਕ

Workstation ਵੱਲੋਂ ਪ੍ਰਕਾਸ਼ਿਤ। ਹਵਾਲੇ: langfuse/langfuse · lmnr-ai/lmnr · OpenTelemetry.