AI integracija
Ugrađujem LLM u proizvod — bez demo-grade krhkosti.
OpenAI, Anthropic, DeepSeek i lokalni modeli (Ollama, llama.cpp, LM Studio), integrisani u backend kroz structured output, tool/function-calling, streaming, retry-eve, cost-aware routing i punu observability. Multi-provider odmah — bez vendor lock-in-a.
Šta dobijate
- Provider apstrakcija (Anthropic / OpenAI / DeepSeek / local) sa determinističkim fallback-om.
- Tool calling, structured JSON output (zod / pydantic), streaming SSE / WebSocket.
- Budžeti tokena i troškova po zahtevu / korisniku / feature-u — metrike u Prometheus.
- Verzionisanje prompt-ova, eval harness, golden-set regression testovi na svaku izmenu.
- Bezbednost: PII redaction, prompt-injection hardening, content filteri, audit log po pozivu.
Stack
- Anthropic
- OpenAI
- Ollama
- MCP
- Function calling
- Structured output
Proces
Email ili 20-min uvodni poziv → pisani predlog → ugovor → isporuka.