Agentic Market-Data Pipeline
Celokupni agentni podatkovni cjevovod (agentic data pipeline) koji prikuplja domenske izvore, ekstrahuje strukturisane signale pomoću LLM-a, generiše obogaćene komentare tržišta i automatski ih objavljuje na raznim kanalima prema rasporedu. Solo projekat u produkciji.
Book a call
Radi bez nadzora prema dnevnom rasporedu, sa tvrdim zaustavljanjem kod zastarelih podataka i sigurnim odstupanjem na svakom koraku.
Utemeljeni komentari, objavljeni automatski
Proizvodu sa finansijskim podacima uživo bili su svakodnevno potrebni informativno bogati komentari tržišta, objavljeni automatski, bez ljudskog pisanja svakog ažuriranja i bez objavljivanja zastarelih ili nekvalitetnih sadržaja.
Težak deo nije generisanje teksta. Radi se o utemeljenju tog teksta na svežim, stvarnim podacima i osiguravanju da se ceo lanac sigurno zaustavi ako je izvor prazan.
- Tvrda vrata
Osvežavanje podataka
Dohvata najnovije podatke. Tvrda vrata – ako ne uspe, ceo rad se prekida.
Ekstrakcija signala
Pretražuje izvore; LLM ekstrahuje i spaja pokretače; filtrira na višeizvorne signale.
Obogaćeno generisanje
Generiše utemeljenu zabelešku iz ekstrahovanih činjenica; objavljuje putem API-ja.
Automatska distribucija
Sastavlja objavu + snimku grafikona uživo; objavljuje sa elastičnim odstupanjem.
Što sam izgradio
Jedan orkestrirani cjevovod koji radi od početka do kraja prema rasporedu.
1. Osvežavanje podataka (tvrda vrata): Povlači i ažurira najnovije podatke o tržištu u bazu. Ako ovaj korak ne uspe, ceo rad se prekida kako se ne bi objavili stari podaci.
2. Ekstrakcija signala: Pretražuje dnevne izvore, sprovodi LLM ekstrakciju katalizatora i filtrira na visokopouzdane elemente.
3. Obogaćeno generisanje: Generiše strukturisanu zabelešku utemeljenu isključivo na činjenicama i objavljuje je u proizvodu.
4. Automatska distribucija: Sastavlja objavu, snima grafikon preko headless pregledača i objavljuje ga.
Svaka faza radi stabilno: Ako nema novih signala, zabeleška se i dalje objavljuje sa novim baznim podacima.
Ključne inženjerske odluke
• Siguran redosled ispred potpunosti: Vrata za osvežavanje podataka garantuju svežinu; sve ostalo je prema mogućnostima. Objava čiste osnove bolja je od objave zastarelih podataka.
• Disciplina činjenica u LLM sloju: Filter i stroga pravila sprečavaju model da izmišlja brojeve ili uključuje nepovezane vesti – što je glavni rizik kod automatskih finansijskih sadržaja.
• Lokalna orkestracija umesto cloud servisa: Zahtevi za automatizaciju pregledača i lokalno okruženje učinili su jedan lokalni orkestrator jednostavnijim i pouzdanijim od distribuirane cloud infrastrukture.
• Jeftin rad: Na robnoj (edge) infrastrukturi stalni troškovi iznose tek nekoliko dolara mesečno.
Tehnologije
Python · OpenAI / Claude (LLM orkestracija) · Model Context Protocol (MCP) · Cloudflare Workers · edge SQL (libSQL) · headless automatizacija pregledača · scheduled task runner.
Rezultat
Radi samostalno prema dnevnom rasporedu: osvežava podatke, ekstrahuje pokretače, objavljuje zabelešku u proizvodu i distribuira objavu sa grafikonom uživo.
Što mogu izgraditi za vas
Isti obrazac je ponovo upotrebljiv za bilo koji proizvod koji treba pretvoriti sirove izvore u strukturisane, utemeljene i automatski objavljene sadržaje:
zajednički unos → LLM ekstrakcija sa disciplinom činjenica → obogaćeno generisanje → MCP/API objava → automatizacija po rasporedu.
Ako želite takav cjevovod ili API wrapped kao MCP server, to je upravo ono što radim.