Agentic Market-Data Pipeline
Cjeloviti agentni podatkovni cjevovod (agentic data pipeline) koji prikuplja domenske izvore, ekstrahira strukturirane signale pomoću LLM-a, generira obogaćene komentare tržišta i automatski ih objavljuje na raznim kanalima prema rasporedu. Solo projekt u produkciji.
Book a call
Radi bez nadzora prema dnevnom rasporedu, s tvrdim zaustavljanjem kod zastarjelih podataka i sigurnim odstupanjem na svakom koraku.
Utemeljeni komentari, objavljeni automatski
Proizvodu s financijskim podatcima uživo bili su svakodnevno potrebni informativno bogati komentari tržišta, objavljeni automatski, bez ljudskog pisanja svakog ažuriranja i bez objavljivanja zastarjelih ili nekvalitetnih sadržaja.
Težak dio nije generiranje teksta. Radi se o utemeljenju tog teksta na svježim, stvarnim podatcima i osiguravanju da se cijeli lanac sigurno zaustavi ako je izvor prazan.
- Tvrda vrata
Osvježavanje podataka
Dohvaća najnovije podatke. Tvrda vrata – ako ne uspije, cijeli rad se prekida.
Ekstrakcija signala
Pretražuje izvore; LLM ekstrahira i spaja pokretače; filtrira na višeizvorne signale.
Obogaćeno generiranje
Generira utemeljenu bilješku iz ekstrahiranih činjenica; objavljuje putem API-ja.
Automatska distribucija
Sastavlja objavu + snimku grafikona uživo; objavljuje s elastičnim odstupanjem.
Što sam izgradio
Jedan orkestrirani cjevovod koji radi od početka do kraja prema rasporedu.
1. Osvježavanje podataka (tvrda vrata): Povlači i ažurira najnovije podatke o tržištu u bazu. Ako ovaj korak ne uspije, cijeli rad se prekida kako se ne bi objavili stari podaci.
2. Ekstrakcija signala: Pretražuje dnevne izvore, provodi LLM ekstrakciju katalizatora i filtrira na visokopouzdane elemente.
3. Obogaćeno generiranje: Generira strukturiranu bilješku utemeljenu isključivo na činjenicama i objavljuje je u proizvodu.
4. Automatska distribucija: Sastavlja objavu, snima grafikon preko headless preglednika i objavljuje ga.
Svaka faza radi stabilno: Ako nema novih signala, bilješka se i dalje objavljuje s novim baznim podacima.
Ključne inženjerske odluke
• Siguran redoslijed ispred potpunosti: Vrata za osvježavanje podataka jamče svježinu; sve ostalo je prema mogućnostima. Objava čiste osnove bolja je od objave zastarjelih podataka.
• Disciplina činjenica u LLM sloju: Filtar i stroga pravila sprječavaju model da izmišlja brojeve ili uključuje nepovezane vijesti – što je glavni rizik kod automatskih financijskih sadržaja.
• Lokalna orkestracija umjesto cloud servisa: Zahtjevi za automatizaciju preglednika i lokalno okruženje učinili su jedan lokalni orkestrator jednostavnijim i pouzdanijim od distribuirane cloud infrastrukture.
• Jeftin rad: Na robnoj (edge) infrastrukturi stalni troškovi iznose tek nekoliko dolara mjesečno.
Tehnologije
Python · OpenAI / Claude (LLM orkestracija) · Model Context Protocol (MCP) · Cloudflare Workers · edge SQL (libSQL) · headless automatizacija preglednika · scheduled task runner.
Rezultat
Radi samostalno prema dnevnom rasporedu: osvježava podatke, ekstrahira pokretače, objavljuje bilješku u proizvodu i distribuira objavu s grafikonom uživo.
Što mogu izgraditi za vas
Isti obrazac je ponovno upotrebljiv za bilo koji proizvod koji treba pretvoriti sirove izvore u strukturirane, utemeljene i automatski objavljene sadržaje:
zajednički unos → LLM ekstrakcija s disciplinom činjenica → obogaćeno generiranje → MCP/API objava → automatizacija po rasporedu.
Ako želite takav cjevovod ili API wrapped kao MCP poslužitelj, to je upravo ono što radim.