Lokální AI model vs. cloud: jak nás vlastní doučený model překonal

Proč jsme to vůbec zkoušeli

Náš produkt Inovai Atesty běží v produkci na cloudové AI a funguje dobře. Jenže část firem, se kterými mluvíme - jaderná energetika, tlaková zařízení, přísná IT oddělení - má jednu tvrdou podmínku: dokumenty nesmí opustit firmu. Pro ně je cloud stopka, ne preference.

Otázka tedy zněla: dokáže menší otevřený model, doučený na našich vlastních potvrzených dokumentech, odvést stejnou práci jako cloudová AI - jen lokálně? Kvalitu jsme měřili na 99 kontrolních atestech, které model při učení nikdy neviděl. Bez toho by číslo lhalo: model by si testovací dokumenty „zapamatoval“.

Co nefungovalo: hrubá síla

První instinkt každého, kdo ladí AI, je „vezmi větší model“. Zkusili jsme to - a dopadlo to opačně, než velí intuice:

• 4× větší model skončil o 11 procentních bodů hůř než malý,
• plné přeučení celého modelu (místo doučení malé části) ubralo 8 bodů,
• víc kopií trénovacích dat ubralo 7 bodů,
• umělé obměny dokumentů přinesly jen šum.

Každý „silový“ pokus přesnost zhoršil. Kdybychom měřili jen jeden z nich, mohli jsme skončit se závěrem „lokální model na to nemá“. Měl na to - jen problém nebyl v modelu.

Co rozhodlo: detektivka nad trénovacími daty

Průlom přišel, když jsme přestali ladit model a začali prověřovat data, ze kterých se učil. Našli jsme dvě systémové chyby:

1) Model se naučil mazat správná data. Desítky trénovacích dokumentů obsahovaly hodnoty, které operátorka při kontrole záměrně smazala - pro její práci byly zbytečné. Byznysově správný krok, ale model se z těch příkladů učil, že se tyhle hodnoty „mají zahazovat“. Po opravě přišel největší skok přesnosti celého projektu.

2) Posunuté sloupce chemie. U části dokumentů byly hodnoty chemického složení při ručním přepisu posunuté pod špatné prvky. Odhalil to dopočet: uhlíkový ekvivalent (CEV) se dá spočítat z jednotlivých prvků, a když dopočet nesouhlasí s vytištěnou hodnotou, je chyba jistá. Matematika, žádné dohady.

Vrstva jistoty: dokument se čte dvakrát

Přesnost je jedna věc. Druhá - v provozu možná důležitější - je vědět, kterým hodnotám věřit. Finální řešení proto každý dokument čte dvakrát nezávisle a výsledky porovná:

• kde se obě čtení shodnou, je hodnota správně v 99,7 % případů,
• kde se neshodnou, dostane operátor varování - a kontroluje typicky jednu označenou hodnotu na dokument místo všech ~28.

Nad tím běží deterministické pojistky: dopočty kontrolních hodnot a fyzikální kontroly zdravého rozumu (tažnost pod 2 % je u konstrukční oceli absurdní hodnota a systém ji označí sám). Kde matematika nesedí, výsledek se zahodí - nikdy se nehádá.

Co to znamená pro firmy s citlivými daty

Do této zkušenosti jsme on-prem nasazení nabízeli s tichou výhradou „počítejte s horší přesností než v cloudu“. Ta výhrada padla: na úzké, dobře natrénované úloze může lokální model cloudovou AI vyrovnat i překonat - a data přitom neopustí firmu. Navíc se dál učí z provozu: každý potvrzený dokument je nový trénovací příklad.

Jak o volbě mezi cloudem, privátním prostředím a lokálním modelem přemýšlíme, popisujeme na stránce Lokální modely a v článku On-prem AI model: kdy dává smysl a kdy ne.

Poctivý disclaimer na závěr

Aby to nevyznělo jako „cloud je mrtvý“: není. Lokální model vyhrál na jedné úzké úloze, na kterou byl doučen tisíci potvrzených dokumentů z reálného provozu. Na obecné úlohy - porozumění netypickému dokumentu, složitější uvažování - zůstávají velké cloudové modely výrazně lepší. A doučení vlastního modelu má vstupní podmínky: dostatek potvrzených dat, přísně oddělenou kontrolní sadu a infrastrukturu na vyhodnocování. Bez toho je to loterie.

Praktický závěr pro rozhodování: začněte cloudem nebo privátním prostředím (podle toho, co vám pravidla dovolí), sbírejte potvrzená data - a lokální model nasaďte ve chvíli, kdy máte z čeho učit a proč (bezpečnost, objem, nezávislost). Přesně v tomhle pořadí to dává ekonomický i technický smysl.