NEURONOVÁ
TOPOLOGIE

Konvoluční neuronové sítě (CNN) jsou primárně určeny pro zpracování dat s mřížkovou topologií, jako jsou digitální obrazy. Využívají matematickou operaci konvoluce k identifikaci lokálních vzorů, které se následně skládají do globálních reprezentací. Tento přístup výrazně snižuje počet parametrů oproti plně propojeným sítím, což vede k vyšší efektivitě výpočtů a nižší spotřebě energie.

Naproti tomu Rekurentní neuronové sítě (RNN) jsou navrženy pro sekvenční data, kde záleží na pořadí vstupů, například v přirozeném jazyce nebo časových řadách. RNN disponují vnitřní pamětí, která jim umožňuje uchovávat informace o předchozích stavech. V moderní praxi jsou však klasické RNN často nahrazovány architekturami typu Transformer, které lépe paralelizují výpočty na moderním hardwaru.

Algoritmus zpětného šíření chyby je základním kamenem trénování většiny topologií. Proces je založen na výpočtu gradientu ztrátové funkce vzhledem k vahám sítě pomocí pravidla řetězení derivací. Tento gradient následně určuje směr a velikost úpravy vah tak, aby se minimalizovala celková chyba predikce.

• Dopředný průchod: Výpočet výstupu sítě a hodnoty ztrátové funkce.
• Zpětný průchod: Distribuce chyby od výstupní vrstvy směrem ke vstupu.
• Aktualizace vah: Aplikace optimalizačního kroku (např. SGD nebo Adam).

Efektivní implementace komplexních topologií vyžaduje specializovaný hardware schopný provádět masivní paralelní operace s plovoucí řádovou čárkou. Grafické procesory (GPU) a specializované tenzorové jednotky (TPU) jsou dnes standardem. Při návrhu infrastruktury je nutné zohlednit propustnost paměti a latenci sběrnic, které často tvoří úzké hrdlo systému.

Z pohledu ekologické odpovědnosti se Morrisco AI zaměřuje na využití hardwaru s vysokým poměrem výkon/watt. Racionální správa zdrojů zahrnuje také dynamické škálování výkonu podle aktuální zátěže, což minimalizuje zbytečné tepelné emise. Další trendy v této oblasti popisuje článek Trendy v hardwarové infrastruktuře.