Základy neurónových sietí

ZNS_Osnova_2016.pdf Prednášajúci: prof. Ing. Peter Sinčák CSc. peter.sincak@tuke.sk Cvičiaci: Ing. Patrik Sabol pato.sabol@gmail.com, patrik.sabol@tuke.sk

Literatúra

  1. Neurónové siete - úvod [EN]

  2. Neurónové siete 1 [SK]

  3. Neurónové siete 2 [SK]

  4. The Nature of Code: 10. Neural Networks [EN]

  5. Prehľad ART a ARTMAP sietí - popis MF ARTMAP

  6. Prednáška ART a ARTMAP

Iné

  1. BP algoritmus v príkladoch [EN]

  2. BP algoritmus - krok za krokom [EN]

Tutoriály k SNNS

  1. Príklad riešenia XOR problému v SNNS krok za krokom [EN]

  2. Príklad riešenia XOR problému v SNNS podrobnejšie [EN]

  3. Ako pracovať v SNNS [SK]

  4. Príručka pre prácu v SNNS [SK]

  5. MSDN magazine - Neural Network Back-Propagation for Programmers [EN]

  6. JavaNNS [EN]

1. zadanie: Esej

V druhom týždni semestra pošlite cvičiacemu tému,na ktorú chcete písať esej. Tému si možete vybrať z navrhovaných tém uvedených nižšie, alebo si môžete zvoliť vlastnú tému. Vlastná téma však musí byť z oblasti neurónových sietí alebo deep learning. !!!Každý študent musí mať jedinečnú tému t.j. téma sa nesmie opakovať!!! Spolu s témou poskytnite najmenej tri zdroje, z ktorých budete čerpať, aspoň jeden z nich musí byť vedecký článok.

Navrhované témy esejí

1. Extrakcia pravidiel pomocou neurónových sietí [Matej Kvetko ]

2. Extrakcia pravidiel pomocou neurónových sietí typu ART a ARTMAP

3. Extrakcia pravidiel pomocou hlbokých neurónových sietí [Adam Brezina]

4. Využitie neurónových sietí v data mining [Štefan Labbancz]

5. Využitie neurónových sietí typu ART a ARTMAP v data mining [Michal Geci]

6. Využitie hlbokých neurónových sietí v data mining [Martin Polak]

7. Prehlad ART neurónových sietí a príklady ich aplikácií v praxi [Dorota Belanova]

8. Prehlad ARTMAP neurónových sietí a príklady ich aplikácií v praxi [Tomáš Goffa]

9. Využitie neurónových sietí vo vesmíre [Milan Tkáčik]

10. Využitie neurónových sietí v umeni (hudbe) [Robert Balaz]

11. Využitie neurónových sietí v autonómnych autách [Ivan Vojtko]

12. Využitie neurónových sietí v intelingentych domoch [Dominik Grigľák]

13. Využitie neurónových sietí vo video-hrách [Dominik Horňák]

14. Využitie neurónových sietí v inteligentnom priestore [Juraj Pavlov]

15. Využitie neurónových sietí na klasifikáciu objektov [Damian Sedlak]

16. Neurónové siete využívané v nadnárodných IT firmách (Facebook, Google, Microsoft, IBM...) [Ladislav Pomšár]

17. Využite neurónových sietí vo finančníctve [Oliver Tomko]

18. Využitie neurónových sietí vo vojenskom priemysle [Martin Liščinský]

19. Využitie neurónových sietí v aplikáciách počítačového videnia [Ján Cabadaj]

20. Využitie neurónových sietí v športe [Richard Halcin]

21. Vyuzitie neuronovych sieti na predpoveď počasia [Igor Marga]

22. Využitie hlbokých neurónových sietí na rozoznávanie reči [Tomáš Hugec]

23. Aplikovanie neurónových sietí na burzu, ich výhody a nevýhody [Michal Kuc]

24. Využitie neuronových sietí v medicíne [Dominik Kolesar]

25. Využitie neurónových sietí na predikciu magnetických búrok [Simona Korkobcova]

Pokyny k vypracovaniu esejí

2. zadanie: Dopredná neurónová sieť s učením Backpropagation

Trénovacie dáta k zadaniu

Trénovacie dáta obsahujú dva podaresáre: banana a spiral. V oboch je niekoľko trénovacích množín, ktoré sú doplnené aj grafmi dát. Tieto dáta skúžia na testovanie správnosti vašej implementácie. Požaduje sa, aby ste svoju aplikáciu natrénovali a v dokumentácií popísali min. na dátach banana_1, aspoň na jednej ľubovoľnej množine z adresáru spiral a na jednej množine označenej ako data_x.csv.

Zadanie: Naprogramovať metódu spätného šírenia chyby. Program experimentálne porovnať na klasifikačných dátach poskytnutých cvičiacim. Vypracovať dokumentáciu k rpogramu. Program musí komunikovať s užívateľom prostredníctvom webového grafického rozhrania (minimálne výpis textový výpis výsledkov). Program bude nasadený na virtuálnom serveri v prostredí Microsoft Azure.

3. zadanie: Kohonenova sieť

Zadanie: Naprogramovať doprednú neurónovú sieť Kohonenovho typu. Kohonenova vrstva je dvojrozmerná. Zrealizovať expertimenty na zadaných dátach a urobiť program na vizualizáciu Kohonenovej mapy počas učenia siete. Súčasťou zadania je aj dokumentácia k implementovanému programu. Program komunikuje s užívateľom prostredníctvom webového grafického rozhrania (minimálne výpis textový výpis výsledkov). Program bude nasadený na virtuálnom serveri v prostredí Microsoft Azure. Je možné rozšíriť zadanie č. 1 implementáciou tohto zadania.

  • Jazyk: C, C++, C# alebo Python

  • Dokumentácia: o projekte MUSÍ obsahovať - zadanie projektu a jeho analýza, postup riešenia projektu, výsledky jednotlivých experimentov, hodnotenie jednotlivých experimentov, záver

  • Možné trénovacie dáta: Pictures

  • Každý, kto dokážte primeraným spôsobom (živá ukážka, video) demonštrovať aspoň jedno svoje programátorske zadanie pri riešení reálneho problému na robotovi (Nao, Qbo, Handson, NXT) a dokážte svoje riešenie obhájiť, budete oslobodený od písomnej časti skúšky.
  • odovzdanie v 12. týždni (do 11.12.2016 23:59:59)

  • výstupom je zip súbor s menom v tvare ZNS-Zadanie2-Vaše_priezvisko.zip

  • Hodnotenie: max. 10 bodov

Cvičenia

1. Cvičenie 20.9.2016

  1. Úvod, základné, informácie, podmienky zápočtu a skúšky

    21.9.2016 (streda) bude prednáška vo Vedeckej kaviarni na UVT od 10:50 (prof. Sinčák si to vybavil s doc. Butkom)

2. Cvičenie 26.9.2016

Druhé cvičenie bude v čase prednášky v miestnosti PK6_PC5, teda 26.9.2016

  1. Prezenčka
  2. AI-CIT skupina, KKUI CIT skupina
  3. Eseje – temy, zdroje...
  4. DreamSpark účet a MS Azure

  5. https://www.cs.utexas.edu/~teammco/misc/perceptron/

  6. playground.tensorflow.org

Kľúčové slová: kontrolované učenie, klasifikačná úloha, diskriminačná hyperplocha, chybový priestor, stavový priestor, perceptron, XOR problem

3. Cvičenie 27.9.2016

Tretie cvičenie podľa rozvrhu, teda 27.9.2016

  1. Kniha obsahujúca kapitoly aj o MVC

  2. Microsoft MVC5 tutoriál

  3. Zaujímavý podrobný MVC tutoriál

  4. MS Virtual Academy o Azure web sites

4. Cvičenie 11.10.2016

  1. Oboznámiť sa s Azure management portálom
  2. Úvod k MVC
  3. Ukážka práce s Azure web apps - načítanie textového súboru a výpis jeho obsahu do tabuľky
  4. Práca s modelmi
  5. Práca s Razor
  6. Deployovanie projektu na cloud

Domáca úloha: Preskúmať ako sa dá spojiť MySQL a Azure websites. Naštudovať prácu s databázou, ukladanie dát.

5. Cvičenie 18.10.2016

  1. Numerický výpočet chyby a nových váh pri BP aalgoritme pre jednu iteráciu a jednu vstupnú vzorku
  2. Diskusia k zadaniu, pridelenie dátových množín

Trénovacie dáta k zadaniu

Trénovacie dáta obsahujú dva podaresáre: banana a spiral. V oboch je niekoľko trénovacích množín, ktoré sú doplnené aj grafmi dát. Tieto dáta skúžia na testovanie správnosti vašej implementácie. Požaduje sa, aby ste svoju aplikáciu natrénovali a v dokumentácií popísali min. na dátach banana_1, aspoň na jednej ľubovoľnej množine z adresáru spiral a na jednej množine označenej ako data_x.csv.

6. Cvičenie 7.11.2016

  1. Tutorial 1,2,3
  2. Odvodenie Backpropagation

7. Cvičenie 8.11.2016

  1. Pisomka z odvodenia Backpropagation

  2. Diskusia k zadaniam BP

8. Cvičenie 22.11.2016

  1. Pisomka Numerický výpočet chyby a nových váh pri BP aalgoritme pre jednu iteráciu a jednu vstupnú vzorku

9. Cvičenie 5.12.2016

10. Cvičenie 6.12.2016

11. Cvičenie 12.12.2016

12. Cvičenie 13.12.2016

13. Cvičenie

student: ZNS (last edited 2016-11-29 08:04:58 by JaroslavOndo)

Center for Intelligent Technology is equipped with 16 NAO Humanoid Robots for research and educational purposes towards Intelligent technologies.

Annually the branch of AI finishaprx. 25 people in Bc. and MSc. . PhD level is also very active - we do have 11 alumni in AI past 15 years in branch of AI.