INTRO




ENTWICKLUNG




SOFTWARE




PROJEKT




DOWNLOAD




NATUR




KLASSIKER
[Map of Belief]




OPENBRAIN




KONTAKT




LINKS








Klassische Neuronale Netze


1) SOM - Self Organizing Feature Map
2) MLP - Multilagen Perzeptron


1) SOM - Self Organizing Feature Map


Ein SOM ist ein dimensionsreduzierender Algorithmus der, in Anlehung an die Struktur im Cortex, Ähnlichkeitsbeziehungen hochdimensionaler Eigenschaften herausstellt. Es handelt sich dabei um ein unüberwachtes Lernverfahren das häufig in Datamining-Anwendungen eingesetzt wird.

Weitere Details und Anwendungen in Buchform: Ritter,H,;Martinetz,T.;Schulten,K.:Neuronale Netze. Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke, Addison-Wesley. 1991.

Eine Anmerkung zu den biologischen Karten im Kortex: Strukturbildende Prozesse sind hier ein Effekt unterschiedlicher direkter und indirekter statistischer Wechselwirkungen. Das Grundprinzip: Neuronen veranlassen benachbarte Neuronen in der Nachbarschaft auf ähnliche Reize zu reagieren. Natürlich werden auch sie selbst von ihren Nachbarn veranlasst, auf deren Lieblingsreize stärker zu antworten. Weiter entfernt liegene Neuronen werden dagegen quasi als Konkurrenten betrachtet -> Konkurenzlernen.

Diese nachfolgende Karte zeigt Ähnlichkeitsbeziehungen einiger Weltanschauungen und ist ein Resultat des SOM-Algorithmus angewendet auf die weiter unten stehende Tabelle.

Vielen Dank an alle, die mit ihren Vorschlägen zur Implementation des Algorithmus sowie der Datensammlung einen Beitrag geleistet haben.





Hier im Poster-Format: mapofbelief.jpg (1.3MB)

Die Features der Map of Belief

Die nachfolgende Tabelle versucht, die typischen Eigenschaft der genannten Weltanschauungen allgemein zu erfassen. Sie ist ein willkürlicher Datensatz für den SOM-Algorithmus - weiter nichts! Sie erhebt keinen Anspruch auf Vollständigkeit!. Vorschläge für weitere Einträge sind sehr willkommen. Die Informationen stammen aus persönlichen Interview's, Weltanschauungs-Lexika, verschiedener Internetquellen sowie den offiziellen Webseiten der jeweiligen Organisationen.

Weltanschauung Monotheistisch heiliges Buch 1000 Jahre alt Reinkarnation man kommt in den Himmel Glaube an: Geister oder Engel Leben nach dem Tod Erlöser oder Messias göttliche Allmacht Apokalypse Missionierung Naturverbunden das personifizierte Böse rituelle Opfer darf fuer den Glauben töten Gegenstände zur Anbetung Dogmatisch Asketisch Mensch im Mittelpunkt Glaube an: Wunder Glaube an: Hölle unsterbliche Seele über 500 Millionen über 100 Millionen über 10 Millionen Philosophisch Ahnenkult
Katholisch 1 1 1 0 1 1 1 1 1 1 1 0 1 0 1 1 1 0 1 1 1 1 1 0 0 0 0
Protestantismus 1 1 0 0 1 1 1 1 1 1 1 0 1 0 1 1 0.5 0 1 1 1 1 0 1 0 0 0
Orthodoxe Kirche 1 1 1 0 1 1 1 1 1 1 1 0 1 0 1 1 1 0 1 1 1 1 0 1 0 0 0
Islam 1 1 1 0 1 1 1 0.5 1 1 1 0 1 1 1 0 1 0 1 1 1 1 1 0 0 0 0
Judentum 1 1 1 0.5 0.3 1 1 1 1 1 0 0 1 1 1 0 1 0 1 1 0.3 1 0 0 1 0 0
Buddismus 0 1 1 1 0 1 1 0 0 0 0.5 0.7 0 1 0.5 1 0 0.5 1 1 1 0.5 0 1 0 1 1
Taoismus 0 1 1 1 0 1 1 0.5 0 0 0.5 1 0 1 0.5 1 0 0.5 0.5 1 1 0.5 1 0 0 1 1
Schintoismus 0 0 0 0.5 0.5 1 1 0 0.5 0 1 0.5 1 1 1 1 0 0.5 0.5 1 0.5 1 0 0 1 1 1
Hinduismus 0.5 1 1 1 0.5 1 1 0 0 0 0.5 0.5 1 1 1 1 0 1 1 1 1 1 1 0 0 0.5 0
Jehovas Zeugen 1 1 0 0 0.1 1 1 1 1 1 1 0 1 0 0 0 0.5 0 1 1 0 0 0 0 0 0 0
Scientology 0 1 0 1 0 1 1 0 1 0 1 0 1 0 0 0 1 0 1 1 0 1 0 0 0 1 0
Mormonen 1 1 0 0 1 1 1 1 1 1 1 0 1 0 1 0 1 0 1 1 1 1 0 0 1 0 0
Naturreligionen 0 0 1 0.5 0 1 1 0 1 0 0 1 1 1 1 1 0 0 0.5 1 0 1 1 0 0 0 1
Antroposophie 0.5 0.5 0 1 0 1 1 0.5 0.5 0 0 1 1 0 0 0 0 0 1 0 0 1 0 0 0 1 0
Adventisten 1 1 0 0 1 1 1 1 1 1 1 0.3 1 0 0.5 0 1 0 1 1 0 0 0 0 1 0 0
Neuapostolen 1 1 0 0 1 1 1 1 1 1 1 0 1 0 0.5 0 1 0 1 1 1 1 0 0 1 0 0
Baptisten 1 1 0 0 1 1 1 1 1 1 1 0 1 0 0.5 0 1 0 1 1 1 1 0 0 1 0 0
Pfingstbewegung 1 1 0 0 1 1 1 1 1 1 1 0 1 0 0.5 0 1 0 1 1 1 1 0 1 0 0 0
Teufelsanbetung [1] 1 0 0 0 0 1 1 0 1 1 0 0 1 1 1 1 0 0 1 1 1 1 0 0 0 1 0
Voodoo-Kult 0.5 0 0 1 0 1 1 0 1 0 0 0.5 1 1 1 1 0 0 0.5 1 0 1 0 0 1 0 1
Humanisten 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 1 0
Azteken 0 0 1 0 0.5 1 1 0 0.5 0 0 1 1 1 1 1 1 0 0 1 0.5 1 0 0 0 0.5 0
Alte Griechen 0 0 1 0 0 1 1 0 0 0.5 1 1 1 1 1 1 0 0 1 1 0.5 1 0 0 0 1 0
Vereinigungskirche 1 1 0 0 1 1 1 1 1 0 1 0 1 0 1 0 1 0 1 1 0 1 0 0 0 0 0
Temple of Docfish 0 0 0 0 0 1 1 0 1 0 0 1 1 1 0 1 1 1 0 1 0 0 0 0 0 1 0
Esoterik 0 0 0 0.5 0.5 1 1 0 0 0 0.3 0.5 0.5 0 0 1 0 0 0.5 1 0 0.5 0 0 0 1 0

1) Hier ist der 'rituelle' Satanismus gemeint, der den Teufel als personifizierten Gott anerkennt und rituelle Opferungen praktiziert. Die satanistische Organisation "Church of Satan" besitzt beispielsweise andere Merkmale.

2) MLP - Multilagen-Perzeptron

Einer unter den bekanntesten Lernalgorithmen neuronaler Netze ist das Multilagen-Perzeptron (MLP). 1958 stellte Frank Rosenblatt das Modell eines vereinfachten einzelnen künstlichen Neurons mit variablen Eingangsgewichten und Schwellenwert vor - das Perzeptron.
1969 bewiesen die KI-Pioniere Marvin Minsky und Seymour Papert, daß das Perzeptron bestimmte Klassen von Problemen nicht lernen kann - z.B. das XOR-Problem. Auch bei der Klassifikation von bestimmten Mustern, z.B. Spiralen, scheitert es.
Diese Veröffentlichung verurschte weltweites Mißtrauen gegenüber künstlichen neuronalen Netzen, wodurch die Forschung auf diesem Gebiet in den 70iger Jahren fast zum Erliegen kam.

Mit einfachen Verbesserungen (Einführung mehrerer Schichten, Backpropagation-Fehlerrückführung, das Erlauben von Rückkopplungen) wurden die Kinderkrankheiten der neuronalen Netze beseitigt.

Das Multilagen-Perzeptron (MLP) ist biologisch betrachtet ein sehr abstraktes Modell, jedoch extrem einfach, vielseitig und bequem einsetzbar. Es eignet sich hervorragend zum Klassifizieren, Regeln oder Komprimieren von Daten. Ähnlich wie beim Perzeptron wird ein gegebener Vektor dem MLP übergeben, durch die Schichten (Layer) berechnet, bis die letzte Schicht eine Ausgabe erzeugt. Diese wird mit einer diesem Vektor zugewiesenen Sollwert-Ausgabe verglichen, woraus für jedes Neuron ein Fehlerwert berechnet wird. Dieser Fehler wird rückwärts von der Ausgabeschicht zur Eingabeschicht zurueckgereicht und gemeinsam mit einer Lernrate benutzt, um die jeweiligen Gewichte ein wenig in die gewünschte Richtung zu verbiegen, bis der Gesamtfehler minimal wird. Da hier mit einem Sollwert gearbeitet wird handelt es sich um ein sog. überwachtes Lernverfahren.


Ein Screenshot des Projekts Demo-MLP

Demo-MLP

Dieses kurze Demo-Programm demonstriert einen in der C++-Klasse MLP_FERMI realisierten MLP-Algorithmus. Die Klasse ist kompakt programmiert und benoetigt lediglich die mitgelieferte Klasse XMLPARSER. Im Konstruktor werden die Anzahl der Schichen und ein long-Vektor mit der jeweiligen Anzahl der Neuren pro Schicht übergeben. Als Aktivierungsfunktion dient die Fermi-Funktion, die dazu führt, daß der Ausgabe-Vektor in der Ausgabeschicht nur Werte zwischen groesser '0' und kleiner '1' ausgibt.
Nach dem erfolgreichen Training kann die Klasse ihre Gewichte im XML-Format abspeichern um danach auf praktische Daten ohne weiteres Training angewendet weren.

In diesem Demo wird ein Mini-MLP mit einem 9-elementigen Eingabevektor und einen 3-elementigen Ausgabevektor erzeugt. Man beachte, dass der Ausgabewert zum Sollwert immer nur aehnlich sein kann, kann aber wegen der Fermi-Funktion in der Aktivierungsfunktion niemals genau '1' werden. Mit einer einfachen Distanzfunktion (z.B. die euklidische) kann das Klassifikationsergebnis klar zugeordnet werden. Das Demo erlaubt ein 'Herum-malen' im Eingangsmuster. Das Umschalten eines einzelnes Pixels veraendert die Ausgabe nur minimal.

Beim Einsatz der Klasse in eingenen Projekten sollte mit moeglichst vielen Trainingsbeispielen trainiert werden. Einige dieser Trainingsbeispiele gehen nicht in das Training mit ein, sondern werden dem Netz während des Trainings mit deaktiverter Trainingsfunktion (keine Fehlerkorrektur) praesentiert und deren Ist-Wert mit dem Soll-Wert verglichen. Die resultierende Fehlersumme ist der sog. Generalisierungsfehler, der bei zu intensiven Training nach einer Weile wieder ansteigt, da das Netz sozusagen die Trainingsbeispiele 'auswendig lernt'. Eine weitere Moeglichkeit der Optimierung ist, die Trainingsmuster mit einem Rauschen zu ueberlagern, was im Endeffekt zu genaueren Klassifikationsgrenzen fuehrt.

Download Demo-MLP:
Demo_MLP.ZIP(370 k)