Das Perceptron Mark I

DAS FEHLENDE STÜCK

Eine Zelle, die nicht lernen konnte

Die künstliche Nervenzelle ist älter als der Computer, mit dem man sie nachbauen konnte. Sie entstand 1943 als Aufsatz über Logik. Der Neurophysiologe Warren McCulloch und der Logiker Walter Pitts beschrieben darin, was eine biologische Nervenzelle tut, und brachten es in die Form einer Rechenvorschrift. Diese Zelle feuert, oder sie feuert nicht, etwas dazwischen gibt es nicht. Kommen genug Signale an, überschreitet sie ihre Schwelle und gibt selbst ein Signal weiter. Genau das bildeten die beiden nach.

Der künstlichen Zelle fehlte aber etwas, das sich erst im Rückblick benennen lässt. Sie hatte keine einstellbare Gewichtung. Jeder erregende Eingang wog genau so viel wie jeder andere, die Zelle zählte nur, wie viele davon gerade aktiv waren, und verglich diese Anzahl mit ihrer Schwelle. Ein einziger hemmender Eingang blockierte sie vollständig, ganz gleich, was sonst ankam. Die Zelle hatte also keinen Spielraum. Was sie tat, stand mit ihrer Verschaltung fest, und ändern ließ sich das nur, indem man die Verschaltung selbst änderte.

McCulloch und Pitts hielten das selbst fest, in einem halben Satz, der leicht zu überlesen ist. Ihre Zelle habe „no learning process as such“, keinen Lernvorgang im eigentlichen Sinne.

1949 beschrieb der Psychologe Donald Hebb in „The Organization of Behavior“ eine Lernregel für Nervenzellen im Gehirn. Feuern zwei davon wiederholt gemeinsam, schrieb er, wird die eine besser darin, die andere zu erregen. Die Urheberschaft daran beanspruchte Hebb ausdrücklich nicht. Er nannte die Grundidee selbst alt, und Vorläufer dafür gab es schon bei dem Psychologen William James im Jahr 1890.

Doch das war alles nur Theorie.

ACHT JAHRE

Vom Prinzip zum Gerät

Acht Jahre dauerte es, bis aus dem Prinzip von 1943 ein Gerät wurde, das man anfassen konnte.

1948 schrieb Alan Turing am britischen National Physical Laboratory einen Bericht über Maschinen, die lernen können, Jahre bevor jemand eine gebaut hatte. „Intelligent Machinery“ handelt von Maschinen, die zunächst zufällig verdrahtet sind und ihre Ordnung erst durch Training bekommen. Turing nannte sie „unorganised machines“ und entwarf Varianten mit einem Eingang für Belohnung und einem für Bestrafung. Der Direktor des Labors, der Physiker Charles Galton Darwin, ein Enkel des Naturforschers Charles Darwin, fand, der Bericht lese sich wie ein Schulaufsatz, und ließ ihn liegen. Gedruckt wurde er erst 1969, in dem Sammelband „Machine Intelligence 5“, fünfzehn Jahre nach Turings Tod im Jahr 1954.

1951 baute Marvin Minsky, damals Doktorand, gemeinsam mit Dean Edmonds eine lernende Maschine aus Radioröhren, jede etwa so groß wie eine kleine Glühbirne. Sie enthielt rund 40 künstliche Neuronen und war über Motoren und Kupplungen mit einem Aufbau verbunden, der das Verhalten einer Ratte im Labyrinth nachahmte. Das Gerät hieß SNARC, Stochastic Neural Analog Reinforcement Calculator. Es tastete sich durch Versuch und Irrtum durch das Labyrinth, und wenn es ankam, bekam es eine Belohnung. Verstärkt wurde dann, was kurz davor aktiv gewesen war. Muster hat SNARC nicht erkannt, es fand einen Weg. Turing hatte so etwas drei Jahre zuvor beschrieben, nur war sein Bericht nicht gedruckt und außerhalb des Labors nicht bekannt. Turing und Minsky kamen also unabhängig voneinander auf dieselbe Idee.

Den Namen Minsky lohnt es sich zu merken. Achtzehn Jahre später veröffentlichte er das Buch, in dem er dem Perceptron seine Grenzen nachwies.

ERST EIN PROGRAMM

1957 und 1958

Frank Rosenblatt war Psychologe, nicht Ingenieur. Im Januar 1957 beschrieb er am Cornell Aeronautical Laboratory ein Verfahren, das er Perceptron nannte. Der interne Bericht dazu trägt die Nummer 85-460-1 und den Titel „The Perceptron: A Perceiving and Recognizing Automaton“. Das Vorhaben lief unter dem Namen Project PARA und wurde von der amerikanischen Marine bezahlt. Der Aufsatz, über den später alle redeten, erschien knapp zwei Jahre danach in der Fachzeitschrift Psychological Review.

Im Juli 1958 wurde die Presse eingeladen, und hier entstand ein Missverständnis, das sich bis heute hält. Vorgeführt wurde keine Maschine, sondern ein Programm auf einer IBM 704, einem Großrechner, der ein eigenes Zimmer brauchte. Dem Programm wurden Lochkarten vorgelegt, die links oder rechts markiert waren, und es sollte die beiden Sorten auseinanderhalten. Nach etwa 50 Durchgängen konnte es das.

Am nächsten Tag berichtete die New York Times darüber, und aus diesem Bericht stammt der berühmteste Satz der frühen KI-Geschichte. Die Maschine werde eines Tages laufen, sprechen, sehen, schreiben, sich fortpflanzen und sich ihrer Existenz bewusst sein. Die Zeitung schrieb diese Erwartung der Marine zu. Rosenblatt hat den Satz nicht gesagt.

Der Übertreibung trat er aber nicht entgegen. Er nannte sein Perceptron die erste Maschine, die zu einem eigenen Gedanken fähig sei, „the first machine which is capable of having an original idea“. Und er sprach von einer Maschine, die ihre Umgebung wahrnehme und erkenne, ohne dass ein Mensch sie anleite oder steuere. Die Zeitung trug also dick auf, und er tat es auch, nur mit anderen Worten.

„the first machine which is capable of having an original idea“Frank Rosenblatt über sein Perceptron

DIE MASCHINE

Mark I, drei Stufen, eine lernende Ebene

Die Hardware kam erst danach. Das Perceptron Mark I wurde am 23. Juni 1960 erstmals öffentlich gezeigt. Bezahlt hatten es das Office of Naval Research der Marine und das Rome Air Development Center der Luftstreitkräfte. Die Maschine war in drei Stufen gebaut.

Die erste Stufe waren die 400 Fotozellen, das Auge. Jede meldete nur, ob an ihrer Stelle Licht war oder nicht. Das ganze Bild bestand also aus 400 Punkten. Ein heutiges Handyfoto hat mehrere Millionen.

Die zweite Stufe bestand aus 512 Einheiten, die Rosenblatt Assoziationseinheiten nannte. Jede dieser Einheiten war mit höchstens 30 der 400 Fotozellen verbunden und sendete ein Signal, wenn genug dieser Zellen Licht meldeten. Keine Einheit sah also das ganze Bild, jede sah einen Ausschnitt.

Entscheidend ist, wie diese Verbindungen zustande kamen. Welche Fotozelle an welche Einheit angeschlossen wurde, folgte keinem Plan. Die Zuordnung war zufällig, niemand hatte sie nach einem Kriterium ausgewählt. Und die Verkabelung blieb danach unverändert. Beim Lernen wurde daran nichts mehr verstellt. Das war Absicht. Rosenblatt hielt die Verbindungen zwischen Netzhaut und Sehrinde, also zwischen Auge und Gehirn, im Wesentlichen für zufällig und wollte das nachbilden. Das hatte eine unbequeme Folge. Niemand konnte sagen, worauf eine einzelne Assoziationseinheit ansprach. Sie reagierte auf eine beliebige Kombination von Lichtpunkten, für die es keinen Namen gab.

Die dritte Stufe waren acht Antworteinheiten. Jede davon beantwortete für sich eine Frage, hatte ihre eigenen Gewichtungen und ihre eigene Schwelle. Was im Folgenden über eine Antwort gesagt wird, gilt also achtmal nebeneinander.

Gelernt wurde an einer einzigen Stelle, nämlich an den Verbindungen von der zweiten zur dritten Stufe. Zu jeder dieser Verbindungen gehörte eine Gewichtung, und diese Gewichtungen waren keine Zahlen in einem Speicher, sondern Bauteile. Potentiometer, also Drehregler, verstellt von Elektromotoren. In einem heutigen Netz gibt es Milliarden solcher Gewichtungen, und jede ist nur eine Zahl im Speicher. Beim Mark I konnte man jeder einzelnen beim Verstellen zusehen.

Diese eine lernende Ebene ist der Grund, warum vom einschichtigen Perceptron gesprochen wird, obwohl die Maschine drei Stufen hatte. Gezählt werden nicht die Stufen, sondern die Ebenen, an denen sich etwas einstellen lässt. Fachleute nennen eine solche Ebene eine Schicht. Hier gab es genau eine, und darauf kommt es am Ende dieser Geschichte an.

Hier gab es genau eine, und darauf kommt es am Ende dieser Geschichte an.

WIE SIE LERNTE

Raten, irren, nachstellen

Die Aufgabe sah zum Beispiel so aus. Gezeigt wurden der Maschine Quadrate und Kreise, und die Frage lautete: Ist das ein Quadrat? Darauf antwortete sie Ja oder Nein. Ein Bild hat sie nie ausgegeben, sie hat nur eingeordnet. Die Antwort kam aus einer der acht Antworteinheiten der dritten Stufe. Mehr als eine brauchte es für diese Frage nicht. Die anderen sieben konnten gleichzeitig andere Fragen beantworten, jede mit ihren eigenen Gewichtungen.

Gerechnet hat sie dabei so. Sie addierte, was ihre Assoziationseinheiten meldeten, jedes Signal mit seiner Gewichtung, und verglich die Summe mit einer Schwelle. Lag die Summe über der Schwelle, lautete die Antwort Ja, lag sie darunter, Nein. Am Anfang war das Raten, weil die Gewichtungen willkürlich eingestellt waren.

Dann sagte man ihr, ob die Antwort richtig war. Bei nur zwei möglichen Antworten ist das dasselbe, wie ihr zu sagen, was richtig gewesen wäre. Lag sie richtig, blieb alles, wie es war. Lag sie falsch, wurden Gewichtungen verstellt, und zwar nur die der Einheiten, die bei diesem Bild überhaupt ein Signal gesendet hatten. Hatte die Maschine fälschlich Ja gesagt, gingen diese Gewichtungen ein Stück nach unten. Hatte sie fälschlich Nein gesagt, gingen sie nach oben.

Das ist alles. Niemand sagte der Maschine, woran sie ein Quadrat erkennt. Sie stellte nur so lange an ihren eigenen Gewichtungen nach, bis sie nicht mehr daneben lag.

An dieser Stelle lohnt ein Blick zurück auf Hebb. Seine Regel stärkt eine Verbindung, wenn beide Seiten gemeinsam feuern, und sie fragt nicht nach richtig oder falsch. Rosenblatts Regel tut etwas anderes. Sie rührt die Gewichtungen nur an, wenn die Maschine geirrt hat. Die Lücke von 1943 füllte also nicht Hebbs Regel, sondern eine eigene. Geblieben ist von Hebb der Gedanke, dass sich die Stärke einer Verbindung überhaupt ändern lässt.

Damit ist auch gesagt, was das Perceptron von Minskys SNARC unterschied. SNARC bekam eine Belohnung, wenn es am Ziel ankam, und verstärkte daraufhin pauschal, was kurz davor aktiv gewesen war. Dem Perceptron wurde zu jedem einzelnen Bild gesagt, was richtig gewesen wäre, und es verstellte gezielt die Gewichtungen, die den Fehler verursacht hatten. Aus Belohnung wurde Korrektur.

Aus Belohnung wurde Korrektur.

Rosenblatt konnte darüber hinaus etwas beweisen, und das war mehr wert als jede Vorführung. Gibt es eine Kombination von Reglerstellungen, mit der die Maschine alle Beispiele richtig einordnet, dann findet sie diese Kombination auch, und zwar nach endlich vielen Korrekturen. Sie bleibt nicht stecken, und sie probiert nicht auf gut Glück herum. Für SNARC gab es nichts Vergleichbares, dort wusste niemand, ob die Maschine je irgendwo ankommt.

Der Beweis verspricht aber weniger, als es klingt. Ob es für eine bestimmte Aufgabe überhaupt eine solche Kombination gibt, sagt er nicht. Und es gibt Aufgaben, für die es keine gibt. Dann dreht die Maschine endlos an ihren Reglern und liegt nie richtig.

WAS SIE KONNTE

Berichtete Ergebnisse

Jede dieser Aufgaben war eine Entscheidung zwischen zwei Formen, die vorher festgelegt waren. Die Maschine hat nicht erkannt, was auf einem Bild zu sehen ist, sie hat zwischen zwei Möglichkeiten gewählt. Anders wäre das Üben auch nicht möglich gewesen, denn man muss die richtige Antwort kennen, um einen Fehler melden zu können.

Die genauen Zahlen, die über das Perceptron überliefert sind, stammen aus Versuchen am Großrechner IBM 704, auf dem Rosenblatt Perceptrons mit bis zu 1000 Assoziationseinheiten nachbildete. Das Mark I war gerade erst fertig geworden, als er sie 1960 veröffentlichte.

Quadrate von Rauten trennte das Programm nach 60 Trainingsbildern fehlerfrei, wenn die Formen nur als Umriss gezeichnet waren. Ein X von einem E zu unterscheiden gelang ihm fehlerfrei, solange die Buchstaben höchstens 30 Grad gedreht waren, und dafür reichten 20 Trainingsbilder. Ließ man beliebige Drehungen zu, lag die Trefferquote nach 60 Bildern nur noch bei gut 90 Prozent. Bei E und F ist das eine Zeichen im anderen enthalten, ein F ist ein E ohne den unteren Balken. Hier kam das Programm nach 60 Bildern im Mittel auf etwas über 80 Prozent, und das F erkannte es deutlich unsicherer als das E.

Der Großrechner brauchte für ein einzelnes Bild 3 bis 15 Sekunden, je nach Größe des nachgebildeten Perceptrons.

Das ist der nüchterne Befund hinter den Schlagzeilen. Ein Programm, das Formen auseinanderhalten konnte, ohne dass ihm jemand beigebracht hatte, was eine Form ist, und das dafür auf einem zimmergroßen Rechner mehrere Sekunden je Bild brauchte.

Am Gerät selbst ließ der Ingenieur John Hay die Buchstaben E und X unterscheiden. Das Mark I lernte das fehlerfrei, sogar dann, als man ihm bei drei von zehn Bildern absichtlich die falsche Rückmeldung gab.

DIE GRENZE

1969

1969 veröffentlichten Marvin Minsky und Seymour Papert ein Buch mit dem Titel „Perceptrons“. Darin bewiesen sie, dass Maschinen dieser Bauart bestimmte Aufgaben grundsätzlich nicht lösen können, so lange man sie auch üben lässt. Diese Grenze gibt es wirklich.

Bis heute liest man: Minsky habe bewiesen, dass neuronale Netze nichts taugen, und damit die Forschung für zwei Jahrzehnte beendet. Beides stimmt nicht.

Die beiden untersuchten Perceptrons, deren Einheiten jeweils nur einen begrenzten Ausschnitt des Bildes sehen. Genau so war das Mark I gebaut, jede Assoziationseinheit sah höchstens 30 der 400 Fotozellen. Für solche Maschinen bewiesen sie, dass sie an bestimmten Aufgaben scheitern müssen.

Zwei davon beschrieben sie genauer. Die erste ist die Parität, also die Frage, ob die Anzahl der hellen Punkte gerade oder ungerade ist. Die zweite ist die Konnektivität, also die Frage, ob eine Figur aus einem Stück besteht oder aus zwei getrennten. Zeichnet man eine verschlungene Linie auf ein Blatt, sieht ein Mensch sofort, ob sie durchgehend ist. Eine Maschine dieser Bauart kann es prinzipiell nicht sehen.

Von der Parität gibt es einen besonders einfachen Fall, und der ist berühmt geworden. Bei nur zwei Eingängen fallen nämlich zwei Aussagen zusammen. Dass ungerade viele Eingänge aktiv sind, heißt dann nichts anderes, als dass genau einer aktiv ist. Und das ist das logische Entweder-oder.

Dass ein einschichtiges Perceptron das nicht lernen kann, liegt allerdings nicht am begrenzten Ausschnitt. Es liegt an der einen einstellbaren Ebene. Minsky und Papert hatten die allgemeine Aufgabe an Maschinen mit begrenztem Ausschnitt untersucht. An diesem einfachen Fall scheitert die Maschine schon vorher, und zwar aus einem einfacheren Grund.

Warum das so ist, zeigt ein Beispiel aus dem Alltag. Jemand mag reine Actionfilme, und er mag reine Komödien. Filme, die beides sind, mag er nicht, und Filme, die keins von beidem sind, auch nicht.

Eine Maschine dieser Bauart zählt Stimmen. Jedes Merkmal spricht für Ja oder für Nein, und am Ende gewinnt die Mehrheit. Ohne Merkmale gibt es keine Stimmen, die Antwort ist Nein, und das passt schon einmal. Soll die Maschine bei Action allein Ja sagen, muss Action für Ja sprechen. Soll sie bei Komödie allein Ja sagen, muss Komödie ebenfalls für Ja sprechen. Bei einem Film mit beiden Merkmalen kommen dann zwei Ja-Stimmen zusammen, und die Maschine sagt erst recht Ja. Dort müsste sie aber Nein sagen.

Es gibt also keine Einstellung der Regler, die alle vier Fälle richtig trifft. Mehr Blickfeld ändert daran nichts. Eine zweite Ebene schon.

Mehr Blickfeld ändert daran nichts. Eine zweite Ebene schon.

Damit löst sich auch der scheinbare Widerspruch zu Rosenblatts Beweis. Sein Verfahren findet eine Einstellung, wenn es eine gibt. Bei diesen Aufgaben gibt es keine.

Über mehrschichtige Netze, also über Maschinen mit mehr als einer lernenden Ebene, haben Minsky und Papert keinen Beweis geführt. Sie äußerten eine Vermutung und kennzeichneten sie ausdrücklich als offene Frage. Die Stelle lautet: „There is no reason to suppose that any of these virtues carry over to the many-layered version. Nevertheless, we consider it to be an important research problem to elucidate (or reject) our intuitive judgment that the extension is sterile.“

Übersetzt heißt das, sie hielten die Erweiterung für wenig vielversprechend, fanden es aber wichtig, dass jemand dieses Bauchgefühl prüft oder verwirft. Die Fachwelt verstand es als Urteil. Aus mehrschichtigen Netzen bestehen heute die Systeme, die KI genannt werden.

Damit ist die erste Behauptung widerlegt. Bewiesen haben die beiden nichts über neuronale Netze überhaupt, sondern etwas über eine bestimmte Bauart, und über die mehrschichtige haben sie gar nichts bewiesen.

Bleibt die zweite Behauptung, das Buch habe die Forschung beendet. Der Soziologe Mikel Olazaran sieht in dem Buch nicht die Ursache, sondern den Schlusspunkt eines Streits, der längst entschieden war. Zwei Lager standen sich gegenüber. Das eine wollte Intelligenz aus künstlichen Nervenzellen entstehen lassen, das andere aus Regeln und Logik. Die zweite Richtung war an den Instituten längst etabliert. Minsky selbst hat später über sein Buch gesagt, es werde oft zitiert und nie gelesen, und 1990 erklärt, beide Richtungen gehörten zur selben Sache. Dass er 1951 selbst so eine Maschine gebaut hatte, 1954 über neuronale Netze promovierte und auch nach 1969 über Netze veröffentlichte, spricht dafür.

Das Buch hat die Forschung also nicht beendet. Es lieferte der Richtung, die auf Regeln und Logik setzte, nur die mathematische Begründung für einen Vorsprung, den sie längst hatte.

DANACH

1971

Frank Rosenblatt konnte den Streit nicht mehr führen. Am 11. Juli 1971, an seinem 43. Geburtstag, ertrank er bei einem Bootsunglück in der Chesapeake Bay. Die nächste Auflage von „Perceptrons“ trug eine Widmung an ihn.

Zwischen der Zelle von 1943 und der Maschine von 1960 liegt viel. Drei Stufen, 400 Fotozellen, eine Verkabelung ohne Plan, sechs Schränke voller Technik, und zu jeder Verbindung der letzten Stufe ein Drehregler, der sich verstellen ließ. Entscheidend ist davon nur dieser Regler, und dass es eine Regel gab, nach der er sich verstellte.

Die Zelle von 1943 konnte zählen. Erst die Gewichtung machte aus dem Zählen ein Lernen.

IN EIGENER SACHE

Was der Nachbau anders macht

Der Nachbau folgt dem Aufbau des Mark I, ist aber kleiner. Das Auge hat wie das Original 400 Fotozellen in einem Raster von 20 mal 20. Statt 512 Assoziationseinheiten gibt es 40, damit jeder Regler auf den Bildschirm passt, und statt acht Antworteinheiten eine, weil jede Aufgabe nur eine Frage stellt.

Auch die Verdrahtung ist vereinfacht. Beim Original war jede Einheit mit verstreut liegenden Fotozellen verbunden. Im Nachbau sieht jede Einheit ein zusammenhängendes Stück des Bildes, und wo dieses Stück liegt, ist zufällig. Mit verstreuten Zellen und nur 40 Einheiten erkannte der Nachbau im Test Formen, die er nicht geübt hatte, kaum besser als durch Raten.

Die Karten zeigen die Form immer in der Mitte, in vier Größen. An eine andere Stelle verschoben, erkennt der Nachbau sie nicht mehr.

Die ersten vier Kartenpaare entsprechen Aufgaben, die für das Perceptron berichtet sind. X gegen U ist für diese Seite dazugekommen. Unter „Eigenes Paar“ können Sie zwei Formen selbst malen und benennen. Die Maschine läuft vollständig im Browser, nichts wird übertragen oder gespeichert.