Für das Ende von Moores Law: neuromorphe Chips & mehr

Das Ende von Moores Law: neuromorphe Chips & mehr


Durch das “Deep Learning” erfährt das Thema Künstliche Intelligenz wieder einmal große mediale Aufmerksamkeit. Möglich gemacht wurden die beeindruckenden Fortschritte nicht nur durch neue Kniffe in der methodischen Werkzeugkiste, sondern auch durch stets leistungsfähigere Hardware: Speicherplatz und Rechenpower werden immer schneller und günstiger.

Als 1965 ein gewisser Gordon E. Moore, späterer Mitgründer der Intel Corporation, in einem kurzen Artikel postulierte, die Zahl der Bauteile – und damit auch die Rechenkraft – einer integrierten Schaltung würden sich alle ein bis zwei Jahre verdoppeln, so produzierte diese Aussage noch hochgezogene Augenbrauen. Die Halbleiterbranche war damals noch jung und die historischen Daten, aus denen Moore diese Vorhersage ableitete, noch sehr dünn (integrierte Schaltungen wurden gerade erst seit 1958 gebaut). In den 1960er Jahren vermutete man daher noch, dass eine so drastische Verkleinerung der Transistoren bald in ineffizienten und vor allem zu heißen Chips resultieren würde.

Es war Carver Mead, einer der Pioniere der Halbleiterelektronik, der zeigte, dass viel kleinere Transistoren nicht nur möglich sind, sondern auch schneller, billiger und kälter als gedacht. Mead kannte den von Moore postulierten Zusammenhang und führte ihn in der Fachwelt unter dem mittlerweile gut bekannten Begriff “Moores Law” ein. Carver Mead war darüber hinaus eine der zentralen Figuren, die durch ihre Entwicklungen ermöglichten, dass sich die Halbleiterindustrie überhaupt an Moores “Gesetz” halten konnte.

Mead sagte schon in den frühen 1970ern voraus, dass sich Millionen Transistoren in einen Mikrochip zwängen lassen würden. Mikrochips gab es gerade erst als Prototypen in den Entwicklungslabors der Chiphersteller (Moore spendete hin und wieder B-Ware). Er unterrichtete Studenten in einem Fach, das bald “Very-Large-Scale Integration” genannt wurde. Mead war der Vordenker der heute üblichen Trennung von Chip-Design und großtechnischer Chip-Fabrikation. In den 1980er Jahren hatte Mead noch eine weitere brillante Idee, aber dazu später mehr.


Lebe wohl, Elektron


Mittlerweile, eine halbes Jahrhundert nach Postulation des Mooreschen Gesetzes, ist Gordon Moore Milliardär und Carver Mead immer noch Professor am kalifornischen Caltech. Die Chiphersteller wie IBM, Intel und AMD halten sich auch weiterhin brav an das Gesetz, Prozessoren werden immer leistungsfähiger und mittlerweile trägt jeder einen Supercomputer in der Tasche, der noch vor einigen Jahren in klimatisierten Gebäuden stand. Aber langsam wird es sprichwörtlich eng: die Leiterbahnen, über die die Elektronen flitzen, werden immer dünner, bald sind sie nur noch ein paar Atome breit – und dies führt zu unerwünschten Effekten. Das Silizium, der Halbleiter, der in einem Transistor als Isolator fungiert (also Elektronen nicht passieren lassen soll), verliert bei kleinsten Distanzen seine wichtigste Eigenschaft und lässt Elektronen durch. Dieses “Quantum Tunneling” ist verantwortlich dafür, dass in kleinsten Schaltkreisen elektrische Leckströme auftreten, die den Stromverbrauch erhöhen, die Funktion stören und letztlich den Chip auch immer heißer werden lassen. Die Produktion der Prozessoren wird immer aufwändiger und teurer und führt zu Einfallsreichtum im Vertrieb: ein Achtkern-Prozessor, der teilweise fehlerhaft aus der Fertigung kommt, wird dann eben als günstigerer Vier- oder Sechskern-Prozessor verkauft.

Man misst die Winzigkeit der Chipstrukturen mittlerweile in Nanometern: die aktuellen CPUs von Intel und AMD integrieren 14 nm Strukturen. Obwohl die “Internationale  Technologie-Roadmap für Halbleiter” den nächsten Schritt auf 10 nm noch für dieses Jahr vorsieht, hat Intel vor Kurzem eröffnet, dass die achte Generation doch wieder “nur” 14 nm-Architekturen benutzen wird. Dann bleiben allerdings nur noch zwei Verkleinerungszyklen übrig, bis die harte physikalische Grenze von 5 Nanometern getroffen wird. Ab hier, da sind sich alle einig, ist dann Schluss mit der Verkleinerung. Obwohl viele schon früher das Ende von Moores Gesetz vorhergesagt haben, 2020 könnte nun wirklich Schluss mit dem exponentiellen Wachstum sein.


Platz für Untereinheiten

Doch was dann? Durch die Verkleinerung der Komponenten innerhalb der CPUs werden schon längst keine Performance-Verdoppelungen mehr erreicht. Die Chiphersteller tricksen an anderen Ecken und Enden, um mehr aus der Hardware herauszuholen. Der gegenwärtige Trend, immer mehr Prozessorkerne parallel zu betreiben, wird nicht über die kommenden Jahrzehnte fortgeführt werden können. Die Schaltungen, die bisher platt in zwei Dimensionen gefertigt werden, könnten auch übereinander geschichtet werden. Dreidimensionale Prozessorblöcke müssten allerdings langsamer getaktet werden, um nicht beim Anschalten zu verglühen.

Auch hier ist unklar, ob die rechenhungrige Menschheit über das nächste halbe Jahrhundert die versprochene 18-monatige Geschwindigkeitsverdoppelung bekommen wird. Wahrscheinlich werden wir eine Mischung verschiedener Optimierungsstrategien beobachten. Zum Beispiel wird schon jetzt der durch die Verkleinerung der Bauteile freiwerdende Platz für spezialisierte Untereinheiten genutzt. Moderne Chips integrieren dedizierte Hardware für das Encoding und Decoding von Audio und Video, eigens designte Hardware für die Datenver- und entschlüsselung, und ja, auch Deep Learning wird durch spezialisierte Hardware beschleunigt. Neuronale Netzwerke werden ja ohnehin schon durch Grafikkartenkerne (GPUs) hochgradig parallel und damit viel zügiger ausgeführt als es auf den Hauptrechenkernen möglich wäre.

Google hat nun kürzlich bekanntgegeben, dass die neuronalen Algorithmen für Google Translate, AlphaGo und Co. auf speziellen TPUs (tensor processing units) ausgeführt werden. Diese wurden eigens für die Ausführung von neuronalen Netzen konzipiert und sollen laut Google schneller und effizienter sein als GPUs. Nvidia, der größte Hersteller von Grafikkarten, widerspricht zwar beim Tempo, der Stromverbrauch allerdings ist, da gibt es keine Diskussion, um das Vierfache geringer. Diese “Application-specific Integrated Circuits”, oder kurz ASICs, können durch ihre Spezialisierung nur das machen, wofür sie gebaut wurden. Die Einmalkosten der Entwicklung sind relativ hoch und müssen sich über die höhere Performance und die Stromersparnisse amortisieren. Dass Google diesen Weg geht, spricht Bände und lässt in Zukunft weitere Generationen von Tensor-ASICs vermuten.


Hitze im Flaschenhals

Bevor wir uns anschauen, was noch etwas weiter in der Zukunft liegt, müssen wir einen kurzen Sprung in die Vergangenheit machen. John von Neumann, der Vater der Rechnerarchitektur der modernen PC-Chips, hatte in seinem “First Draft” festgehalten, wie Rechenwerk und Speicher miteinander interagieren müssen, um beliebige Programme auszuführen. Damals gab es nur auf ein bestimmtes Problem zugeschnittene Schaltungen, die sehr aufwändig umgebaut werden mussten, wenn eine andere Rechenaufgabe gelöst werden sollte.

Von Neumanns Design war bahnbrechend und wurde breit adaptiert. Im Grunde besteht ein von-Neumann-Rechner aus einem Rechenwerk und dem Speicher, in dem Programm-Instruktionen und Daten abgelegt werden. Diese eigentlich sehr intuitive Trennung von Rechner und Speicher wurde aber bald zum Problem, dem “Von-Neumann-Flaschenhals”. Denn immer, wenn eine Instruktion gelesen wird, kann kein Datum prozessiert werden, und wenn ein Datum gelesen wird, muss die CPU auf Anweisungen warten. In der Moderne sind wir hauptsächlich damit beschäftigt, riesige Datenmengen zu verarbeiten, die am Von-Neumann-Flaschenhals reiben und sprichwörtlich Hitze produzieren.

Interessanterweise wurde von Neumann von einer Arbeit inspiriert, die die Funktionsweise biologischer Neuronen untersuchte. McCulloch und Pitts, ein ungleiches wie brillantes Forscher-Duo, hatte zwei Jahre zuvor beschrieben, wie Nervenzellen Informationen digital prozessieren, indem sie Informationen aufsummieren und nach Erreichen einer Schwelle “feuern”. Die Idee, das Gehirn sei reduzierbar auf eine große Zahl verknüpfter logischer Operationen war damals fast schon Häresie. Von Neumann aber war fasziniert und verwandelte die Idee in die erste generische Rechnerarchitektur.  


Ein neues Forschungsfeld entsteht

Während das Neuronenmodell von McCulloch und Pitts noch sehr einfach war, wurde über die folgenden Jahrzehnte das Verständnis der Neurophysiologie vertieft und mit dem steten Wachsen der Rechenpower ein neues Forschungsfeld etabliert: die Neuroinformatik. Mathematiker, Physiker, Biologen und Informatiker tummeln sich in diesem Feld und betreiben Neurowissenschaft im Rechner.

Eine zentrale Aufgabe in der “computational neuroscience” ist die Modellierung der Funktionsweise von Nervensystemen. Grundlage ist hier natürlich wieder die kleinste Einheit, das Neuron. Der Zustand eines Neurons wird allerdings nicht mehr binär wie bei McCullochs und Pitts modelliert, und auch nicht als ein Kontinuum von Werten, wie bei den neuronalen Netzen, die auch im Deep Learning Anwendung finden. Der Zustand eines Neurons (und damit ist meist sein elektrisches Membranpotenzial gemeint) ist bei den detaillierten Modellen nun auch zeitabhängig und so komplex, dass man schon vom “Verhalten” eines Neurons reden kann. Ein komplexes Neuronenmodell bildet also nicht nur nach, dass verschiedene Inputs integriert werden, sondern auch in welchem Zeitverlauf dies passiert.

Im menschlichen Hirn gibt es Hunderte verschiedener Neuronentypen, jeder Typ hat eine andere Morphologie und Biochemie, die zu ganz unterschiedlichem Verhalten führt. Kein Wunder also, dass die Grundlagenforschung versucht Modelle zu finden, die dieses Spektrum breiter abzubilden vermag, als die einfachen Neuronenmodelle der Vergangenheit.


Neuromorphe Hardware sprengt Flaschenhals

Zurück zu Moores Law. In den späten 1980er Jahren schon sprach man vom Ende von Moores Gesetz. Carver Mead, der sich über 20 Jahre lang mit großtechnisch integrierten Schaltungen befasste, schlug damals vor, von Neumanns anfänglich eher vorsichtige Neuro-Inspiration auf die Spitze zu treiben und in großem Stil biologisch akkuratere Silizium-Neurone in Chips zu verbauen, die wie die biologischen Pendants miteinander vernetzt werden und damit hochgradig parallel “rechnen” könnten. Dies sollte allerdings nicht digital, sondern analog funktionieren – genauso, wie die komplexen Neuronenmodelle.

Eintreffende Nervenimpulse werden also ganz wie in der biologischen Nervenzelle Spike für Spike akkumuliert und auf Leiterbahnen an verknüpfte Silizium-Neurone verschickt. Dies könnte endlich den Von-Neumann-Flaschenhals sprengen. Der Vorteil der neuromorphen Hardware liegt einerseits in einer unglaublichen Reduktion des Stromverbrauchs – unser Gehirn verbraucht nur ein paar Milliwatt, ein Supercomputer dagegen mehr als eine Milliarde mal mehr. Dass das Gehirn auf sehr viel kleinerem Raum immer noch intelligentere Leistungen vollbringen kann, liegt an seiner hochgradig parallelen Informationsverarbeitung und der Art und Weise wie es Informationen speichert: Speicher und Rechenwerk sind über alle Neuronen verteilt, Information liegt dort, wo sie benötigt wird.



Neue Hardware, neues Programmieren


Unter neuromorpher Hardware verstehen wir mittlerweile eine Vielzahl unterschiedlicher Hardwarearchitekturen. Das System der Uni Stanford “NeuroGrid” wird von einem ehemaligen Studenten von Carver Mead entwickelt und setzt auf weitestgehend analoge Schaltkreise. Die Uni Heidelberg arbeitet an “BrainScaleS”, einem Chip, der zwar mit einer relativ alten 180 nm Architektur hergestellt wurde, aber dafür 200.000 Neurone mit insgesamt 50 Millionen Synapsen beherbergt. Im Chip arbeiten digitale und analoge Komponenten zusammen und können die elektrischen Signale in rasender Geschwindigkeit verarbeiten. In einem Simulationstag könnte man auf dem Chip ganze 30 Jahre biologische Hirnaktivität simulieren!

Nicht nur die Wissenschaft, auch die großen Chiphersteller haben in den letzten Jahren ähnliche Architekturen vorgestellt. Die größte Herausforderung liegt allerdings noch vor uns: Wie programmiert man diese neuromorphe Hardware überhaupt? Da von der konventionellen Architektur nichts mehr übrig geblieben ist, können keine herkömmlichen Programme auf diesen Chips ausgeführt werden. Es gibt keinen zentralen Prozessor der die Instruktionen des Programms abarbeitet. Es gibt nun nur noch Abertausende kleiner Schaltungen, die miteinander verbunden sind. Keine Kontrollinstanz, die vorgibt, in welcher Reihenfolge Informationen prozessiert werden.

Unsere Programmierparadigmen müssen sich drastisch ändern und Programmierer komplett umdenken. IBM hat mit seinem neuromorphen System “TrueNorth” eine bemerkenswerte Anstrengung unternommen. IBM hat nicht nur einen beeindruckenden Chip konzipiert, sondern ein ganzes Ökosystem mit dazu. Es gibt einen Neurosimulator, eine neue Programmiersprache mit Programmbibliotheken und sogar einen Lehrplan für zukünftige Studenten.


Auf der Suche nach dem nächsten großen Mysterium


Die Evolution des Computing bringt also eine Spezialisierung der Hardware und die wachsende Notwendigkeit einer arbeitsteiligen Organisation dieser Komponenten hervor. Neuronale Architekturen repräsentieren eine relevante Fraktion dieser neuen Spezialisten. Unter den zahlreichen Ansätzen stehen auf der einen Seite optimierte Chips für die Ausführung klassischer (tiefer) neuronaler Netze und auf der anderen Seite “neuromorphe” Hardware. Dennoch liegen Welten zwischen den gehirninspirierten Ansätzen. Die konventionellen neuronalen Netzwerke sind sehr gut theoretisch fundiert, sie lösen harte praktische Probleme und durchdringen die Märkte von allen Anwendungsseiten.

Carver Meads Idee der neuromorphen Hardware war und ist revolutionär, weil sie auch unser Verständnis vom Funktionieren des Gehirns herausfordert. Aber genau hier liegt der Knackpunkt: Wir müssten eigentlich erst lernen, wie genau das Gehirn funktioniert, um dieses Verständnis in wirklich nützliche Hardware zu übersetzen, die reale Probleme lösen kann. Bisher gibt es keine Erklärung, wie genau ein biologisches Gehirn all die wundersamen kognitiven Leistungen herausbildet, die uns seit Anbeginn der Menschheit faszinieren.

Neuromorphe Systeme spiegeln genau diese Ratlosigkeit wider und daher existiert noch kein neuromorphes System, das harte kognitive Probleme lösen kann. Das wieder einmal drohende Ende von Moores Law befeuert nicht nur die Kreativität von Ingenieuren, sondern es öffnet auch die Forschungsbudgets. Die europäische Union hat 2013 mit dem “Human Brain Project” über eine Milliarde Euro in die Erforschung der Funktionsweise des Gehirns investiert, ein guter Teil auch für die Entwicklung von neuromorpher Hardware. Obwohl das Projekt, oft zu Recht, kritisiert wurde für seine schiere Größe und fehlenden Fokus, es zeigt Eines: Die Welt ist bereit dem nächsten großen Mysterium auf die Spur zu kommen. Die Jagd nach Moores exponentiellem Wachstum offenbart: wir können es nicht abwarten, uns selbst zu verstehen.

Kommentare
Einen Kommentar schreiben
Entschuldigung

Ihr Browser ist leider nicht aktuell genug.
Um diese Webseite zu benutzen, benötigen Sie einen aktuellen Browser
Wir empfehlen einen der folgenden Browser in der aktuellsten Version zu installieren.

Auf iOS Geräten sollte mindestens die Betriebssystem Version iOS 9 installiert sein.

Mozilla Firefox Google Chrome Microsoft Edge Internet Explorer