Die Geschichte der KI

GPT-3 markierte einen Meilenstein in der Entwicklung der KI, insbesondere durch seine beispiellose Größe mit 175 Milliarden Parametern. Damit konnte das Modell ohne umfangreiche Feinabstimmung eine Vielzahl natürlicher Sprachaufgaben bewältigen. Dank des Trainings mit Big Data konnte GPT-3 menschenähnliche Texte generieren und Gespräche führen. Darüber hinaus beherrschte es Few-Shot-Learning, was seine Vielseitigkeit deutlich verbesserte und seine Nützlichkeit in kommerziellen KI-Anwendungen wie Chatbots und virtuellen Assistenten unter Beweis stellte.

Heute wird KI zunehmend in viele Aspekte des täglichen Lebens integriert, von sozialen Medien bis hin zu Arbeitsprozessen. Mit der Weiterentwicklung der Technologie wird ihr Einfluss weiter wachsen. Um zu verstehen, welche Richtung die Technologie künftig einschlagen könnte, ist es hilfreich, die Meilensteine ihrer Entwicklung nachzuvollziehen. Hier ein Blick in die Geschichte der KI:

Jonathan Swifts fantastischer Roman „Gullivers Reisen“ stellt die Idee von „The Engine“ vor, einem großen mechanischen Gerät, das Wissenschaftlern hilft, neue Ideen, Sätze und Bücher zu generieren. 

Gelehrte drehen an den Griffen der Maschine, die mit Wörtern beschriftete Holzblöcke in Bewegung setzt. Es heißt, dass die Maschine neue Ideen und philosophische Abhandlungen erzeugt, indem sie Wörter in verschiedenen Anordnungen kombiniert:

„Jeder weiß, wie mühsam der gewöhnliche Weg ist, sich die Künste und Wissenschaften anzueignen; wohingegen durch seine Erfindung selbst die unwissendste Person, gegen ein angemessenes Entgelt und mit ein wenig körperlicher Anstrengung, Bücher über Philosophie, Poesie, Politik, Recht, Mathematik und Theologie schreiben könnte, ohne die geringste Unterstützung von Genie oder Studium.“

– Jonathan Swifts „Gullivers Reisen“ (1726)

Swifts Satire nimmt das Konzept der algorithmischen Textgenerierung vorweg, das heute mit moderner KI Realität geworden ist. KI-Modelle sind in der Lage, kohärente Texte zu produzieren, indem sie auf der Grundlage von Algorithmen Wörter und Ideen kombinieren – ganz ähnlich wie es die fiktive Engine von Swift tun sollte.

Der spanische Ingenieur Leonardo Torres y Quevedo demonstriert die erste Schachspielmaschine, El Ajedrecista, auf der Exposition Universelle in Paris. Sie verwendete Elektromagneten und war vollständig automatisiert. El Ajedrecista spielte automatisch ein einfaches Schachendspiel mit König und Turm gegen König. Die Maschine benötigte kein menschliches Eingreifen, sobald sie eingerichtet war. Sie machte autonom legale Schachzüge und wenn der menschliche Gegner einen illegalen Zug machte, signalisierte die Maschine den Fehler. Wenn die Maschine in eine Gewinnstellung gebracht wurde, konnte sie den menschlichen Gegner zuverlässig schachmatt setzen.

Ein Theaterstück mit dem Titel Rossum's Universal Robots (R.U.R.) wird in London aufgeführt. Das Stück des tschechischen Autors Karel Čapek verwendet erstmals das Wort „robot“ im Englischen. Im Tschechischen ist das Wort „robota“ mit Zwangs- oder Fronarbeit verbunden, die von Bauern im feudalen System verrichtet wurde. Nach dem Erfolg des Stücks erlangte der Begriff „Roboter“ schnell internationale Anerkennung und wurde zum Standardbegriff für mechanische oder künstliche Wesen, die für die Ausführung von Aufgaben geschaffen wurden. Obwohl Čapeks Roboter organisch sind, wurde das Wort später mit mechanischen, humanoiden Maschinen assoziiert, die monotone oder ungelernte Arbeiten verrichten.

John Vincent Atanasoff, Professor für Physik und Mathematik am Iowa State College, und sein Doktorand Clifford Berry entwickeln mit einer Förderung von 650 USD an der Iowa State University den Atanasoff-Berry-Computer (ABC). Der ABC-Computer gilt als einer der frühesten digitalen elektronischen Computer und als Meilenstein in der Geschichte der amerikanischen Computerwissenschaft.

Der Atanasoff-Berry-Computer (ABC) legt mit mehreren Schlüsselkonzepten die Grundlagen der modernen Informatik, auch wenn er nie vollständig funktionsfähig war.

Im Gegensatz zu früheren Rechenmaschinen, die auf Dezimalsystemen basierten, nutzte der ABC das Binärsystem (1 und 0) zur Darstellung von Daten, das später zum Standard für Computer wurde. Der ABC war zudem einer der ersten Computer, der elektronische Schaltungen für Berechnungen einsetzte, anstatt mechanische oder elektromechanische Systeme zu verwenden, was schnellere und zuverlässigere Berechnungen ermöglichte. Der ABC trennte den Datenspeicher von der Verarbeitungseinheit (logische Operationen), ein Prinzip, das bis heute in der modernen Computerarchitektur angewendet wird. Zur Datenspeicherung wurden Kondensatoren verwendet und der ABC konnte bis zu 30 Gleichungen gleichzeitig lösen.

Der ABC setzte rund 300 Elektronenröhren für logische Operationen ein, wodurch er deutlich schneller war als frühere mechanische Rechner. Obwohl Elektronenröhren sperrig und störanfällig waren, stellten sie eine Schlüsselentwicklung im Bereich des elektronischen Rechnens dar. Der ABC wog über 300 kg und war in der Lage, bis zu 29 lineare Gleichungen gleichzeitig zu lösen.

Warren S. McCulloch und Walter Pitts veröffentlichen „A Logical Calculus of the Ideas Immanent in Nervous Activity“ im Bulletin of Mathematical Biophysics.¹ Es ist eines der wegweisenden Werke in der Geschichte der Neurowissenschaften und der KI. Der Artikel legt den Grundstein für die Idee, dass das Gehirn als Rechensystem verstanden werden kann, und stellt das Konzept eines künstlichen neuronalem Netzes vor, das heute eine Schlüsseltechnologie der modernen KI ist. Diese Idee inspiriert Computersysteme, die gehirnähnliche Funktionen und Prozesse simulieren, insbesondere durch Neural Networks und Deep Learning.

Der britische Mathematiker Alan Turing veröffentlichte sein bahnbrechendes Papier „Computing Machinery and Intelligence“ in der Zeitschrift Mind.² Dieses Werk ist ein Grundlagentext der KI und behandelt die Frage: „Können Maschinen denken?“ Turing etablierte eine neue Herangehensweise an die Diskussion über denkende Maschinen und deren Intelligenz, indem er das Konzept des „Imitationsspiels“ einführte, das heute als Turing-Test bekannt ist. Mit einem Gedankenexperiment umging Turing die direkte Beantwortung der Frage „Können Maschinen denken?“ Stattdessen formulierte er das Problem operativ um: Kann eine Maschine intelligentes Verhalten zeigen, das von dem eines Menschen nicht zu unterscheiden ist?

Der Turing-Test wurde zu einem zentralen Konzept der KI und dient als Maßstab, um die Intelligenz von Maschinen zu bewerten, indem ihre Fähigkeit geprüft wird, menschliche Konversation und Verhaltensweisen überzeugend nachzuahmen.

Marvin Minsky und Dean Edmunds bauen das erste künstliche neuronale Netz auf. Der Stochastic Neural Analog Reinforcement Calculator (SNARC) ist ein früher Versuch, Lernprozesse im menschlichen Gehirn zu modellieren, insbesondere durch bestärkendes Lernen.

Der SNARC (Stochastic Neural Analog Reinforcement Calculator) wurde entwickelt, um das Verhalten einer Ratte beim Navigieren durch ein Labyrinth zu simulieren. Ziel war es, die Art und Weise nachzubilden, wie Tiere durch Belohnungen und Bestrafungen lernen und ihr Verhalten basierend auf Feedback anpassen. Der SNARC war ein analoger Computer, der ein Netzwerk von 3.000 Elektronenröhren zusammen mit synaptischen Gewichten nutzte, um 40 neuronähnliche Einheiten zu simulieren.

Allen Newell, ein Mathematiker und Informatiker, und Herbert A. Simon, ein Politikwissenschaftler, entwickeln einflussreiche Programme wie den „Logic Theorist“ und den „General Problem Solver“, die zu den ersten gehören, die menschliche Problemlösungsfähigkeiten mithilfe rechnergestützter Methoden nachahmen.

Der Begriff „Künstliche Intelligenz“ wird erstmals in einem Workshop-Vorschlag mit dem Titel „A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence“³ verwendet. Der Vorschlag wurde von John McCarthy vom Dartmouth College, Marvin Minsky von der Harvard University, Nathaniel Rochester von IBM und Claude Shannon von den Bell Telephone Laboratories eingereicht.

Der Workshop, der ein Jahr später, im Juli und August 1956, stattfand, gilt als offizielles Geburtsdatum des neuen Forschungsfeldes der KI.

Frank Rosenblatt, Psychologe und Informatiker, entwickelt das Perceptron, ein frühes neuronales Netz, das eine Mustererkennung auf der Grundlage eines zweischichtigen Computer-Lernnetzwerks ermöglicht. Perceptron führt das Konzept eines binären Klassifikators ein, der aus Daten lernen kann, indem er die Gewichtung seiner Eingaben durch Lernalgorithmen anpasst. Es beschränkte sich zwar auf die Lösung linear trennbarer Probleme, legte aber den Grundstein für zukünftige Entwicklungen in den Bereichen Neural Networks und maschinelles Lernen.

John McCarthy entwickelt die Programmiersprache Lips⁴, die für LISt Processing steht. Lisp entstand aus McCarthys Arbeit an der Formalisierung von Algorithmen und mathematischer Logik, insbesondere aus seinem Wunsch, eine Programmiersprache zu entwickeln, die symbolische Informationen verarbeiten kann. Lisp wird bald zur beliebtesten Programmiersprache in der KI-Forschung.

Arthur Samuel leistet Pionierarbeit mit dem Konzept des maschinellen Lernens, indem er ein Computerprogramm entwickelt, das seine Leistung bei Kontrolleuren im Laufe der Zeit verbessert. Samuel demonstriert, dass ein Computer so programmiert werden kann, dass er vordefinierten Regeln folgt und aus Erfahrung „lernt“ und letztendlich besser ist als der Programmierer. Seine Arbeit stellt einen wichtigen Schritt dar, um Maschinen beizubringen, sich durch Erfahrung zu verbessern, und hat in diesem Prozess den Begriff „maschinelles Lernen“ geprägt.

Oliver Selfridge veröffentlicht seinen Artikel „Pandemonium: A paradigm for learning.“⁵ Sein Pandemonium-Modell schlug ein System vor, in dem verschiedene „Dämonen“ (Verarbeitungseinheiten) zusammenarbeiten, um Muster zu erkennen. Die Dämonen konkurrieren darum, Merkmale in nicht vorprogrammierten Daten zu identifizieren und simulieren so unüberwachtes Lernen. Das Modell von Selfridge ist ein früher Beitrag zur Mustererkennung und beeinflusst zukünftige Entwicklungen im Bereich der maschinellen Bildverarbeitung und KI.

John McCarthy führt das Konzept des Advice Takers in seinem Aufsatz „Programs with Common Sense“ ein.6 Dieses Programm zielt darauf ab, Probleme zu lösen, indem es Sätze in formaler Logik manipuliert und damit den Grundstein für das logische Denken in der KI legt. McCarthy stellt sich ein System vor, das Anweisungen verstehen, mit gesundem Menschenverstand denken und aus Erfahrung lernen kann. Das langfristige Ziel ist es, eine KI zu entwickeln, die sich genauso effektiv anpassen und lernen kann wie Menschen. Dieses Konzept trägt dazu bei, die frühe Forschung im Bereich der Wissensrepräsentation und des automatisierten Denkens zu prägen.

Der Philosoph Hubert Dreyfus veröffentlicht „Alchemy and Artificial Intelligence“ ⁷ und argumentiert, dass der menschliche Verstand grundlegend anders funktioniert als Computer. Er prognostiziert, dass dem KI-Fortschritt aufgrund der Herausforderung, menschliche Intuition und menschliches Verständnis zu replizieren, Grenzen gesetzt sind. Seine Kritik ist einflussreich darauf, Debatten über die philosophischen und praktischen Grenzen der KI anzustoßen.

I.J. Good schreibt „Speculations Concerning the First Ultraintelligent Machine“,⁸ und behauptet darin, dass eine ultraintelligente Maschine, wenn sie erst einmal erschaffen ist, noch intelligentere Systeme entwerfen kann, was sie zur letzten Erfindung der Menschheit macht – vorausgesetzt, sie bleibt kontrollierbar. Seine Ideen nehmen moderne Diskussionen über KI-Superintelligenz und ihre Risiken vorweg.

Joseph Weizenbaum entwickelt ELIZA,⁹ ein Programm, das menschliche Konversationen nachahmt, indem es auf Eingabeeingaben in natürlicher Sprache reagiert. Obwohl Weizenbaum die Oberflächlichkeit der Mensch-Computer-Kommunikation zeigen will, ist er überrascht, wie viele Nutzer dem Programm menschenähnliche Emotionen zuschreiben, was ethische Fragen zu KI und menschlicher Interaktion aufwirft.

Edward Feigenbaum, Bruce Buchanan, Joshua Lederberg und Carl Djerassi entwickelten DENDRAL an der Stanford University.¹⁰ Es ist das erste Expertensystem, das den Entscheidungsprozess organischer Chemiker automatisiert, indem es die Hypothesenbildung simuliert. Der Erfolg von DENDTRA stellt einen Fortschritt in der KI dar und zeigt, wie Systeme spezielle Aufgaben ebenso gut oder besser ausführen können als menschliche Experten.

Entwickelt am SRI in den späten 1960er Jahren, ist Shakey der erste mobile Roboter, der in der Lage ist, über seine eigenen Aktionen nachzudenken. Shakey kombiniert Wahrnehmung, Planung und Problemlösung.¹¹ In einem Artikel des Life-Magazins aus dem Jahr 1970 sagt Marvin Minsky voraus, dass die KI innerhalb von drei bis acht Jahren die allgemeine Intelligenz eines durchschnittlichen Menschen erreichen würde. Shakeys Erfolge stellen einen Meilenstein in der Robotertechnik und KI dar, obwohl sich Minskys ehrgeiziger Zeitplan als zu optimistisch erweist.

Arthur Bryson und Yu-Chi Ho stellen die Backpropagation vor, eine Methode zur Optimierung mehrstufiger dynamischer Systeme. Obwohl dieser Algorithmus ursprünglich für Steuerungssysteme entwickelt wurde, wird er für das Training mehrschichtiger neuronaler Netze von entscheidender Bedeutung sein. Backpropagation gewann erst in den 2000er und 2010er Jahren mit Fortschritten in der Rechenleistung an Bedeutung, was den Aufstieg von Deep Learning ermöglichte.

Marvin Minsky und Seymour Papert veröffentlichen Perceptrons: An Introduction to Computational Geometry,¹², das die Grenzen von neuronalen Netzen kritisch analysiert. Ihrer Arbeit wird oft dafür verantwortlich gemacht, dass das Interesse an neuronalen Netzen abnimmt. In der Ausgabe von 1988 argumentieren sie, dass der Fortschritt aufgrund eines mangelnden theoretischen Verständnisses trotz zahlreicher Experimente mit Perzeptrons bis Mitte der 1960er Jahre bereits ins Stocken geraten sei.

Terry Winograd entwickelt SHRDLU, ein bahnbrechendes Programm zum Verstehen von natürlicher Sprache.¹³ SHRDLU kann mit Benutzern in einfachem Englisch interagieren, um Objekte in einer virtuellen Blockwelt zu manipulieren, was das Potenzial von Computern demonstriert, komplexe Anweisungen zu verstehen und darauf zu reagieren. Es ist eine frühe Errungenschaft in der Verarbeitung natürlicher Sprache, obwohl ihr Erfolg auf spezifische, hochstrukturierte Umgebungen beschränkt ist. Die Funktionen von SHRDLU verdeutlichen sowohl das Versprechen als auch die Herausforderungen, die mit einem breiteren Verständnis von KI-Sprache verbunden sind.

Entwickelt an der Stanford University, MYCIN ist eines der ersten Expertensysteme, das Ärzten bei der Diagnose bakterieller Infektionen und der Empfehlung von Antibiotikabehandlungen unterstützen soll.¹⁴ MYCIN nutzt einen regelbasierten Ansatz, um den Entscheidungsprozess menschlicher Experten zu simulieren, und schafft eine Plattform für die Entwicklung medizinischer KI-Systeme. Aufgrund ethischer und rechtlicher Bedenken wird es jedoch nie in die klinische Praxis umgesetzt.

James Lighthill legt dem British Science Research Council einen entscheidenden Bericht über die Fortschritte in der KI-Forschung vor. Er kommt zu dem Schluss, dass die KI ihre frühen Versprechungen nicht erfüllt hat.¹⁵ Er argumentiert, dass das Feld keine bedeutenden Durchbrüche hervorgebracht hat, was zu einer drastischen Reduzierung der Regierungsmittel für KI in Großbritannien geführt hat. Dieser Bericht trug zum Ausbruch des ersten „KI-Winters¹⁶“ bei, einer Zeit, in der das Interesse an der KI-Forschung und die Investitionen in diese zurückgingen.

WABOT-217¹⁷, ein humanoider Roboter, der an der Waseda Universität in Japan entwickelt wurde, wird ab 1980 gebaut und um 1984 fertiggestellt. Er folgte WABOT-1, der 1973 gebaut worden war. Während sich WABOT-1 auf grundlegende Mobilität und Kommunikation konzentrierte, ist WABOT-2 spezieller und speziell als Musikroboter konzipiert. Er kann mit seinen Kamera-„Augen“ Musiknoten lesen, sich mit Menschen unterhalten, Musik auf einer elektronischen Orgel spielen und sogar einen menschlichen Sänger begleiten. Dieses Projekt ist ein sinnvoller Schritt zur Entwicklung von humanoiden Robotern und KI, die in der Lage sind, komplexe, menschenähnliche Aufgaben wie den künstlerischen Ausdruck auszuführen.

Japan startete das Fifth Generation Computer Systems Project (FGCS), mit dem Ziel, Computer zu entwickeln, die logisches Denken und Problemlösungen beherrschen, und damit die KI-Forschung voranzutreiben. Dieses ehrgeizige Projekt zielte darauf ab, Maschinen zu schaffen, die Aufgaben wie Verarbeitung natürlicher Sprache und Expertensysteme ausführen können. Obwohl es 1992 eingestellt wurde, leistete das FGCS-Projekt mit seinen Erkenntnissen einen großen Beitrag zur Entwicklung des Bereichs der nebenläufigen Logikprogrammierung (concurrent logic programming).

Auf der Jahrestagung der Association for the Advancement of Artificial Intelligence (AAAI) warnten Roger Schank und Marvin Minsky vor einem bevorstehenden „KI-Winter“ und sagten voraus, dass überhöhte Erwartungen an KI bald zu einem Einbruch der Investitionen und der Forschung führen würden, ähnlich der Kürzung der Finanzierung in den 1970er Jahren. Ihre Vorhersage bewahrheitete sich innerhalb von drei Jahren, als das Interesse an KI aufgrund unerfüllter Versprechungen nachließ, was zu weniger Finanzmitteln und einem Rückgang der Fortschritte führte. Diese Phase wurde als zweiter „KI-Winter“ bekannt.

Die Warnung von Schank und Minsky unterstreicht den zyklischen Charakter des KI-Hypes, bei dem Phasen des Optimismus von Ernüchterung abgelöst werden, wenn die Technologie die Erwartungen von Investoren und der Öffentlichkeit nicht erfüllt.

David Rumelhart, Geoffrey Hinton und Ronald Williams veröffentlichen die bahnbrechende Arbeit „Learning representations by back-propagating errors“, in der sie den Backpropagation-Algorithmus beschreiben.¹⁸ Diese Methode ermöglicht es neuronalen Netzen, ihre internen Gewichte durch „back-propagating“ den Fehler durch das Netzwerk anzupassen, was die Fähigkeit von mehrschichtigen Netzwerken verbessert, komplexe Muster zu lernen. Der Backpropagation-Algorithmus wird zur Grundlage für modernes Deep Learning, weckt das Interesse an neuralen Netzen und überwindet einige Einschränkungen, die in früheren KI-Forschung hervorgehoben wurden. Diese Entdeckung baut auf der Arbeit von Arthur Bryson und Yu-Chi Ho aus dem Jahr 1969 auf, indem sie den Backpropagation-Algorithmus speziell auf neuronale Netze anwendet und damit die bisherigen Beschränkungen beim Training von mehrschichtigen neuronalen Netzen überwindet.

Dieser Durchbruch machte künstliche neuronale Netze für praktische Anwendungen brauchbar und ebnete den Weg für die Deep Learning-Revolution der 2000er und 2010er Jahre.

Während seiner Educom-Keynote-Rede präsentiert Apple-CEO John Sculley das Knowledge Navigator-Video, das eine Zukunftsvision zeigt, in der digitale smarte Agenten Nutzern helfen, auf riesige Informationsmengen über vernetzte Systeme zuzugreifen.¹⁹ Dieses visionäre Konzept zeigt einen Professor, der mit einem sachkundigen, sprachgesteuerten Assistenten interagiert, der Daten abrufen, Fragen beantworten und Informationen anzeigen kann. Das Video sah viele Elemente moderner Technologien wie KI-Assistenten, vernetzte Wissensdatenbanken und unsere vernetzte digitale Welt vor.

Judea Pearl veröffentlicht Probabilistic Reasoning in Intelligent Systems und revolutioniert die Art und Weise, wie KI Informationen unter Unsicherheit verarbeitet.²⁰ Diese Arbeit stellt Bayes'sche Netze vor, einen Formalismus zur Darstellung komplexer Wahrscheinlichkeitsmodelle und die Algorithmen zur Durchführung von Inferenz innerhalb dieser Modelle. Pearls Methoden ermöglichten es KI-Systemen, begründete Entscheidungen in unsicheren Umgebungen zu treffen und beeinflussten damit Bereiche weit über die KI hinaus, darunter auch Ingenieurwissenschaften und Naturwissenschaften. Seine Beiträge wurden mit dem Turing Award 2011 gewürdigt, der seine Rolle bei der Schaffung der „Repräsentations- und Berechnungsgrundlage“ für modernes probabilistisches Schließen in der KI würdigte.²¹

Rollo Carpenter entwickelt Jabberwacky²², einen frühen Chatbot, der darauf ausgelegt ist, menschliche Gespräche nachzuahmen, die interessant, unterhaltsam und humorvoll sind. Im Gegensatz zu regelbasierten Systemen lernt Jabberwacky aus menschlichen Interaktionen, um natürlicheren Dialog zu generieren. Damit ebnete er den Weg für spätere dialogorientierte KI-Modelle. Dieser Chatbot ist einer der ersten Versuche, eine KI zu entwickeln, die spontane, alltägliche menschliche Konversationen nachahmt, indem sie kontinuierlich aus ihren Interaktionen mit den Benutzern lernt.

Forscher des IBM T.J. Watson Research Center veröffentlichen „A Statistical Approach to Language Translation“, das einen entscheidenden Wechsel von regelbasierten zu probabilistischen Methoden in der maschinellen Übersetzung markiert.²³ Dieser Ansatz, der am Beispiel des Candide-Projekts von IBM24 veranschaulicht wird, verwendet 2,2 Millionen englisch-französische Satzpaare, die hauptsächlich aus den Sitzungen des kanadischen Parlaments stammen. Bei dieser neuen Methodik steht das Lernen aus statistischen Mustern in den Daten im Vordergrund, statt zu versuchen, die Sprachen zu begreifen oder zu „verstehen“. Sie spiegelt den allgemeinen Trend zum maschinellen Lernen wider, das auf der Analyse bekannter Beispiele beruht. Dieses Wahrscheinlichkeitsmodell ebnete den Weg für viele zukünftige Fortschritte in der Verarbeitung natürlicher Sprache und der maschinellen Übersetzung.

Marvin Minsky und Seymour Papert veröffentlichen eine erweiterte Ausgabe ihres einflussreichen Buches Perceptrons von 1969, einer grundlegenden Kritik an frühen neuronalen Netzen. Im neuen Prolog mit dem Titel „A View from 1988“ reflektieren sie über den langsamen Fortschritt im Bereich der KI und bemerken, dass viele Forscher weiterhin frühere Fehler wiederholen, da ihnen das Verständnis für frühere Herausforderungen fehlt.¹² Sie betonen die Notwendigkeit eines tiefergehenden theoretischen Verständnisses, das in der frühen Forschung zu neuronalen Netzen fehlte. Während sie ihre ursprüngliche Kritik bekräftigen, erkennen sie auch aufkommende Ansätze an, die später zu modernen Deep-Learning-Fortschritten führen sollten.

Yann LeCun und ein Team von Forschern der AT&T Bell Labs erzielen einen Durchbruch, indem sie den Backpropagation-Algorithmus erfolgreich auf ein mehrschichtiges Neural Networks anwenden, um handgeschriebene Postleitzahlenbilder zu erkennen.²⁴ Dies ist eine der ersten praktischen Anwendungen von Deep Learning unter Verwendung von Convolutional Neural Networks. Trotz der damals begrenzten Hardware dauert es etwa drei Tage, das Netzwerk zu trainieren – eine bedeutende Verbesserung gegenüber früheren Versuchen. Der Erfolg des Systems bei der Erkennung handgeschriebener Ziffern – einer Schlüsselaufgabe für die Automatisierung von Postdiensten – zeigt das Potenzial neuraler Netze für Bilderkennungsaufgaben und legte den Grundstein für das explosive Wachstum von Deep Learning in den folgenden Jahrzehnten.

Der Science-Fiction-Autor und Mathematiker Vernor Vinge veröffentlicht den Essay „The Coming Technological Singularity“, in dem er vorhersagt, dass innerhalb der nächsten30 Jahre übermenschliche Intelligenz erschaffen wird und damit die menschliche Zivilisation grundlegend verändert wird.²⁵ Vinge argumentiert, dass technologische Fortschritte, insbesondere im Bereich der KI, zu einer Intelligenzexplosion – Maschinen, die menschliche Intelligenz übertreffen werden – und dem Ende des menschlichen Zeitalters, wie wir es kennen, führen werden. Sein Essay trägt dazu bei, das Konzept der „technologischen Singularität“ populär zu machen – ein Moment, in dem die KI die menschliche Kontrolle übertreffen würde, was eine Debatte in den Bereichen KI, Ethik und Futurismus auslöst.

Diese Prognose beeinflusst weiterhin die Diskussionen über die potenziellen Auswirkungen von KI und Superintelligenz, insbesondere in Bezug auf existentielle Risiken und die ethischen Überlegungen bei der Schaffung von Maschinen mit einer Intelligenz, die weit über die menschlichen Fähigkeiten hinausgeht.

Richard Wallace entwickelt den Chatbot A.L.I.C.E.²⁶ (Artificial Linguistic Internet Computer Entity) und baut damit auf der Grundlage auf, die Joseph Weizenbaums ELIZA-Programm geschaffen hatte. Im Gegensatz zu ELIZA, das auf vorgefertigten Skripten basierte, um Gespräche zu simulieren, nutzte A.L.I.C.E. das aufkommende World Wide Web, um große Mengen an natürlicher Sprachdaten zu sammeln und zu verarbeiten. Dadurch konnte der Chatbot komplexere und flüssigere Dialoge führen. A.L.I.C.E. verwendet eine Musterabgleichstechnologie namens AIML (Artificial Intelligence Markup Language), um Antworten zu analysieren und zu generieren. Dies machte den Chatbot anpassungsfähiger und skalierbarer als seine Vorgänger. Wallaces Arbeit ebnet den Weg für weitere Fortschritte in der dialogorientierten KI und beeinflusst moderne virtuelle Assistenten und Chatbots nachhaltig. Im Gegensatz zu ELIZA, das auf vorgefertigten Skripten basierte, um Gespräche zu simulieren, nutzte A.L.I.C.E. das aufkommende World Wide Web, um große Mengen an natürlicher Sprachdaten zu sammeln und zu verarbeiten. Dadurch konnte der Chatbot komplexere und flüssigere Dialoge führen. A.L.I.C.E. verwendet eine Musterabgleichstechnologie namens AIML (Artificial Intelligence Markup Language), um Antworten zu analysieren und zu generieren. Dies machte den Chatbot anpassungsfähiger und skalierbarer als seine Vorgänger. Die Arbeit von Wallace bereitet den Weg für weitere Fortschritte in der dialogorientierten KI und beeinflusst moderne virtuelle Assistenten und Chatbot.

Sepp Hochreiter und Jürgen Schmidhuber stellen Long Short-Term Memory (LSTM) vor, eine Art rekurrentes neuronales Netz, das die Grenzen herkömmlicher neuronaler Netze überwinden soll, insbesondere ihre Unfähigkeit, langfristige Abhängigkeiten in Daten effektiv zu erfassen. LSTM-Netzwerke werden häufig in Anwendungen wie Handschriftenerkennung, Spracherkennung, Verarbeitung natürlicher Sprache und Forecasting eingesetzt.

Deep Blue von IBM schreibt Geschichte, indem es den amtierenden Schachweltmeister Garry Kasparov in einem Sechs-Spiele-Match besiegt.²⁷ Dies ist das erste Mal, dass ein Computer-Schachspielprogramm einen Weltmeister unter den üblichen Zeitkontrollen eines Schachturniers schlägt. Der Sieg von Deep Blue zeigte, dass Computer Menschen in hochstrategischen Spielen übertreffen können, was lange als Kennzeichen menschlicher Intelligenz galt. Die Fähigkeit der Maschine, Millionen von Zügen pro Sekunde zu berechnen, kombiniert mit Fortschritten in der Spieltheorie und Heuristik, ermöglicht es ihr, Kasparow auszumanövrieren und so den Platz von Deep Blue in der Geschichte der KI zu festigen.

Das Ereignis löste auch Debatten über die zukünftige Beziehung zwischen menschlicher Kognition und KI aus und beeinflusste die nachfolgende KI-Forschung in anderen Bereichen wie der Verarbeitung natürlicher Sprache und autonomen Systemen.

Dave Hampton und Caleb Chung erschaffen Furby, das erste erfolgreiche Roboterhaustier für den Hausgebrauch.²⁸ Furby kann auf Berührungen, Geräusche und Licht reagieren und „lernt“ mit der Zeit die Sprache. Er beginnt mit seiner eigenen Sprache, Furbish, „spricht“ aber nach und nach mehr Englisch, wenn er mit den Benutzern interagiert. Seine Fähigkeit, das Lernen nachzuahmen und mit den Benutzern in Kontakt zu treten, macht ihn zu einem Vorläufer hochentwickelterer sozialer Roboter, die zum ersten Mal in einem Verbraucherprodukt Robotertechnik mit Unterhaltung verbinden.

Yann LeCun, Yoshua Bengio und ihre Mitarbeiter veröffentlichen einflussreiche Artikel über die Anwendung von neuronalen Netzen auf die Handschriftenerkennung.²⁹ Ihre Arbeit konzentriert sich auf die Verwendung von konvolutionalen neuronalen Netzen, um den Backpropagation-Algorithmus zu optimieren und ihn für das Training von Deep Networks effektiver zu machen. Durch die Optimierung des Backpropagation-Prozesses und die Demonstration der Leistungsfähigkeit von CNNs für die Bild- und Mustererkennung haben LeCun und Bengio mit ihrer Forschung die Grundlage für moderne Deep Learning-Techniken geschaffen, die heute in einer Vielzahl von KI-Anwendungen eingesetzt werden.

Cynthia Breazeal am MIT entwickelt Kismet, einen Roboter, der mit Menschen durch emotionale und soziale Signale interagieren soll.³⁰ Kismet ist mit Kameras, Mikrofonen und ausdrucksstarken Gesichtszügen ausgestattet, sodass er menschliche Emotionen wie Freude, Traurigkeit und Überraschung wahrnehmen und darauf reagieren kann. Diese Entwicklung stellt einen Fortschritt in der Robotertechnik dar und erforscht, wie Roboter auf natürlichere Weise mit Menschen interagieren können.

Geoffrey Hinton veröffentlicht „Learning Multiple Layers of Representation“, das die wichtigsten Durchbrüche im Bereich Deep Learning zusammenfasst und skizziert, wie mehrschichtige neural networks effektiver trainiert werden können.³¹ Hintons Arbeit konzentriert sich auf das Training von Netzwerken mit abgestuften Verbindungen, um sensible Daten zu erzeugen und nicht nur, sie zu klassifizieren. Dieser Ansatz stellt einen Wandel von traditionellen neuronalen Netzen hin zu dem, was wir heute als Deep Learning bezeichnen und es Maschinen ermöglicht, komplexe hierarchische Darstellungen von Daten zu lernen.

Fei-Fei Li und ihr Team an der Princeton University initiieren das ImageNet-Projekt und schaffen damit eine der größten und umfassendsten Datenbanken mit Bildern mit Anmerkungen.³² ImageNet unterstützt die Entwicklung von Software zur Erkennung visueller Objekte, indem es Millionen von beschrifteten Bildern in Tausenden von Kategorien bereitstellt. Der Umfang und die Qualität des Datensatzes ermöglichen Fortschritte in der Computer Vision-Forschung, insbesondere im Training von Deep Learning-Modellen, um Objekte in Bildern zu erkennen und zu klassifizieren.

Rajat Raina, Anand Madhavan und Andrew Ng veröffentlichen „Large-scale Deep Learning using Graphics Processors“ in der sie darlegen, dass Grafikverarbeitungseinheiten (GPUs) herkömmliche Multi-Core-CPUs für Deep-Learning-Aufgaben bei weitem übertreffen können.³³ Sie zeigen, dass die überlegene Rechenleistung von GPUs die Anwendbarkeit unüberwachter Deep-Learning-Methoden revolutionieren kann, wobei sie es Forschern ermöglicht, umfangreichere und komplexere Modelle effizienter zu trainieren. Diese Arbeit beschleunigt die Einführung von GPUs im Deep Learning und ebnet den Weg für die Durchbrüche der 2010er-Jahre, die moderne KI-Anwendungen in Bereichen wie Computer Vision und Verarbeitung natürlicher Sprache vorantreiben. Diese Arbeit ist maßgeblich daran beteiligt, die Einführung von GPUs im Deep Learning zu beschleunigen und in den 2010er Jahren zu den Durchbrüchen zu führen, die moderne KI-Anwendungen in Bereichen wie Computer Vision und Verarbeitung natürlicher Sprache vorantreiben.

Informatiker am Intelligent Information Laboratory der Northwestern University entwickeln Stats Monkey, ein Programm, das in der Lage ist, Sportnachrichten vollständig automatisch zu generieren.³⁴ Mithilfe von Spieldaten kann Stats Monkey kohärente Berichte über Baseballspiele erstellen, einschließlich Zusammenfassungen, Spielerleistungen und Analysen.

Watson von IBM, ein fortschrittlicher Computer zur Beantwortung von Fragen in natürlicher Sprache, macht Schlagzeilen, indem er in der Spielsendung Jeopardy! gegen zwei der erfolgreichsten Champions der Show, Ken Jennings und Brad Rutter, und besiegte sie.³⁵ Die Fähigkeit von Watson, natürliche Sprache zu verarbeiten und zu interpretieren, sowie seine umfangreiche Wissensbasis ermöglichen es dem Unternehmen, komplexe Fragen schnell und präzise zu beantworten. Dieser Erfolg unterstreicht die Fortschritte in Bezug auf die Fähigkeit der KI, menschliche Sprache auf einem anspruchsvollen Niveau zu verstehen und mit ihr zu interagieren.

Apple bringt Siri auf den Markt, einen virtuellen Assistenten, der in das iOS-Betriebssystem integriert ist. Siri verfügt über eine Benutzeroberfläche in natürlicher Sprache, die es Benutzern ermöglicht, über Sprachbefehle mit ihren Geräten zu interagieren. Siri kann Aufgaben wie das Senden von Nachrichten, das Festlegen von Erinnerungen, das Bereitstellen von Empfehlungen und das Beantworten von Fragen ausführen und nutzt dazu maschinelles Lernen, um sich an die Vorlieben und Stimmmuster jedes Benutzers anzupassen. Dieses personalisierte, adaptive Spracherkennungssystem bietet Benutzern ein individuelles Erlebnis und stellt einen großen Fortschritt in der Benutzerfreundlichkeit und Zugänglichkeit von KI-gestützten Assistenten für den Alltagsverbraucher dar.

Jeff Dean und Andrew Ng führen ein Experiment durch, bei dem sie ein riesiges neuronales Netz mit 10 Millionen unbeschrifteten Bildern aus YouTube-Videos verwenden.³⁶ Während des Experiments lernt das neuronale Netz ohne vorherige Kennzeichnung, Muster in den Daten zu erkennen und „zu unserer Belustigung“ reagiert ein Neuron insbesondere auf Bilder von Katzen. Diese Entdeckung ist eine Demonstration des unüberwachten Lernens und zeigt, wie tiefe neuronale Netze eigenständig Merkmale aus riesigen Datenmengen lernen können.

Forscher der University of Toronto unter der Leitung von Geoffrey Hinton entwerfen ein Convolutional Neural Networks (CNN), das in der ImageNet Large Scale Visual Recognition Challenge ein bahnbrechendes Ergebnisse erzielt.³⁷ Ihr CNN, bekannt als AlexNet, erreicht eine Fehlerquote von 16 %, eine deutliche Verbesserung gegenüber dem besten Ergebnisse des Vorjahres von 25 %. Diese Leistung markiert einen Wendepunkt für Deep Learning im Bereich Computer Vision und beweist, dass CNNs traditionelle Bildklassifizierungsmethoden übertreffen können, wenn sie an großen Datensätzen trainiert werden.

AlphaGo von Google DeepMind besiegte Lee Sedol, einen der weltbesten Go-Spieler. Go, ein komplexes Brettspiel mit mehr möglichen Zügen als Atomen im Universum, galt lange Zeit als Herausforderung für die KI.³⁸ Der 4:1-Sieg von AlphaGo gegen Sedol markiert einen Meilenstein in der KI-Entwicklung und zeigt die Fähigkeit von Deep-Learning-Techniken, hochkomplexe strategische Aufgaben zu bewältigen, die zuvor außerhalb der Möglichkeiten von KI lagen.

Hanson Robotics hat Sophia vorgestellt, einen hochgradig fortschrittlichen humanoiden Roboter.³⁹ Sophia kann Gesichter erkennen, Blickkontakt herstellen und Gespräche führen, indem sie Bilderkennung und Verarbeitung natürlicher Sprache kombiniert.

Forscher des Facebook Artificial Intelligence Research (FAIR) Lab trainieren zwei Chatbots, um miteinander zu verhandeln. Die Chatbots sind zwar so programmiert, dass sie auf Englisch kommunizieren, aber während ihrer Gespräche begannen sie, sich von der strukturierten menschlichen Sprache abzuwenden und ihre eigene Kurzschrift zu entwickeln, um effizienter kommunizieren zu können.⁴⁰ Diese Entwicklung ist unerwartet, da die Bots ihre Kommunikation ohne menschliches Eingreifen optimieren. Das Experiment wird abgebrochen, um die Bots in einer für Menschen verständlichen Sprache zu halten, aber das Vorkommen unterstreicht das Potenzial von KI-Systemen, sich autonom und unvorhersehbar zu entwickeln.

OpenAI stellt GPT-3 vor, ein Sprachmodell mit 175 Milliarden Parametern und damit eines der bislang größten und ausgereiftesten KI-Modelle. GPT-3 demonstriert die Fähigkeit, menschenähnliche Texte zu generieren, Gespräche zu führen, Code zu schreiben, Sprachen zu übersetzen und kreative Texte auf der Grundlage natürlicher Prompt zu erstellen. Als eines der frühesten Beispiele für ein Large Language Models (LLM) war GPT aufgrund seiner enormen Größe und Skalierbarkeit in der Lage, eine große Bandbreite an Sprachaufgaben mit wenig bis gar keinem aufgabenspezifischen Training auszuführen. Dieses Beispiel demonstrierte das Potenzial der KI, hochkohärente Sprache zu verstehen und zu produzieren.

AlphaFold 2 von DeepMind erzielt einen Durchbruch in der Biologie, indem es die 3D-Strukturen von Proteinen basierend auf deren Aminosäuresequenzen genau vorhersagt. Dieser Erfolg löst ein Problem, das Wissenschaftler jahrzehntelang beschäftigte – das Verständnis, wie Proteine ihre einzigartigen dreidimensionalen Formen annehmen. Die hohe Genauigkeit von AlphaFold 2 bei der Vorhersage von Proteinstrukturen hat weitreichende Auswirkungen auf die Krankheitsforschung und die Entwicklung neuer Medikamente, da es neue Ansätze bietet, die molekularen Mechanismen hinter Krankheiten zu verstehen und neuartige Therapeutika effizienter zu entwickeln.

MUM (Multitask Unified Model), entwickelt von Google, ist ein leistungsstarkes KI-Modell, das entwickelt wurde, um die Erfahrung zu verbessern, indem es Sprache in⁷⁵ Sprachen versteht und generiert. MUM kann Multitasking betreiben und Texte, Bilder und Videos gleichzeitig analysieren, wodurch komplexere und nuanciertere Suchanfragen bearbeitet werden können.⁴¹ Im Gegensatz zu herkömmlichen Modellen kann MUM multimodale Eingaben verarbeiten und umfassende, kontextreiche Antworten auf komplexe Fragen geben, die mehrere Informationsquellen einbeziehen.

Tesla bringt die Beta-Version des Full Self-Driving (FSD) auf den Markt, ein fortschrittliches Fahrerassistenzsystem, das vollautonomes Fahren zum Ziel hat. Die FSD-Beta nutzt Deep Learning und neuronale Netze, um komplexe Fahrsituationen wie Stadtstraßen, Autobahnen und Kreuzungen in Echtzeit zu navigieren. Sie ermöglicht es Tesla-Fahrzeugen, unter bestimmten Bedingungen autonom zu lenken, zu beschleunigen und zu bremsen, erfordert jedoch die Überwachung durch den Fahrer. Die FSD-Beta von Tesla ist ein Schritt in Richtung des Ziels des Unternehmens, vollautonome Fahrzeuge zu entwickeln. Allerdings bestehen auf dem Weg zu einem breiten Einsatz der autonomen Fahrtechnologie noch regulatorische Herausforderungen und Sicherheitsbedenken.

OpenAI bringt DALL-E auf den Markt, gefolgt von DALL-E 2 und DALL-E 3, generativen KI-Modellen, die in der Lage sind, hochdetaillierte Bilder aus Textbeschreibungen zu generieren. Diese Modelle verwenden fortschrittliches Deep Learning und Transformer-Architektur, um komplexe, realistische und künstlerische Bilder auf der Grundlage von Benutzereingaben zu erstellen. DALL-E 2 und 3 erweitern den Einsatz von KI bei der Erstellung von visuellen Inhalten und ermöglichen es dem Benutzer, Ideen in Bilder zu verwandeln, ohne dass er über traditionelle Grafikdesign-Kenntnisse verfügt.

Februar

Google startet Gemini 1.5 in einer begrenzten Beta-Version, ein erweitertes Sprachmodell, das Kontextlängen von bis zu 1 Million Token verarbeiten kann.⁴² Das Modell kann große Mengen an Informationen in einer einzigen Eingabeaufforderung verarbeiten und verstehen und so seine Fähigkeit verbessern, den Kontext in komplexen Unterhaltungen und Aufgaben über längeren Text hinweg beizubehalten. Gemini 1.5 stellt einen bemerkenswerten Fortschritt in der Verarbeitung natürlicher Sprache dar, da es verbesserte Gedächtnisfunktionen und kontextuelles Verständnis bei langen Eingaben bietet.

OpenAI gibt die Veröffentlichung von Sora bekannt, einem Text-zu-Video-Modell, das Videos bis zu einer Minute Länge auf Basis von Textbeschreibungen erstellen kann.⁴³ Diese Innovation erweitert die Nutzungsmöglichkeiten von KI-generierten Inhalten über statische Bilder hinaus, sodass Nutzer dynamische, detaillierte Videoclips auf Grundlage von Vorgaben erstellen können. Es wird erwartet, dass Sora neue Möglichkeiten bei der Erstellung von Videoinhalten eröffnet.

StabilityAI kündigt Stable Diffusion 3 an, sein neuestes Text-zu-Bild-Modell. Wie Sora verwendet auch Stable Diffusion 3 eine ähnliche Architektur, um detaillierte und kreative Inhalte aus Prompts zu generieren.⁴⁴

Mai

Google DeepMind stellt eine neue Erweiterung von AlphaFold vor, die bei der Identifizierung von Krebs und genetischen Krankheiten hilft und ein leistungsstarkes Werkzeug für die genetische Diagnostik und die personalisierte Medizin bietet.⁴⁵

IBM stellt die Granite™-Familie generativer KI-Modelle als Teil seines watsonx™-Portfolios von KI-Produkten vor. Die Granite-Modelle mit 3 bis 34 Milliarden Parametern sind für Aufgaben wie Codegenerierung, Forecasting und Dokumentenverarbeitung konzipiert. Diese Modelle, die Open Source und unter der Apache 2.0-Lizenz sind, sind leichtgewichtig, kosteneffektiv und anpassbar, was sie ideal für eine Vielzahl von Geschäftsanwendungen macht.

Juni

Apple kündigt Apple Intelligence an, eine Integration von ChatGPT in neue iPhones und Siri.⁴⁶ Durch diese Integration kann Siri komplexere Aufgaben ausführen, natürlichere Gespräche führen und nuancierte Befehle besser verstehen und ausführen.

September

NotebookLM stellt DeepDive vor, eine neue multimodale KI, die in der Lage ist, Quellmaterial in ansprechende Audiopräsentationen umzuwandeln, die als Podcast strukturiert sind.⁴⁷ Die Fähigkeit von DeepDive, Informationen aus verschiedenen Formaten zu analysieren und zusammenzufassen, darunter Webseiten, Text, Audio und Video, eröffnet neue Möglichkeiten für die Erstellung personalisierter und automatisierter Inhalte auf verschiedenen Plattformen. Diese Funktion macht ihn zu einem vielseitigen Werkzeug für die Medienproduktion und die Bildung.

Aktuelle KI-Trends deuten auf neue Entwicklungen generativer KI hin, die auf kleineren, effizienteren Basismodellen basieren, und auf den Aufstieg der agentischen KI, bei der bestimmte KI-Modelle zusammenarbeiten, um Benutzeranfragen schneller zu bearbeiten. In Zukunft werden autonome Fahrzeuge die Autobahnen befahren, multimodale KI wird Audio, Video, Text und Bilder auf einer einzigen Plattform erstellen und KI-Assistenten werden Benutzern helfen, ihr Privatleben und ihre Karriere zu steuern.