Die Vorstellung von Large Language Models (LLMs) als eine neue Form von Datenbank ist mir beim Schauen des Videos „Neural and Non-Neural AI, Reasoning, Transformers, and LSTMs“ gekommen und sie lässt mich irgendwie nicht mehr los. Hier also meine Gedanken dazu. Ist der Latent Space in den LLMS nur ein versteckter Datenspeicher? Der Latent Space ist eine abstrakte Repräsentation, in dem das Modell die „Bedeutungen“ von Wörtern, Konzepten und Zusammenhängen darstellt. Kann der Latent Space als eine Art Datenspeicher betrachtet werden, der dem Speicherkonzept in traditionellen Datenbanken ähnlich ist? Wenn ein LLM trainiert wird, lernt es, ähnliche Konzepte in der Nähe voneinander im Latent Space zu platzieren. Zum Beispiel könnten die Wörter „Hund“ und „Katze“ nahe beieinander liegen, da sie…
Kommentare sind geschlossen.Kategorie: Allgemein
1. Installation von LinuxCIFS utils (https://wiki.samba.org/index.php/LinuxCIFS) 2. Mounten des Laufwerkes Mein Synology Nas ist unter der IP 192.168.178.165 zu erreichen. Die IP Adresse der Synology kann man in der Fritz Box oder in der Synology Web Oberfläche nachsehen. Nun ist der Ordner gitea auf der Synlology Nas unter Ubuntu im Ordner /mnt/synology/ zu erreichen. Damit nach einem Neustart das Laufwerk automatisch wieder gemountet wird, muss man in der /etc/fstab Datei einen Eintrag machen. Der Benutzername und das Passwort wird in der Datei /etc/.synologycredentials gespeichert. Dadurch wird das Verzeichnis nach jedem Reboot automatisch gemountet und ist immer verfügbar. In meinem konkreten Fall möchte ich dieses Laufwerk verwenden, um ein bestimmtes Verzeichnis hier in regelmäßigen Abständen zu sichern. Dazu erstelle ich noch…
Kommentare sind geschlossen.Klingt komisch, ist aber so. Die folgenden 3 Gründe beweisen, dass ich Recht habe. Alles in allem ein sehr merkwürdiger Zufall. Ist das alles evtl. doch nur eine Simulation? 😉
Kommentare sind geschlossen.Die Transformer-Technologie dominiert aktuell den Bereichen des maschinellen Lernens bei der natürlichen Sprachverarbeitung. Eingeführt wurde der Transformer im Jahr 2017 durch in dem Papier „Attention is All You Need“. Die Transformer-Architektur hat das Konzept des Selbst-Attention-Mechanismus populär gemacht. Dieser ermöglicht es, Wichtigkeiten unterschiedlicher Teile eines Textes zu erkennen und darauf zu reagieren. Seit ihrer Einführung haben Transformer-Modelle die Grundlage für fortschrittliche Sprachmodelle wie z.B. GPT gebildet und sind zum Standard für viele Aufgaben im Bereich des NLP (Natural Language Processing) geworden. Damit ist es aber nun vorbei – wenn es nach Sepp Hochreiter und seinem neu vorgestellten xLSTM geht. Beim xLSTM, handelt es sich um eine erweiterte Form des LSTM, das laut Sepp Hochreiter ein neues Kapitel in der Entwicklung…
Kommentare sind geschlossen.Das Buch „Reinforcement Learning: Aktuelle Ansätze verstehen – mit Beispielen in Java und Greenfoot“ von Uwe Lorenz bietet eine Einführung in das Feld des Reinforcement Learnings (RL), einem forgeschrittenen Thema der künstlichen Intelligenz und des maschinellen Lernens. In dem Buch zielt Uwe Lorenz darauf ab, das Reinforcement Learning einem breiten Publikum verständlich zu machen, was ihm mit dem Buch gut gelungen ist. In dem Buch werden dem Leser anhand praktischer Beispiele in der Programmiersprache Java und der Entwicklungsumgebung Greenfoot die Grundlagen des Reinforcement Learnings nahe gebracht. Dieser Ansatz ist besonders bemerkenswert, da die meisten Bücher in diesem Bereich üblicherweise Python als Programmiersprache verwenden. Die Entscheidung für Java macht das Buch besonders interessant für mich, da Java meine bevorzugte Programmiersprache ist…
Kommentare sind geschlossen.Ich versuche das Meta-Llama-3-70B-Instruct-Q4_K_M.gguf als Programmier-Assistent zu verwenden. Es scheint aber ein Problem zu geben, denn wenn ich folgenden Befehl ausführe, fängt das Meta-Llama-3-70B-Instruct-Q4_K_M.gguf zwar an eine sinnvolle Antwort zu generieren, aber es hört einfach nicht mehr auf und antwortet sich immer wieder selbst – sehr merkwürdig??? Hier die Ausgebe. Diverse male wiederholt sich das Token „assistant“ im Text. Irgendwann wechselt Meta-Llama-3-70B-Instruct-Q4_K_M.gguf dann zu englisch und verliert sich dann in einer Endlosschleife mit den Token „Exactly!assistant“. Ein Blick in die Logdatei zeigt dann, dass Llama-3 als EOS Token-ID die 128009 verwendet. In der GGUF Datei ist aber 128001 eingetragen. Das kann also nicht funktionieren. Zum Glück hat llama.cpp ein kleines Skript, mit dem man die EOS-Token-Id andern kann. Der folgende…
Kommentare sind geschlossen.Jeff Prosise’s book „Applied Machine Learning and AI for Engineers“ bietet eine gute Einführung und praktische Anleitung zur Anwendung von maschinellem Lernen und KI. Das Buch beschreibt die Grundlagen zeigt aber auch komplexere Konzepte wie die Erkennung von Objekten auf Fotos, Echtzeit-Sprachübersetzung und den Einsatz von Computern zur Kunst- und Musikgenerierung. Das Buch ist insgesamt gut geschrieben und lässt sich gut lesen, kann aber auch als Nachschlagewerk für konkrete Anwendungsfälle genutzt werden, denn die Hauptstärke des Buches liegt in seiner Praxisorientierung. Es enthält zahlreiche Codebeispiele in Python und nutzt populäre Open-Source-Bibliotheken wie Scikit-Learn, Keras und TensorFlow, um Konzepte zu demonstrieren und zu verstärken. Viele der Beispiele können auch auf typischen PCs oder Laptops ohne spezielle Hardware wie GPUs ausgeführt werden,…
Kommentare sind geschlossen.Weil die Online Dienste nicht immer verfügbar sind. Da ist etwas schiefgelaufen Bitte versuche, diese Seite neu zu laden oder schließe dein Browserfenster und öffne es erneut. https://www.meta.ai/ Das zeigt mir gerade die meta.ai Webseite. Habe es mit unterschiedlichen Browsersn und auf verschiedenen Computern versucht – leider ohne Erfolg. Also bleibt nur, Meta-Llama-3-70B-Instruct herunterladen und in 4-Bit auf dem Jetson Orin Dev. Board laufen lassen. Leider ist der Download sehr groß und ich kann das Meta-Llama-3-70B-Instruct noch nicht lokal laufen lassen, da der Download noch ca. 25 Stunden benötigt. 🙁 Also abwarten und Tee trinken …..
Kommentare sind geschlossen.Mich interessiert der Einsatz des Mixtral-8x22B-Instruct-v0.1 Modells, von MistralAI, auf einem Jetson Orin 64 GB Developer Board in der Q2_K gguf Version. „Q2_K“ bezieht sich auf eine spezifische Art der Quantisierung innerhalb des Modellformats oder der Modellarchitektur, die im gguf-Format (General GPU Format) verwendet wird. Quantisierung sorg für geringeren Speicherverbrauch und schnellerer Verarbeitung, was besonders nützlich ist bei der Bereitstellung von Modellen auf Hardware mit begrenzten Ressourcen oder für Echtzeitanwendungen. Mixtral-8x22B-Instruct-v0.1 Das Mixtral-8x22B-Instruct-v0.1 ist ein hochmodernes Modell, das speziell für Aufgaben im Bereich der Instruktionserfüllung konzipiert wurde. Für den Test habe ich es auf einem NVIDIA Jetson Orin 64 GB Developer Board geladen, einer Plattform, die für ihre leistungsstarken Rechenfähigkeiten und Optimierung für maschinelles Lernen bekannt ist. JETSON AGX ORIN…
Kommentare sind geschlossen.Ein Schlüsselaspekt bei der Nutzung von großen LLMs (Large Language Modellen) wie dem C4AI Command R+ ist die Quantisierung der Modellparameter, die es ermöglicht, die Größe der Modelle erheblich zu reduzieren, ohne dabei die Genauigkeit und Leistungsfähigkeit signifikant zu beeinträchtigen. Durch die Anwendung dieser Methode können die Modelle auch auf Hardware mit beschränkten Ressourcen eingesetzt werden. Quantisierung von LLMs Die Quantisierung von LLMs (Large Language Modellen) ist ein Verfahren, bei dem die Größe und Komplexität dieser Modelle reduziert werden, um sie effizienter zu machen. Hierbei hat in letzter Zeit vor allem die GGUF-Quantisierung dazu beigetragen, eine breitere Nutzung und Demokratisierung des Zugangs zu diesen leistungsstarken Modellen zu ermöglichen. GGUF wurde speziell für das schnelle Laden und Speichern von Modellen entworfen. Es ist…
Kommentare sind geschlossen.