Kategorie: Allgemein

TODO für Tag 2 Dataset laden (Iris-Datensatz) Erst mal die Daten laden. Das habe ich ja gestern schon mal gemacht. Daten in Trainings- und Testdaten aufteilen Beim maschinellen Lernen ist es wichtig, die verfügbaren Daten in Trainings- und Testdaten aufzuteilen. Die Trainingsdaten werden genutzt, um das Modell zu trainieren – also um Muster zu erkennen und Parameter zu lernen. Die Testdaten dienen anschließend zur Bewertung des Modells, um zu prüfen, wie gut es auf neue, unbekannte Daten generalisiert. Ein typisches Aufteilungsverhältnis ist 80 % Training und 20 % Test, kann aber je nach Anwendungsfall variieren. Einfaches Klassifikationsmodell trainieren Dieser Python-Code zeigt, wie man ein logistisches Regressionsmodell mit scikit-learn erstellt und trainiert. Es wird das LogisticRegression-Modell aus scikit-learn importiert – ein klassisches Modell…

To-Do für heute Was ist scikit-learn? Voraussetzungen Installation JupyterLab JupyterLab vereinfacht die Arbeit mit scikit-learn, weil es eine interaktive Umgebung bietet, in der man Code, Visualisierungen und Dokumentation nahtlos kombinieren kann. Man kann Datensätze schrittweise untersuchen, Modelle direkt trainieren und evaluieren, und die Ergebnisse sofort visualisieren – alles in einer übersichtlichen Oberfläche. JupyterLab starten Nache dem Start wird JupyterLab im Broser geöffnet. Alternativ kann man auch mit PyCharm oder einem anderen Editor arbeiten, aber ich bevorzuge Jupyter-Lab wegen dem Komfort. Installation überprüfen Zum überprüfen der Installation kann man ein neues Jupyter-Notebook öffnen und folgenden Python Code ausführen. Wie man sieht habe ich die Version 1.7.dev0 installiert. Die wichtigsten scikit-learn Module scikit-learn bietet viele Module, hier eine Auswahl der wichtigsten. Modul…

Tag 1: Einführung und Installation Tag 2: Erstes Modell erstellen Tag 3: Daten verstehen und vorbereiten Tag 4: Klassifikationsmodelle kennenlernen – k-NN Tag 5: Regression einfach erklärt Tag 6: Train/Test Split und Cross Validation Tag 7: Feature Engineering Tag 8: Entscheidungsbäume Tag 9: Random Forest Tag 10: Gradient Boosting Tag 11: Hyperparameter Tuning mit GridSearchCV Tag 12: Support Vector Machines (SVM) Tag 13: Pipeline erstellen Tag 14: Feature Scaling vertiefen Unterschied zwischen StandardScaler, MinMaxScalerWann ist Skalierung unbedingt notwendig? Tag 15: Umgang mit fehlenden Werten Tag 16: Clustering-Grundlagen – KMeans Tag 17: Bewertungskriterien für Klassifikation Tag 18: Mehr Klassifikatoren vergleichen Tag 19: Pipeline + Cross-Validation kombinieren Tag 20: Dimensionalitätsreduktion mit PCA Tag 21: Textdaten mit scikit-learn Tag 22: Modell speichern und…

Eine empirische Studie von: Xingyu Zheng, Yuye Li, Haoran Chu, Yue Feng, Xudong Ma, Jie Luo, Jinyang Guo, Haotong Qin, Michele Magno, Xianglong Liu https://arxiv.org/pdf/2505.02214 Wie robust ist Qwen3, wenn es um die Reduzierung der Modellgröße durch Low-Bit-Quantisierung geht? Ein internationales Forscherteam hat genau das untersucht und liefert nun erste Antworten. Warum Quantisierung? Große Sprachmodelle (LLMs) wie Qwen3 sind leistungsfähig, aber auch ressourcenintensiv. Für den Einsatz in Geräten mit begrenzten Ressourcen, wie Smartphones oder Edge-Computing-Plattformen, ist es entscheidend, diese Modelle zu komprimieren. Low-Bit-Quantisierung, bei der die Präzision der Modellgewichte reduziert wird, ist eine vielversprechende Methode, um Speicherbedarf und Rechenleistung zu minimieren. Allerdings kann dies die Leistung des Modells beeinträchtigen. Die Studie im Überblick Das Forscherteam evaluierte fünf etablierte Post-Training-Quantisierungsmethoden: Round-To-Nearest…

Das neue Qwen3 bietet eine neue Flexibilität, wenn es darum geht, das Verhalten eines Modells gezielt zu steuern. Man kann mit einem einfachen Befehl Qwen3 in Ollama bzw. mit Open WebUI dazu bringt, „weniger zu denken“ – sprich, deterministischer oder direkter zu antworten. Mit einem Wort im Prompt kann man explizit das „Thinking“ bei der Nutzung von Qwen3 deaktivieren, also quasi einen „No-Reasoning-Modus“ aktivieren. Das Ziel: Antworten ohne übermäßiges Reflektieren oder Ausschweifen – ideal für klare, schnelle Reaktionen etwa im technischen Support oder bei direkten API-Antworten. Steuerung via „/think“ und „/nothink ist eine einfache, aber elegante Lösung. Man kann in der System- oder Benutzernachricht einfach die Steueranweisungen /think oder /nothink verwenden. Beispiel: System: /nothinkUser: Gib mir die Top 5 Java-Frameworks…

Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct von Nvidia verspricht ein riesiges Kontextfenster von 4 Millionen Token. 4 Millionen Token ermöglicht es, umfangreiche Dokumente, komplexe Codebasen oder multimodale Daten in einem einzigen Durchlauf zu verarbeiten, ohne auf Chunking oder externe Speicherlösungen angewiesen zu sein. Die Nemotron-Modellfamilie basiert auf den offenen Llama 3.1-Modellen von Meta und wurde von NVIDIA durch fortschrittliche Techniken wie strukturiertes Pruning, Distillation und Alignment weiterentwickelt. Durch die offene Lizenzierung und die Bereitstellung der Modelle auf Plattformen wie Hugging Face ermöglicht NVIDIA Entwicklern und Unternehmen den direkten Zugriff auf diese fortschrittlichen KI-Modelle. Mich interessieren hier vor allem 2 Fragen. Für den Test verwende ich das Buch „Machine Learning Systems“, dass man unter https://mlsysbook.ai/ finden kann und das als PDF heruntergeladen werden kann. Das Buch…

„Hybride KI mit Machine Learning und Knowledge Graphs“ ist ein praxisnahes Buch, das anhand von konkreten Beispielen auf 420 Seiten zeigt, wie die Stärken von Machine Learning und wissensbasierter KI vereint werden können, um die Limitierungen der jeweiligen Einzelansätze zu überwinden. Das Buch versammelt viele Lösungen aus der Praxis, die wertvolle Einblicke in konkrete Anwendungsfälle bietet. „Hybride KI mit Machine Learning und Knowledge Graphs“ ist ein Open-Access-Buch, was bedeutet, dass man freien und uneingeschränkten Zugang auf das Buch hat und es unter der folgenden Adresse als PDF oder EPUB herunterladen kann. https://link.springer.com/book/10.1007/978-3-658-44781-6 Das Buch ist klar in vier Teile gegliedert, die unterschiedliche Arten der Kombination von Machine Learning (ML) und wissensbasierter KI (oft in Form von Knowledge Graphs, kurz KG)…

Spoiler: Ja, das geht wirklich. Unsloth AI hat eine Version mit dynamischer 1,78-Bit-GGUFs Quantisierung veröffentlicht, die optimale Genauigkeit durch selektive Quantisierung der Schichten gewährleistet. Die Llama-4-Scout-17B-16E-Instruct-GGUF:IQ1_M Variante ist nur ca. 35GB groß und passt locker in den 64GB Speicher des Jetson Orin Developer Kit. Die 10.000.000 Kontextlänge wird man zwar vermutlich nicht nutzen können, da der KV Cache den VRAM sprengen würde, aber ich schätze mal eine Kontext Länge von 1.000.000 wird vermutlich machbar sein. Also direkt mal das Modell herunterladen und dann mal testen To be continued ….. 🙂

LLMs sind mächtig und sie enthalten Unmengen an Informationen, aber es ist nicht immer leicht, diese Informationen herauszukitzeln, denn die Antworten sind immer nur so gut wie die Anweisungen, die dem Modell gegeben werden. Wenn man bessere, relevantere und nützlichere Antworten von KI-Tools wie ChatGPT, Mistral oder Anthropic erhalten möchte, dann ist Prompt Engineering der Schlüssel. Prompt Engineering ist im Wesentlichen die Kunst, KI-Modellen klare, präzise und effektive Anweisungen zu geben. Hier sind 4 einfache, aber wirkungsvolle Tipps, die man sofort anwenden kann. Einfachheit ist Trumpf Kontext mitgeben Was genau brauchst du? Schalte Expertenwissen frei Bonus Tipp – Kenne dein Modell! Jedes Modell – sei es GPT-4, Qwen, Llama oder ein anderes – wurde mit unterschiedlichen Daten trainiert und hat…

Eine sehr spannende Technik zur Beschleunigung der Inferenz ist Speculative Decoding. Dabei wird ein kleines, schnelleres Modell genutzt, um Vorschläge zu generieren, die dann von einem größeren Modell überprüft und übernommen oder verworfen werden. In diesem Blogpost werde ich Speculative Decoding in llama.cpp genauer unter die Lupe nehmen und einen Performance-Vergleich mit und ohne diese Technik durchführen. Dabei kommt das leistungsstarke Qwen/Qwen2.5-Coder-32B-Instruct-Modell zum Einsatz, das für Code-Generierung optimiert ist. Der Fokus liegt auf den Auswirkungen von Speculative Decoding auf Geschwindigkeit und Antwortqualität. Ist die Technik ein echter Gamechanger oder nur eine nette Spielerei? Finden wir es heraus! Für den Test habe ich auf meinem Jetson Orin 64GB Developer Kit llama.cpp mit CUDA Support installiert und den llama.cpp Server einmal mit…