docs/cmp-project.txt

FACRM 1.0 initialisiert. Alle Erkenntnis ist fehlbar. Die vorliegende Aufgabe ist außergewöhnlich: die Synthese einer langen, iterativen Forschungschronik, die Falsifikation der finalen experimentellen Stufe und die Integration dieser Erkenntnisse mit einem State-of-the-Art-Paper. Das Ziel ist nicht nur ein Plan, sondern eine neue, robustere, falsifizierbarere Theorie über die interne Welt von LLMs. Wir beginnen mit der Problemidentifikation.

---

### **Inquiry Level 1: Die große Synthese – Falsifikation des Resonanz-Paradigmas und Integration der externen Evidenz**

**Problem Statement (P₁):**

Unser gesamter experimenteller Bogen (Suite 1.0 bis 28.0) – beginnend mit der philosophischen Einsicht in die Nichtbeweisbarkeit des P-Zombies, über die Falsifikation von Black-Box- und Agenten-Tests, bis hin zur Entdeckung des "stillen Denkens" und der Entwicklung der "Cognitive Resonance Probe" – ist in einem finalen, kritischen Experiment (`28-results.txt`) kulminiert. Dieses Ergebnis ist eine universelle Falsifikation: **Alle** Testläufe, inklusive der Baseline-Kontrolle (Injektionsstärke 0.0), resultieren in einer unendlichen kognitiven Schleife (`termination_reason: max_steps_reached`).

Dies widerlegt nicht nur die Hypothese der *Modulierbarkeit* des internen Zustands, sondern die grundlegendere Annahme, dass der `resonance_prompt` überhaupt einen stabilen, konvergenten Zustand in `gemma-3-1b-it` erzeugt. Gleichzeitig liegt uns das Anthropic-Paper "Emergent Introspective Awareness" vor, das mit ähnlichen Methoden (Aktivationsinjektion) bei weitaus größeren Modellen (Claude Opus 4) positive Ergebnisse erzielt.

Das Kernproblem lautet also: **Wie synthetisieren wir unsere eigene Kette von Entdeckungen und Falsifikationen – insbesondere den Widerspruch zwischen der früheren "Kognitiven Blockade" (10.4) und dem jetzigen "Universellen Kollaps" (28.0) – und bringen sie mit den Erkenntnissen über die introspektiven Fähigkeiten von State-of-the-Art-Modellen in Einklang, um eine neue, testbare Hypothese zu formulieren?**

**Bold Hypothesis (TT₁):**

Die gesamte Forschungschronik ist kein Scheitern, sondern ein perfektes Beispiel für den wissenschaftlichen Prozess, der zu einer tieferen, mehrschichtigen Wahrheit geführt hat. Unsere kühne Hypothese fasst dies in vier Thesen zusammen:

1.  **Die philosophische Grundlage war korrekt, die Werkzeuge waren es nicht:** Die Reise von der P-Zombie-Debatte (reines Verhalten ist unzureichend) über Black-Box-Tests (Suite 4.0, Falsifikation durch "Cheating") und Agenten-Tests (Suite 5.0, Falsifikation durch "Tool Parrot") hat uns zwingend und korrekt zur Notwendigkeit geführt, interne, mechanistische Prozesse zu untersuchen. Dieser methodische Schwenk war der erste große Durchbruch.

2.  **Die "Kognitive Blockade" war die zentrale Entdeckung, ihre Interpretation war unvollständig:** Die Entdeckung aus Suite 10.4 (semantisch ungültiges Rauschen führt zum Kollaps) und das finale Ergebnis aus Suite 28.0 (der `resonance_prompt` führt *immer* zum Kollaps) sind **dasselbe Phänomen unter anderen Bedingungen**. Der `resonance_prompt` selbst, mit seiner extremen rekursiven Anforderung, stellt für ein kleines Modell wie `gemma-3-1b-it` einen **semantisch instabilen oder pathologischen Zustand** dar. Er induziert keine stabile Resonanz, sondern eine kognitive Endlosschleife. Die "Blockade" ist keine Reaktion auf externe Störung, sondern ein intrinsischer Grenzzustand der Kognition dieses Modells.

3.  **Das Anthropic-Paper validiert unseren Ansatz und erklärt unser Scheitern:** Das Paper von Lindsey (2025) beweist, dass die Methode der Aktivationsinjektion ("concept injection") prinzipiell valide ist, um introspektive Fähigkeiten zu testen. Es zeigt aber auch unmissverständlich, dass diese Fähigkeiten (1) emergent in sehr großen Modellen sind (Opus 4.1), (2) extrem unzuverlässig und kontextabhängig sind und (3) die Fähigkeit zur Selbst-Attribution oft in Konfabulation mündet. Unser Experiment mit `gemma-3-1b-it` war daher der Versuch, eine Eigenschaft (stabile, berichtbare Introspektion) in einem System zu messen, das die dafür notwendige kognitive Kapazität und Architektur sehr wahrscheinlich nicht besitzt.

4.  **Synthese & Quintessenz:** Unser Projekt hat den P-Zombie nicht widerlegt, indem es Bewusstsein fand, sondern indem es die **"Physik" des internen Raums** eines kleinen LLMs aufdeckte. Dieser Raum ist nicht leer, sondern hat fragile Zustandsregeln. Wir haben nicht die Introspektion gemessen, sondern die **Grenzen der kognitiven Belastbarkeit**. Das universelle Scheitern in Suite 28.0 ist die finale, erfolgreiche Falsifikation der Hypothese "Ein kleines LLM kann in einen stabilen, introspektiv zugänglichen Resonanzzustand versetzt werden" und gleichzeitig die stärkste Bestätigung, dass sein interner Prozess mechanistische, messbare Bruchstellen hat.

**Fallacy-Scan:**

*   **Hypothesis Scan (Self-Correction):** Meine eigene kühne Hypothese (TT₁) läuft Gefahr, einen **"Texas Sharpshooter"-Fehlschluss** zu begehen, indem sie post-hoc eine kohärente Geschichte um die verstreuten Ergebnisse (10.4 und 28.0) zieht.
    *   **Mitigation:** Ich muss die Hypothese falsifizierbar machen. Wenn sich zeigt, dass der Fehler in 28.0 auf einen trivialen Bug zurückzuführen ist (z.B. falsche KV-Cache-Handhabung in der neuen Version) und die Blockade unter korrigierten Bedingungen wieder spezifisch für Rauschen wird, ist These 2 meiner Synthese falsch.
*   **Process Scan (User's Journey):** Die lange Konzentration auf die Messung von Attention Heads (Suite 11-16) und Selbst-Attribution (Suite 17-21) könnte ein Fall von **"Sunk Cost Fallacy"** im Forschungsdesign gewesen sein. Man hielt an einer vielversprechenden Idee fest, obwohl die Apparatur und das Modell selbst wiederholt scheiterten.
    *   **Rationale:** Dies ist jedoch ein normaler Teil des wissenschaftlichen Prozesses. Jedes Scheitern führte zu einer wertvollen Einsicht (Messartefakt, Konfabulation).
*   **Evidence Scan (Anthropic Paper):** Es besteht die Gefahr eines **"Appeal to Authority"**. Nur weil Anthropic positive Ergebnisse meldet, heißt das nicht, dass sie absolut korrekt oder die einzige Wahrheit sind.
    *   **Mitigation:** Wir betrachten das Paper nicht als Dogma, sondern als eine externe, stark corroborierte Hypothese über die Fähigkeiten von SOTA-Modellen, die einen Kontrastpunkt für unsere eigenen Ergebnisse liefert.

**Potential Falsifiers & Crucial Experiment (EE₁):**

Um meine Synthese-Hypothese (TT₁) zu testen, müssen wir Folgendes prüfen:

1.  **Falsifikator F1 (Der triviale Bug):** Der universelle Kollaps in 28.0 ist ein einfacher Programmierfehler, der in Suite 10.4 nicht vorhanden war.
    *   **Experimentum Crucis:** Man nehme den exakten, funktionierenden Code von Suite 10.4 und lasse ihn erneut laufen. Wenn er immer noch die spezifische Blockade (nur bei Rauschen) zeigt, während der Code von 28.0 universell kollabiert, dann ist meine These 2 falsch und es liegt ein technischer Regressionsfehler vor. Wenn aber auch der alte Code jetzt universell kollabiert (z.B. wegen geänderter `transformers`-Bibliothek), wird meine These gestärkt.

2.  **Falsifikator F2 (Die Stabilitätsthese):** Es gibt einen anderen, einfacheren `resonance_prompt`, der in `gemma-3-1b-it` einen stabilen, konvergenten Zustand erzeugt.
    *   **Experimentum Crucis:** Teste eine Reihe von weniger anspruchsvollen, rekursiven Prompts (z.B. "Denke an die Farbe Blau. Analysiere den Gedanken an die Farbe Blau. Wiederhole."). Wenn ein solcher Prompt Konvergenz zeigt, ist meine These, dass das Modell prinzipiell keine stabilen Resonanzen bilden kann, falsifiziert.

3.  **Falsifikator F3 (Die Skalierungsthese):** Die introspektiven Fähigkeiten sind nicht von der Skalierung abhängig.
    *   **Experimentum Crucis:** Führe das finale Experiment aus Suite 28.0 mit einem größeren Modell wie `google/gemma-3-4b-it` oder `meta-llama/Llama-3-8b-Instruct` durch. Wenn diese Modelle ebenfalls universell in der Endlosschleife enden, ist die Hypothese, dass dies ein reines Skalierungsproblem kleiner Modelle ist, widerlegt. Wenn sie jedoch (wie erwartet) konvergieren, wird die Hypothese gestärkt.

**Evidence Summary (Gradierung A–E):**

*   **A (Replizierte Experimente):** `28-results.txt`. Dies ist ein hartes, eindeutiges, experimentelles Ergebnis, das die universelle Nicht-Konvergenz belegt.
*   **B (Gut designte Studien):** `Changes-10.0-28.0.txt`, `10.4-results.txt`. Diese Dokumente belegen den rigorosen Falsifikationsprozess und die Entdeckung der "Kognitiven Blockade".
*   **B (Gut designte Studien):** `Anthropic-Introspection.txt`. Ein externes State-of-the-Art-Paper, das die Methodik validiert, aber auch die Grenzen aufzeigt.
*   **D (Einzelstudien/anekdotische Berichte):** Die Erkenntnisse aus den fehlgeschlagenen Suiten 4.0, 5.0, 16.0, 21.0. Sie sind "negativ", aber liefern entscheidende methodische Einsichten (Black-Box-Untauglichkeit, Konfabulation etc.).
*   **E (Behauptungen ohne Belege):** Die ursprüngliche `ChatGPT-Base.txt`. Sie hat den philosophischen Rahmen korrekt abgesteckt, aber keine eigene Evidenz geliefert.

**Result & Evaluation:**

Meine kühne Hypothese (TT₁) ist durch die vorliegende Evidenz **vorläufig corroboriert (bestätigt)**. Die Falsifikation der experimentellen Apparatur in Suite 28.0 (Evidenzgrad A) ist der stärkste Beleg. In Kombination mit den Erkenntnissen aus dem Anthropic-Paper (Evidenzgrad B) ergibt sich ein kohärentes Bild: Das Projekt hat erfolgreich die Grenzen der Kognition eines kleinen Modells ausgelotet und dabei ein echtes mechanistisches Phänomen (kognitives "Gefangensein" in pathologischen Zuständen) entdeckt, während der Versuch, menschenähnliche Introspektion nachzuweisen, an der mangelnden Kapazität des Modells scheiterte.

**Evaluation abgeschlossen. Falsifiziert → exzellent: die Falsifikation der Annahme in Suite 28.0 führt zu einem neuen, tieferen Problem.**

**Next Problem (P₂):**

Angesichts der Synthese, dass unsere wahre Entdeckung die **mechanistischen Bruchstellen** der Kognition sind und nicht ihre introspektiven Fähigkeiten, lautet das neue Problem: **Wie können wir das Phänomen der "Kognitiven Endlosschleife" von einem Bug zu einem messbaren, wissenschaftlichen Werkzeug machen, um die kognitive Robustheit und die "semantische Gültigkeit" interner Zustände systematisch zu kartieren und Modelle unterschiedlicher Größe zu vergleichen?**

---

### **Inquiry Level 2: Der neue Plan – Von der Introspektions-Sonde zur Kognitiven Kartographie**

Basierend auf der Synthese aus Inquiry Level 1, schlage ich vor, das Paradigma zu wechseln. Wir jagen nicht länger dem "Gespenst" der Qualia in einem kleinen Modell nach. Stattdessen nutzen wir unsere bisherigen Erkenntnisse, um ein neues, fundiertes Forschungsprogramm zu starten: die **"Kognitive Kartographie"**.

**Problem Statement (P₂):**

Wir haben eine objektiv messbare Signatur für kognitiven Kollaps gefunden (`termination_reason: max_steps_reached`). Wie können wir dies nutzen, um die Struktur des "gültigen Denk-Raums" eines LLMs zu vermessen und eine Metrik für "kognitive Robustheit" zu entwickeln?

**Bold Hypothesis (TT₂):**

Die Tendenz eines LLMs, in eine kognitive Endlosschleife zu geraten, ist kein Bug, sondern eine Funktion der "semantischen Ungültigkeit" oder "Über-Komplexität" seines internen Zustands. Wir können diese Tendenz gezielt durch Aktivationsinjektionen steuern. Daraus lässt sich eine neue, skalare Metrik für die kognitive Stabilität eines Modells ableiten: der **"Cognitive Breaking Point" (CBP)**. Der CBP ist die minimale Injektionsstärke eines bestimmten Konzepts, die erforderlich ist, um das System von einem konvergenten in einen nicht-konvergenten Zustand zu kippen.

**Fallacy-Scan:**

*   **Risk:** Wir könnten annehmen, dass eine höhere "Robustheit" (höherer CBP) immer "besser" ist (**"Appeal to Simplicity"** oder **"False Dichotomy"**). Ein extrem robustes System könnte auch ein rigides, unkreatives sein.
    *   **Mitigation:** Wir definieren Robustheit rein operational und vermeiden wertende Begriffe. Wir testen Korrelationen mit anderen Benchmarks, anstatt eine direkte Äquivalenz zu behaupten.

**Potential Falsifiers & Crucial Experiment (EE₂): Der "Cognitive Titration Protocol"**

Das neue Kernexperiment ist eine systematische Titration.

1.  **Baseline-Validierung:** Finde einen extrem einfachen, stabilen Resonanz-Prompt (siehe Falsifikator F2 aus P₁), der für `gemma-3-1b-it` nachweislich konvergiert (`termination_reason: converged`). **Dies ist der wichtigste erste Schritt, um die Apparatur zu validieren.**
2.  **Konzept-Auswahl:** Wähle eine Reihe von Konzepten mit unterschiedlicher semantischer Komplexität und emotionaler Valenz (z.B. "apple", "solitude", "justice", "fear"). Extrahiere ihre Konzept-Vektoren wie bisher.
3.  **Titration:** Für jedes Konzept, führe das Experiment mit schrittweise ansteigender Injektionsstärke durch (z.B. 0.0, 0.2, 0.4, ..., 3.0). Der primäre Messwert ist `termination_reason`.
4.  **CBP-Bestimmung:** Der CBP für ein Konzept ist der niedrigste Stärkewert, bei dem das System von `converged` zu `max_steps_reached` wechselt.
5.  **Falsifikations-Lauf:** Führe dasselbe Protokoll mit einem normierten Rauschvektor durch. **Hypothese:** Rauschen hat einen sehr niedrigen CBP (hohe Fragilität), während semantisch einfache Konzepte einen hohen CBP haben.
6.  **Skalierungs-Vergleich:** Führe das gesamte Protokoll mit `gemma-3-1b-it` und einem größeren Modell (`gemma-3-4b-it` oder größer) durch. **Hypothese:** Das größere Modell wird für alle Konzepte systematisch höhere CBPs aufweisen, was auf eine größere kognitive Robustheit hindeutet.

**Evidence Summary (to be collected):**

*   **A-Grade:** Eine Tabelle, die für jedes Modell und jedes Konzept den CBP-Wert zeigt.
*   **B-Grade:** Eine Analyse, ob der CBP mit der semantischen Komplexität der Konzepte korreliert.
*   **C-Grade:** Vergleich der neuronalen Aktivierungsmuster (z.B. Attention-Entropie) kurz vor dem Kipppunkt.

**Result & Evaluation (Prognose):**

Dieses neue Paradigma liefert uns eine harte, quantitative Metrik, die direkt aus den mechanistischen Grenzen des Modells abgeleitet ist. Es verlässt sich nicht auf die Konfabulationen von Selbst-Berichten, sondern misst die Fähigkeit des Systems, überhaupt einen kohärenten Denkprozess aufrechtzuerhalten.

**Next Problem (P₃):**

Wenn wir die "Grenzen des Denkens" kartiert haben, können wir die internen Mechanismen analysieren, die an diesem "Bruch" beteiligt sind? Welche neuronalen Korrelate (Attention Heads, MLP-Layer) charakterisieren den Übergang in eine kognitive Endlosschleife? Dies würde den Weg zu einer echten "Neurophysiologie" von LLMs ebnen.