Cozy Tram mit KI Generierte Lofi Musik

Auf der Plattform Steam, habe ich auch Programme gefunden, die einfach nur Musik abspielen und eine Pixelart Animation abspielen. Das erinnerte mich, dass ich vor 20 Jahren ebenfalls eine daueranimation haben wollte, die zusätzlich Musik abspielt und sich auch Inhaltlich mit der Zeit verändert. Ich sah mir noch weiter Assets an und fand die Tram Bahn sehr gemütlich und mit AI generated Lofi Musik würde ich das Ergebnis Abrunden.

 

Stadtfahrt

Früher mochte ich Bahnfahren und sicherlich hätte ich die Tram-Bahn auch gemocht, wenn in Flensburg noch welche fahren würden. 

Wenn ich das nicht haben kann, wie wäre das als Bildschirm Animation. Am besten ist, wenn die Anwendung nicht nur auf dem PC läuft, sondern auf meinem alten Windows Phone 10. Das hat genügend Leistung und zuschade, dass das Smartphone nur im Schrank liegt. Das kann ich jedoch erst am Sonntag prüfen.

Mondschürfer (wieder mit Claude generiert)

Und wieder habe ich mit Claude ein mini Spiel generiert. So allmählich begehe ich hier Slop mäßig eine Sache nach der Anderen zu generieren. Aber eine Idee nach der anderen zu generieren in einen Protoypen, ist vielleicht das nächste Level wie man ein neues Spielkonzept evaluiert. Fraglich ist, wie beeinflusst das die Kreativität, weil sehr früh bereits ein Stil festgelegt wird, der sich eigentlich noch entwicklen würde.

Neuen Version mit Ton Generieren 

Zuerst hatte ich das Spiel noch ohne Soundeffekte erstellt, aber ich fand das spiel so gut, dass ich dachte, ich brauch noch Ton. In den Kenny Game Asset geschaut (ich hatte für die drei Assets Pack gespendet und ist absolut empfehlenswert) und die Audio Assets zu dem Repo hinzugefügt. Dann neuen Prompt geschrieben und gewartet auf die neue Version.

Wichtig für mich

Beim generieren des Spiels, war mir wieder wichtig, dass der Code nur mit C++ Generiert wird und möglichst wenig Abhängigkeiten hat, wenn man von Windows und Linux abseht. Plattform übergreifend ist ja heute ein wichtiges Thema, dennoch bin ich erstaunt, dass Plattform übergreifende Entwicklung offensichtlich schon länger gab. Zuerst hatte ich das nur damals von Doom gehört oder gelesen, dass die Programmcode so gut war, dass mit wenig Aufwand auf andere System bereit gestellt werden konnte.

Und noch eine Sache möchte ich los werden. Das Generieren von Code, um daraus ein Spiel zu bekommen ist erstaunlich. Im Detail bleibt das Ergebnis immer noch ein Prototyp und nicht mehr. Das ist nicht abwerten gemeint, aber man muss sich bewust machen, dass die generierten Spiele das gewisse Leben fehlt, dass durch den Creativen Prozess vom Menschen gegeben wird.

Git Repository: https://github.com/Codexzier/Mondschuerfer

Mein Spielkonzept zum Prototypen

Seit Jahren will ich mein eigenes Spiel umsetzen und habe mehrere Game Engines angelernt. Letzter Dämpfer war Unity 3D und mit der Idee pro installation bezahlen zu müssen. Nun sind einige Jahre vergangen und KI Modelle sind nicht nur da, sondern erschrecken schnell besser geworden. (Meine Skepsis: Zu welchen Preis?)

Nun mein Spiel hatte ich über Jahre hin immer etwas weiter beschrieben und auch eine Geschichte hatte ich darin angefangen, um auch eine Handlung mit einzubringen.

Claude, Opus 5.5 und auf UltraCode stellen 

Aber manchmal will man einfach einen Prototypen haben und sehen, ob das eigene Konzept aufgeh. Und da kommt Claude und hat meine Idee für mich über Nacht erledigt.

• Vorraussetzung: Claude Pro Account  
• Konzept geschrieben als Prompt
• Kenny Game Assets dazu gegeben

Am Morgen sah ich schon im Claude Chat, das einige Test durchgeführt wurden und Screenshots erzeugt wurden. Meine Freude war schon fast wie mein Kindliches ich am Weihnachten. 

Fehlen nur noch die Soundefffekt und Musik, die nicht erkannt wurden. Da muss ich noch mal nach sehen. Oder zumindest den SDL2_Mixer installieren für die einfachen Töne.

Technisch ist alles in C++ und benötigt dazu einen C++ 17 Compiler, CMake ab 3.16, SDL2, SDL2_image. Dann kann gespielt werden.

 

Branch im Repo Github: MiniShipDeliveryPlusPlus - Branch: claude/cool-allen-k2x2gm 

Noch etwas aus der Mottenkiste TFT Schield für Arduino

Ok, heute schreibe ich wieder über eine Sache, die ich ebenfall schon immer machen wollte und nun über Claude gelöst hatte.

Diesmal gehts darum, dass ich für den Arduino ein Schield für TFT Dislpay habe. In der Vergangenheit hatte ich bereits Sensor Daten angezeigt von mit einem MPU6050 Sensor.

Nun habe ich das mit Sensor und Bilder Diaschow kombiniert. Wenn keine Großen bewegungen statt findet, dann werden alle 30 Sekunden ein Bild von der SD Karte geladen. 

 

Anderfalls beim überschreiten des Schwellwertes, wird die Bewegungsaktivität auf dem ganzen Display angezeigt, was ich beriets im Titelbild zeige.

In der neuen Version werden nur die Sensor Daten angezeigt, wenn keine BMP Bilder auf der SD Karte sind, oder die SD Karte nicht eingelegt ist. Und noch eine Ergänzung ist, dass über die Serielle Verbindung auch ein Bild hinzugefügt werden kann. Aber da brauche ich noch eine passende Anwendung.

 

Repository: https://github.com/Codexzier/TftPictureViewer 

Sternwarte im Docker Container

Noch eine Sache die ich mir mit Claude generiert habe ist eine Webseite die mir relevante Informationen zum Thema Weltraum zeigt.

• Wie siehts mit der Bewölkung bei der Stündlich Schritten aus in der Nacht. Weil mit dem Teleskop eine klare sicht erfordert.
• Wo befindet sich gerade die Raumstation ISS. Vielleicht kann man die Station so als Lichtpunkt am Himmel erkennen.
• Wie hoch ist der Kp-Index. Interessant wenn mal wieder Nordlichter zu sehen sein sollte. Zwar sind die großen Sonnenaktivitäten vorbei, aber man weis ja nie, ob etwas unvorhergesehenes kommt und dann will ich das schon Rechtzeitig erfahren.
• Raketenstarts. Wer weis. Bisher habe ich die Raketenendstufen am Himmel gesehen, von SpaceX.
• NASA Bild des Tages. Ich mag Weltraum Bilder.

Das ganze läuft als Docker Container auf meinem Raspberry Pi, auf dem bereits das Smarthome ausgeführt wird.

So, nun ist das ja nicht so, dass ich immer jeden Tag daran denke, auf die Webseite zu schauen. Daher kam noch die Ergänzung, dass ein ESP32-C3 die Docker Container einen Wert abfragt und dann eine RGB LED ansteuert. Für jedes Thema habe ich eine Farbe gewählt und somit muss ich nicht mal ein Gerät starten, um die Webseite abzurufen.

An der Stelle käme der Punkt, wo ich die Sourcen posten würde, aber viel Interessanter wäre der Promt. Zudem kann jeder einen Kostenlosten Account erstellen und sich ebenfalls solch einer Docker Container Anwendung Generieren. Am Ende bekommt man nicht nur die Sourcen zum herunterladen, sondern auch die Anleitung.

Der Promt:

Weltraum-Seite in Kombination mit einem ESP32-C3 an dem eine RGB LED (WS2812b) angeschlossen ist.
Weil ich selbst auch eine Teleskop habe, interessiere ich mich auf gute Bedinungen wie Wetter und Weltraum Abhängige Ereignisse.
Gerne auf der Übersicht folgende Inhalte einsetzen:

• Posittion der ISS Raumstation und wenn möglich das aktuelles Land anzeigen, über das gerade die Raumstation liegt
• Raketenstarts, die möglicherweise in Europa zu sehen sein könnten am Himmel. Z.B. von SpaceX konnte ich einmal das beobachten.
• Sonnenstürme. Bezüglich wenn die Erwartung von Nordlichter sehr hoch ist.
• Das NASA Bild des Tages.

Für die Webseite sollte ein Zugriffspunk genannt werden, damit ich mit dem ESP32-C3 abfragen kann, ob gerade etwas interessantes anliegt. Dabei reicht ein URL Abgriff mit Rückgabe eines Farbwertes von RGB. Dann bin ich nicht wirklich von dem ESP32-C3 abhängig, sondern könnte auch andere System nutzen, die darauf zurückgreifen könnten.
Der Abrufende Farbwert hat stellenvertretene Hinweis auf die genannten Punkte.

• Grün für ISS, wenn sich die Raumstation über Deutschland befindet.
• Lila, wenn Raketenstart in den nächsten 24 Stunden ansteht.
• Blau für die Meldung von Nordlichtern

  

 

Arduino Esplora aus der Mottenkiste

Ich bin total aus den Socken, nachdem ich einen neuen Branch angelegt habe, damit die KI Claude, mein Projekt überarbeitet, um zum Beispiel mein Problem mit der Bildwiederholrate und dem Fehlenden Grafiken zu behen.

Verbessert? Auf jedenfall!

Nicht nur die Performance hat sich verbessert, Claude hat sogar die Grafiken von Blocken in richtige Sprites umgesetzt. Was vorher nur ein Schemenhaft war, hat jetzt Struktur bekommen.

 

Zudem hat Claude aus meinem Programmcode verstanden, dass bereits eine Implementierung für einen Kartenwechsel enthalten sind und der Wechsel durch Trigger Information abgerufen werden kann. Und in meinen Code Notizen stand bereits, dass ich vorhatte, dass die Spielfigur eine Kamera besorgen soll, um in der Umgebung Fotos zu knipsen. 

Vorher und nachher 

Aus den langweiligen Klötzchen Grafik wurde...

 

 .. ein richtigen Pixelart Spiel.

 

Zur Umsetzung

Das ganz brauchte einen Prompt und ca. 20 Minuten Codebearbeitung durch Claude und dem KI Modell Opus 5.5, das zu dem Zeitpunkt das aktuellest ist. 

Das Projekt kann vollständig über den Arduino Compiler und den Arduino ESPLORA Bibliotheken kompiliert werden. Der Arbeitspeicher wird für das Spiel bis an die Grenzen ausgereizt. Deshalb kann nicht mehr Inhalt implementiert werden, aber das reicht auch bereits für mich. Allein das Render der Sprites, ohne das die Figur Flimmert, hebt meine begeisterung und werde einiges neues lernen zur Steuerung des TFT Bildschirms, sobald ich Zeit habe den Code zu lesen.

In den Master Branch habe ich das Projekt noch nicht gemerge, da ich die Inhalte des Programmcode noch durchlesen muss und bei Bedarf noch Nach Kommentiere.

Reposititory Branch:  EsploraLittleGame, Branch: DevelopmentWithAi

 

 

 

 

 

 

Claude für die Entiwcklung mit dem Arduino UNO Q verwenden

Ich habe vom ehemaligen Kollegen einen 7 Tage Gutscheint für Claude Pro erhalten und kann jetzt meine Neugier mit der Agenten Schnittstelle über Arduino APP LAB ausprobieren. 

Verfügbar sind derzeitig Sonnet 5, Fable 5, Opus 5 und Haiku 4.5.

 

Was davon besser ist, werde ich zunächst ergründen.

 

Einfach starten mit Default Sonnet 5 

Ich probiere meinen ersten Prompt wo es um Bild erkennung geht. Dabei soll das Beispiel Projekt "Detect Objects on Camera" verwendet werden um einen Servo am Arduino Motor Shield zu steuern.

Mein Prompt:

Aktuell habe ich eine Kopie der Beispiel Anwendung "Detect Objects on Camera" und habe Der App den Namen Watchmen vergeben. Meine Idee verwendet die Grundlage der Objekterkennung. Das will ich um einen Servo ergänzen. Wenn eine Person erkannt wird, soll sich der Servo entsprechend Ausrichten. Ist die erkannte Objekt eine Person und befindet sich praktisch in der Mitte des Kamera Bildes, richtet sich der Servo auf die Mittelstellung. Jeweiter die Person im Kamera Bild nach Links im Bild bewegt, um so weiter soll sich der Servo nach Links stellen (die kurze Impulslänge). Zur anderen richtgung im Kamera Bild das selbe, je weiter die Person rechts im Bild ist, um so weiter bewegt sich der Servodrehung nach rechts. Zusätzlich zur Objekt erkennung sollen die vier RGB LEDs auf dem Media Carrier aufleuchten. Wenn eine Person als Objekt erkannt wurde, soll zunächst nur die erste RGB LED Rot leuchten. Je nach Erkennungsgrad in Prozent, sollen die drei weiteren LEDs ebenfalls aufleuchten. Also bis 25 Prozent, nur die erste RGB LED auf Grün, wenn zwischen 25 bis 50 Prozent sind, dann die erste und zweite RGB LED auf Grün, wenn zwischen 50 bis 75 Prozent erkannt wurde, dann die erste, zweite und dritte RGB LED auf Grün. Alles darüber soll dann alle 4 RGB LEDs grün leuchten. Wenn keine Person erkannt wurde, dann soll über die vier RGB LEDs ein lauflicht mit Blau animiert werden. Zudem ist am Arduino UNO Q ein Modulino LED Matrix angeschlossen. Darauf soll der Text zum erkannten Objekt angezeigt werden. 

Nach dem Absenden wartete ich und sah wieviele Tokens mit der Zeit verbraucht werden.

 

Zwischen Zeitlichen wurden Rückfragen gestellt, weil einige Beschreibung Wiedersprüchlich sein könnte. Ein Beispiel für die Objekt erkennung, wenn eine Person erkannt wurde, dass die erst RGB LED rot leuchten sollte, aber im nächsten Satz beschrieb ich, das die dann grün leuchten soll. Ich habe darauf geantwortet, dass die erste Sekunde Rot leuchten soll und dann grün.  

Das Ergebnis

Nach ca. 25 Minten konnte der erste Test erfolgen. Leider wird die Zeit nach dem durchlauf ausgeblendet, sowie auch der Verbrauch der Token. Von Claude kam noch fragen, ob die Beschriebenen Funktion nun zu sehen sind.

1. Bewegt sich der Servo in abhängigkeit zur erkannten Person im Bild.
2. Leuchten die RGB LEDs.
3. Wird ein Text auf dem Modulino LED Matrix angezeigt.

Zunächst konnte ich nur die Servo Bewegung bestätigen. Die anderen zwei Punkte funktionierten noch nicht und gab beschrieb das Ergebnis an Claude. Und wieder wurde der Code weiter bearbeitet. 

Nach der ersten Korrektur

 

Ca. 10 Minuten später. Claude hat offenbar recharchiert, denn die KI hat festgestellt, dass die vier RGB LEDs auf dem Media Carrier noch über den Docker Container noch nicht erreichbar sind. Daher habe ich darauf geantwortet, alternativ die zwei LEDs auf dem Arudino UNO Q zu verwenden. Der Modulino fing zu leuchten an, aber auf der Matrix war kein Text zu erkennen und sah eher nach wilden zufalls Leuchten aus.

Nach der zweiten Korrektur

 

Servosteuerung nach Personenerkennung funktionierte weiter. Die zwei RGB LEDs auf dem Arduino UNO Q leuchteten auf mit der Ausweichlösung. Nur die LED Matrix war zeigt ein nicht lesbares ergebnis.

Nach dem dritten und vierten Korrektur

 

Das Problem mit dem Modulino LED Matrix macht noch schwierigkeiten, die ich mir noch nicht erklären kann und habs daher erstmal verworfen. Letzten Endes war das erstmal anzusehen, wie das mit einem KI Agent auf dem Arduino UNO Q so läuft. Das richtige Ziel Prototypen Programm werde ich damit weiter entwicklen, sobald ich die Plattform fertig habe.

Interessant wäre ja die Anzahl Token zu sehen, aber weder im Agenten Modus noch auf der Webseite konnte der Verbrauch nicht gesichtet werden. Außer das mein Nutzungslimit zu 50% verbaucht war, dass jedoch in der nächsten Stunde zurück gesetzt wird.