Ich habe vom ehemaligen Kollegen einen 7 Tage Gutscheint für Claude Pro erhalten und kann jetzt meine Neugier mit der Agenten Schnittstelle über Arduino APP LAB ausprobieren.
Verfügbar sind derzeitig Sonnet 5, Fable 5, Opus 5 und Haiku 4.5.
Was davon besser ist, werde ich zunächst ergründen.
Einfach starten mit Default Sonnet 5
Ich probiere meinen ersten Prompt wo es um Bild erkennung geht. Dabei soll das Beispiel Projekt "Detect Objects on Camera" verwendet werden um einen Servo am Arduino Motor Shield zu steuern.
Mein Prompt:
Aktuell habe ich eine Kopie der Beispiel Anwendung "Detect Objects on Camera" und habe Der App den Namen Watchmen vergeben. Meine Idee verwendet die Grundlage der Objekterkennung. Das will ich um einen Servo ergänzen. Wenn eine Person erkannt wird, soll sich der Servo entsprechend Ausrichten. Ist die erkannte Objekt eine Person und befindet sich praktisch in der Mitte des Kamera Bildes, richtet sich der Servo auf die Mittelstellung. Jeweiter die Person im Kamera Bild nach Links im Bild bewegt, um so weiter soll sich der Servo nach Links stellen (die kurze Impulslänge). Zur anderen richtgung im Kamera Bild das selbe, je weiter die Person rechts im Bild ist, um so weiter bewegt sich der Servodrehung nach rechts. Zusätzlich zur Objekt erkennung sollen die vier RGB LEDs auf dem Media Carrier aufleuchten. Wenn eine Person als Objekt erkannt wurde, soll zunächst nur die erste RGB LED Rot leuchten. Je nach Erkennungsgrad in Prozent, sollen die drei weiteren LEDs ebenfalls aufleuchten. Also bis 25 Prozent, nur die erste RGB LED auf Grün, wenn zwischen 25 bis 50 Prozent sind, dann die erste und zweite RGB LED auf Grün, wenn zwischen 50 bis 75 Prozent erkannt wurde, dann die erste, zweite und dritte RGB LED auf Grün. Alles darüber soll dann alle 4 RGB LEDs grün leuchten. Wenn keine Person erkannt wurde, dann soll über die vier RGB LEDs ein lauflicht mit Blau animiert werden. Zudem ist am Arduino UNO Q ein Modulino LED Matrix angeschlossen. Darauf soll der Text zum erkannten Objekt angezeigt werden.
Nach dem Absenden wartete ich und sah wieviele Tokens mit der Zeit verbraucht werden.
Zwischen Zeitlichen wurden Rückfragen gestellt, weil einige Beschreibung Wiedersprüchlich sein könnte. Ein Beispiel für die Objekt erkennung, wenn eine Person erkannt wurde, dass die erst RGB LED rot leuchten sollte, aber im nächsten Satz beschrieb ich, das die dann grün leuchten soll. Ich habe darauf geantwortet, dass die erste Sekunde Rot leuchten soll und dann grün.
Das Ergebnis
Nach ca. 25 Minten konnte der erste Test erfolgen. Leider wird die Zeit nach dem durchlauf ausgeblendet, sowie auch der Verbrauch der Token. Von Claude kam noch fragen, ob die Beschriebenen Funktion nun zu sehen sind.
- Bewegt sich der Servo in abhängigkeit zur erkannten Person im Bild.
- Leuchten die RGB LEDs.
- Wird ein Text auf dem Modulino LED Matrix angezeigt.
Zunächst konnte ich nur die Servo Bewegung bestätigen. Die anderen zwei Punkte funktionierten noch nicht und gab beschrieb das Ergebnis an Claude. Und wieder wurde der Code weiter bearbeitet.
Nach der ersten Korrektur
Ca. 10 Minuten später. Claude hat offenbar recharchiert, denn die KI hat festgestellt, dass die vier RGB LEDs auf dem Media Carrier noch über den Docker Container noch nicht erreichbar sind. Daher habe ich darauf geantwortet, alternativ die zwei LEDs auf dem Arudino UNO Q zu verwenden. Der Modulino fing zu leuchten an, aber auf der Matrix war kein Text zu erkennen und sah eher nach wilden zufalls Leuchten aus.
Nach der zweiten Korrektur
Servosteuerung nach Personenerkennung funktionierte weiter. Die zwei RGB LEDs auf dem Arduino UNO Q leuchteten auf mit der Ausweichlösung. Nur die LED Matrix war zeigt ein nicht lesbares ergebnis.
Nach dem dritten und vierten Korrektur
Das Problem mit dem Modulino LED Matrix macht noch schwierigkeiten, die ich mir noch nicht erklären kann und habs daher erstmal verworfen. Letzten Endes war das erstmal anzusehen, wie das mit einem KI Agent auf dem Arduino UNO Q so läuft. Das richtige Ziel Prototypen Programm werde ich damit weiter entwicklen, sobald ich die Plattform fertig habe.
Interessant wäre ja die Anzahl Token zu sehen, aber weder im Agenten Modus noch auf der Webseite konnte der Verbrauch nicht gesichtet werden. Außer das mein Nutzungslimit zu 50% verbaucht war, dass jedoch in der nächsten Stunde zurück gesetzt wird.
