===== M02-4: Chat AI =====

[[https://kisski.gwdg.de/leistungen/2-02-llm-service/|Chat AI]] ist ein Web Interface, vergleichbar mit ChatGPT zur Interaktion mit verschiedenen Large Language Models. Ein zentraler Vorteil von Chat AI gegenüber anderen Systemen, wie ChatGPT, ist die lokale Speicherung der Chatverläufe im Browser der Nutzenden. Ihre Eingaben werden zwar von dem Large Language Model zur Beantwortung analysiert, die Daten werden allerdings nicht auf externen Servern gespeichert. Eine ausführliche Dokumentation zum Tool finden Sie [[https://docs.hpc.gwdg.de/services/chat-ai/index.html|hier]].

Sollten Sie Fragen zur Nutzung von Chat AI haben, kontaktieren Sie Laura Stortz: stortz(at)em.uni-frankfurt.de

==== Anmeldung ====

__1. Schritt__: Öffnen Sie diesen [[https://chat-ai.academiccloud.de/|Link]], klicken Sie auf „Föderierte Anmeldung“ und wählen Sie die Einrichtung „Universität Frankfurt“ aus.

{{ :courses:studierende:l:s-fachdidaktik:material:kombi_01.jpg?800 |}}

__2. Schritt__: Geben Sie Ihre HRZ-Anmeldedaten ein und klicken Sie auf Login. Anschließend sehen Sie Informationen zur Datenübermittlung, welche Sie akzeptieren müssen. Die Anmeldung dauert einen kurzen Moment.

{{ :courses:studierende:l:s-fachdidaktik:material:kombi_02.jpg?800 |}}

__3. Schritt__: Bestätigen Sie die Nutzungsbedingungen und schicken diese ab. Dann sollte sich die Anwendung wie folgt öffnen:

{{ :courses:studierende:l:s-fachdidaktik:material:kombi_03.jpg?800 |}}

==== Zentrale Funktionen von Chat AI ====

Hier werden einige der zentralen Funktionen von Chat AI in Kürze erklärt. Sie finden ausführlichere Erklärungen zu den einzelnen Funktionen in der oben verlinkten Dokumentation und auf den blauen Fragezeichen neben den jeweiligen Schaltflächen. 

{{ :courses:studierende:l:s-fachdidaktik:material:2.0_markierungen.jpg?800 |}}

**1. Optionen:**

Hier können einige Voreinstellungen getroffen werden, welche die Arbeitsweise des Large Language Models beeinflussen. Wir haben diese Einstellungen bereits für den Seminarkontext angepasst. Sie erreichen die angepasste Chatumgebung unter folgendem Link: https://tinyurl.com/ChatAICriticalFriend

  * __a. Wahl des Modells__: Sie haben bei Chat AI die Auswahl zwischen verschiedenen Large Language Models. Nähere Infos zu den verfügbaren Modellen finden Sie [[https://docs.hpc.gwdg.de/services/chat-ai/models/index.html|hier]]. Im Kontext des Seminars nutzen wir das Modell „Llama 3.1 70B Instruct“.
  * __b. Einstellen der „Temperatur“__: Die Temperatur bestimmt den Charakter der Antworten: Bei einer niedrigen Temperatur generiert der Chatbot eher nüchterne Antworten, bei einer hohen Temperatur eher kreativere Antworten. Im Kontext des Seminars nutzen wir als Temperatur den Wert 0.7.
  * c. __Einstellen des Top_P-Wertes__: Auch der Top_P-Wert wirkt sich auf die Kreativität der Antworten aus. Im Kontext des Seminars nutzen wir den Wert 0.8. 
  * d. __Der System Prompt__: Mithilfe eines Systemprompts können bereits gewisse Vorannahmen festgelegt werden, die dann nicht mehr in die individuelle Chatnachricht eingebracht werden müssen. Hier können wir hinterlegen, dass der Chatbot als Critical Friend agieren soll. 

**2. Chateingabe:**
  * a. __Upload-Funktion__: Hier können Sie Texte hochladen
  * b. __Sprachfunktion__: Ermöglicht die Eingabe von Chatbefehle per Spracheingabe
 
**3.Chat-Ausgabefeld:**
  * a. __Anzeigefenster__: Hier erscheinen ihre Gesprächsverläufe
  * b. __Export__: Ermöglicht den Export Ihres Chat-Protokolls. Exportieren Sie Ihr Protokoll als TXT-Datei und wählen Sie „Modell und Optionen einbeziehen“. Benennen Sie Ihr Protokoll wie folgt: Nachname_Datum_Protokollnummer; Beispiel: Schneider_20241031_Protokoll01
  * c. __Import__: Ermöglicht den Import von Chats
  * d. __Rückgängig__: Hier können Sie Ihre letzte Chatanfrage rückgängig machen

==== 📚 Literatur ====

Doosthosseini, A., Decker, J., Nolte, H., & Kunkel, J. M. (2024). Chat AI: A Seamless Slurm-Native Solution for HPC-Based Services (arXiv:2407.00110). arXiv. http://arxiv.org/abs/2407.00110