added install-llm-web-interface

README.md

@@ -11,6 +11,31 @@ Questa repository contiene i seguenti script:
     curl -L "https://git.phc.dm.unipi.it/phc/dm-scripts/raw/branch/main/steam-install" | bash
     ```
 
+-   `install-llm-web-interface` — [@aziis98](https://git.phc.dm.unipi.it/aziis98)
+
+    Serve a scaricare una [web-ui per usare LLM](https://github.com/oobabooga/text-generation-webui/) in locale in Aula 3/4. Per utilizzarlo, basta eseguire il seguente comando da terminale
+
+    ```bash shell
+    $ curl -LO "https://git.phc.dm.unipi.it/phc/dm-scripts/raw/branch/main/install-llm-web-interface"
+    $ chmod +x install-llm-web-interface
+    
+    # La prima volta che lo si esegue, bisogna installare i pacchetti necessari
+    $ ./install-llm-web-interface
+
+    # Le volte successive, si può eseguire questo per impostare una porta specifica
+    $ ./install-llm-web-interface --listen-port 8080
+    ```
+
+    Nel frattempo, è possibile usare LLM in locale aprendo il browser all'indirizzo `http://localhost:8080` oppure se si sta usando ssh aprendo un tunnel con
+    
+    ```bash shell
+    $ ssh -L 8080:localhost:8080 <username>@a3-dott8.cs.dm.unipi.it
+    ```
+
+    e poi aprendo il browser all'indirizzo `http://localhost:8080`.
+
+    Una volta nell'interfaccia web si può scaricare un modello di LLM (ad esempio <https://huggingface.co/TheBloke/Orca-2-7B-GGUF>) andando nella tab "Models" ed inserendo l'ID da huggingface (e.g. `TheBloke/Orca-2-7B-GGUF`), poi premere "Refresh" e poi "Load" nella lista dei modelli per selezionarlo (conviene tenere sotto'occhio il terminare per vedere quando ha finito di scaricare il modello). Una volta caricato il modello, si può andare in "Chat" per usarlo. 
+
 -   `printa4` &mdash; [@BachoSeven](https://git.phc.dm.unipi.it/BachoSeven)
 
     Serve a stampare in aula4 (o qualsiasi altra stampante del dip) dal proprio computer, aprendo Okular graficamente da remoto.

install-llm-web-interface

@@ -0,0 +1,20 @@
+#!/bin/bash
+
+export HOME="/tmp/$USER"
+export PATH="$HOME/.local/bin:$PATH"
+mkdir -p "$HOME"
+echo "Home moved to /tmp/$USER because of space constraints, this will last only for this session."
+
+cd "$HOME" || exit 1
+
+# Install text-generation-webui
+if [ ! -d "$HOME/text-generation-webui" ]; then
+    git clone https://github.com/oobabooga/text-generation-webui
+else
+    git -C "$HOME/text-generation-webui" pull
+fi
+
+# Install requirements and start webui
+export GPU_CHOICE="A"
+export USE_CUDA118="Y"
+bash "$HOME/text-generation-webui/start_linux.sh" "$@"