ia-test/Dockerfile

33 lines
1.1 KiB
Docker
Raw Permalink Normal View History

2025-08-16 16:33:03 +00:00
# Variante 1 (ta base actuelle)
2025-08-16 14:26:36 +00:00
FROM quay.io/go-skynet/local-ai:latest
2025-08-16 16:33:03 +00:00
# (facultatif) si l'image ne contient pas curl :
# RUN apk add --no-cache curl || (apt-get update && apt-get install -y curl ca-certificates)
2025-08-16 14:32:48 +00:00
2025-08-16 14:26:36 +00:00
ENV MODELS_PATH=/models \
DEBUG=false \
THREADS=2 \
CONTEXT_SIZE=1024
# Crée le dossier des modèles
RUN mkdir -p /models
2025-08-16 16:33:03 +00:00
# Télécharge un petit modèle chat (TinyLlama 1.1B quantisé Q4) AU BUILD
# => Embarqué dans l'image, pas besoin de réseau à l'exécution pour ce fichier.
2025-08-16 16:33:30 +00:00
RUN curl -L -o /models/tinyllama-1.1b-chat.Q4_K_M.gguf \
https://huggingface.co/Skynet-LocalAI/tinyllama-1.1b-chat.Q4_K_M.gguf
2025-08-16 16:33:03 +00:00
# IMPORTANT : on utilise un heredoc NON quoted (<<YAML) pour EXPANSION des variables
# (n_ctx/n_threads prendront les valeurs de CONTEXT_SIZE/THREADS AU BUILD)
RUN cat > /models/gpt-oss-20b.yaml <<YAML
2025-08-16 14:32:48 +00:00
name: gpt-oss-20b
2025-08-16 14:26:36 +00:00
backend: llama
parameters:
model: tinyllama-1.1b-chat.Q4_K_M.gguf
2025-08-16 14:32:48 +00:00
n_ctx: ${CONTEXT_SIZE}
n_threads: ${THREADS}
2025-08-16 14:26:36 +00:00
temperature: 0.2
top_p: 0.9
2025-08-16 14:32:48 +00:00
YAML
2025-08-16 14:26:36 +00:00
2025-08-16 16:33:03 +00:00
# Le démarrage du serveur est piloté par docker-compose via `command`