Partie 1: Oracle APEX avec Ollama

La dernière version de Oracle APEX (24.2.x) supporte officiellement de son interface de configuration les fournisseurs de services d'intelligence artificielle: OCI Generative Service, Open AI et Cohere.  Toutefois il est théoriquement possible d'utiliser Ollama dans APEX car cette technologie implémente l'API Open AI, mais quand est-il de la pratique?

Motivation

Avec la montée en puissance de l'utilisation des LLM (grands modèles de langage), le problème de sécurité et de confidentialité de données devient un facteur critique à prendre en considération.  Grâce à Ollama c'est possible d'avoir ses propres services d'I.A sur son infrastructure et éventuellement utiliser des modèles plus adaptés et spécialisés selon le cas d'utilisation et l'environnement.

Mise en place

Comme environnement de base pour configurer et tester ces services, j'utiliserai le conteneur Docker de Pretius pour l'installation d'une base de données Oracle, ORDS &  APEX.

00_start_apex_ords_installer.sh

Le script suivant lancera l'installation de Pretius mais on y rajoute l'exécution d'un autre script qui donnera à la base l'autorisation d'accéder au service Ollama.

sh /home/oracle/unattended_apex_install_23c.sh > /home/oracle/unattended_apex_install_23c.log
sh /home/oracle/ollama-acl.sh

ollama-acl.sh

Sur la version gratuite de la base, l'ouverture au port 11434 est faite de la manière suivante:

#!/bin/bash

echo "Enable access to Ollama port..."
sqlplus / as sysdba <<EOF
ALTER SESSION SET CONTAINER = FREEPDB1;

BEGIN
  BEGIN
    DBMS_NETWORK_ACL_ADMIN.CREATE_ACL(
      acl => 'ollama_acl',
      description => 'ACL for Ollama API access',
      principal => APEX_APPLICATION.G_FLOW_SCHEMA_OWNER,
      is_grant => TRUE,
      privilege => 'connect'
    );
  EXCEPTION
    WHEN OTHERS THEN
      IF SQLCODE != -31001 THEN -- ACL already exists
        RAISE;
      END IF;
  END;

  -- Assign ACL to host
  DBMS_NETWORK_ACL_ADMIN.ASSIGN_ACL(
    acl => 'ollama_acl',
    host => '172.17.0.1',
    lower_port => 11434,
    upper_port => 11434
  );

  COMMIT;
END;
/
EOF

oracle-ords-apex.dockerfile

#  Oracle 23c Free Image
FROM container-registry.oracle.com/database/free:latest

# Mot de passe
ENV ORACLE_PWD=E

COPY ./ollama-acl.sh /home/oracle/ollama-acl.sh
COPY ./00_start_apex_ords_installer.sh /home/oracle/00_start_apex_ords_installer.sh

USER oracle
WORKDIR /home/oracle

# Télécharger les scripts d'installation ORDS & APEX de Pretius: https://pretius.com/blog/oracle-apex-docker-ords/
RUN curl -o unattended_apex_install_23c.sh https://raw.githubusercontent.com/Pretius/pretius-23cfree-unattended-apex-installer/main/src/unattended_apex_install_23c.sh
RUN chmod +x unattended_apex_install_23c.sh
RUN mv 00_start_apex_ords_installer.sh /opt/oracle/scripts/startup/
EXPOSE 1521 8080
CMD ["/bin/bash", "-c", "/opt/oracle/runOracle.sh"]

A ces services je rajoute l'image Docker de Ollama et le script suivant pour charger le modèle sqlcoder dans l'image. Dans une autre partie on verra comment exploiter ce modèle dans APEX.

run-ollama.sh

#!/bin/bash

echo "Starting Ollama..."
ollama serve &

echo "Waiting for Ollama to be active..."
while [ "$(ollama list | grep 'NAME')" == "" ]; do
  sleep 1
done

ollama pull sqlcoder:7b

ollama.dockerfile

FROM ollama/ollama

COPY ./run-ollama.sh /tmp/run-ollama.sh

WORKDIR /tmp

RUN chmod +x run-ollama.sh \
    && ./run-ollama.sh

EXPOSE 11434

Finalement on regroupe tous les services dans un fichier docker compose.

docker-compose.yml

services:
  oracle:
    build:
      context: ./
      dockerfile: oracle-ords-apex.dockerfile
    container_name: 23cfree
    environment:
      ORACLE_PWD: "E"
    ports:
      - "1521:1521"
      - "8080:8080"
    networks:
      - my-network
    volumes:
      - oracle_data:/opt/oracle/oradata
    restart: unless-stopped

  ollama:
    build:
      context: ./
      dockerfile: ollama.dockerfile
    ports:
      - 11434:11434
    volumes:
      - ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: always
    environment:
      - OLLAMA_KEEP_ALIVE=24h
      - OLLAMA_HOST=0.0.0.0
    networks:
      - my-network 

networks:
  my-network:

volumes:
  oracle_data:
  ollama:

 

On peut lancer les services avec la commande.

> docker-compose up
 

la base, ORDS et ollama seront installés et leurs services lancés.

Ollama dans APEX

Par la suite il vous faudra configurer APEX et rajouter un utilisateur via l'URL

http://127.0.0.1:8080/apex/apex_admin et 

en utilisant les accès par défaut ADMIN / OrclAPEX1999!

Une fois identifié comme un utilisateur ordinaire dans App Builder > Workspace Utilities > Generative AI Services on peut référencer le service de Ollama et voir si ça fonctionne:

Base URL: http://172.17.0.1:11434/v1 

API Key: 123 (entrer n'importe quoi)

AI Model: sqlcoder:7b

et cliquer sur bouton Test Connection

 

Conclusion

L'installation de Ollama dans cet exemple se fait sur un ordinateur qui n'est pas équipé d'une carte NVidia.  Il faudra suivre la procédure d'installation documentée sur Docker Hub si vous avez une carte NVidia.

 

Dans la prochaine partie sera démontré comment exploiter le modèle sqlcoder.

L'injection de dépendances avec Golang

Lorsqu'on développe un service Web et/ou REST API en Go on adopte souvent et à juste titre une architecture logicielle Modèle-Vue-Contrôleur. Le découplage voulu par cette approche pose un dilemme quant à la gestion des dépendances entre les modules.

Un exemple typique est le cas où il est nécessaire de créer qu'une seule instance du module qui gère la connexion et les interactions avec la base de données.  C'est alors que l'injection de cette dépendance peut être utile afin d'éviter d'avoir recours à une variable globale.

Illustration de packages pour une application Web.

 

Dans cet exemple d'architecture, le package main est le point d'entrée de l'application.  Ce package écoute sur un port des requêtes et dirige celles-ci vers leurs fonctions de traitement appropriées qui sont définies dans le package handlers.

 

Le package handlers gère la logique métier en ayant recours à son tour aux fonctions interagissants avec la base de données (package db) et en s'occupe du rendu de la réponse grâce aux fonctions définies dans le package components.

Le package middleware quant à lui permet de traiter par exemple l'authentification et les logs côté serveur.

Injection de dépendance.

package main

import (
"go-website/db"
"go-website/handlers"
"go-website/middleware"
"log"
"net/http"
"os"

"github.com/joho/godotenv"
)

func main() {
// reading environment variables
err := godotenv.Load()
if err != nil {
      log.Fatal("Error loading .env file")
}
port := os.Getenv("PORT")
dbFilePath := os.Getenv("DB_FILE_PATH")

appDb := db.AppDatabase{}
err = appDb.Open(dbFilePath)
if err != nil {
      log.Fatalf("Error opening database %s", err.Error())
      return
}

appHandlers := handlers.AppHandler{DB: &appDb}

router := http.NewServeMux()
// more routing code here…

middlewareChain := middleware.MiddlewareChain(middleware.AuthMiddleware, middleware.RequestLoggerMiddleWare)
server := http.Server{
    Addr: ":" + port,
    Handler: middlewareChain(router),
}
log.Printf("Listening on port %s", port)
server.ListenAndServe()
}

Dans l'extrait ci-dessus, la structure AppDatabase du package db qui encapsule les fonctions relatives aux opérations sur la base de données est instanciée une fois et elle est ensuite injectée dans la structure AppHandler du package handlers.

Le package handlers peut alors utiliser les fonctions de AppDatabase sans à avoir à gérer la connexion à la base comme le démontre le code suivant:

package handlers import ( "go-website/components" "go-website/db" "go-website/session" "log" "net/http" ) type AppHandler struct { DB *db.AppDatabase } func (h *AppHandler) User(w http.ResponseWriter, r *http.Request) { username := r.FormValue("username") user, err := h.DB.GetUserByUserName(username) if err != nil {       http.Error(w, err.Error(), http.StatusInternalServerError)       return } name  := user.Name // extra code to handle logic components.UserTemplate().Render(r.Context(), w) } // more handler code.

Quant au package DB il pourrait être comme suit:

 

package db

import (
"database/sql"
"log"

_ "github.com/mattn/go-sqlite3"
)

type AppDatabase struct {
DB *sql.DB
}

type User struct {
Id     int        `json:"id"`
Username   string     `json:"username"`
Name  string     `json:"name"`
}

func (ab *AppDatabase) Open(dbFilePath string) (err error) {
ab.DB, err = sql.Open("sqlite3", dbFilePath)
if err != nil {
    log.Fatalf("Cannot open database. %s", err.Error())
    return err
}

return ab.DB.Ping()
}

func (ab *AppDatabase) Close() {
ab.DB.Close()
}

func (ab *AppDatabase) GetUserByUserName(username string) (user User, err error) {
u := User{}
err = ab.DB.QueryRow("select id, username, name from users where username = ?", username).Scan(&u.Id, &u.Username, &u.Name)
if err != nil {
    log.Fatalf("GetUserByUserName QueryRow failed: %s", err.Error())
    return
}
return u, nil
}