У цієї інтеграції дві форми. Із сайдкаром сайт на PHP говорить із сервісом на Python через чергу, і в релізі з’являються три частини: PHP-образ, Python-образ і файл моделі. У рев’ю така форма щоразу дає той самий рахунок: друга викладка, другий лог і перевірка живучості, про яку забувають.
Код: FerryAI, ліцензія MIT.
LLM на PHP прибирає середину. FerryAI завантажує llama.cpp і ONNX Runtime через FFI, тому виклик моделі йде в процесі, який уже обслуговує запит. П’ять причин вирішують вибір, і один випадок, де Python лишається.
1. Одна викладка замість двох
Сильна причина не в швидкості. Вона у формі релізу.
З окремим сервісом функція виходить, коли збіглися PHP, Python-образ, файл моделі й конфіг сервісу. Будь-яка частина не в кроці дає версію, яка працює наполовину, і людина, яка викладає, має пам’ятати чотири речі замість однієї.
З FFI функція виходить разом із темою або плагіном. Composer тягне пакет, тека моделі лежить поруч із застосунком, а відкат це той самий відкат, якому ви вже довіряєте.
2. Відмова виходить нудною
Сервіс падає за таймаутом, а таймаут не каже, який етап зламався. HTTP, черга, завантаження моделі, токенізатор.
Виняток у PHP приходить зі стектрейсом, а з підключеним xdebug його можна пройти до виклику, який його породив. Це звучить дрібно, доки не станеться перший бойовий інцидент, де є двадцять хвилин і один лог.
3. Пам’ять поводиться як пам’ять
Кожен воркер PHP-FPM із власною копією моделі це поганий план, і бібліотека не вдає, що інакше. Обмежений LRU-пул тримає екземпляри між запитами, а за доступного розширення спільної пам’яті воркери ділять ваги замість дублювання.
На практиці тепла сторінка відповідає за мілісекунди, і тільки холодний старт дорогий. Це простіше тримати в голові, ніж сервіс, число воркерів якого налаштовується окремо від веб-рівня.
4. Структурний вивід перестає бути циклом повторів
Саме це вирішує, чи годиться локальна модель. Передана схема JSON обмежує семплер, тому модель не може видати відповідь, яка не парситься. Ні ремонту регуляркою, ні другої спроби, ні баг-репорту «іноді повертає markdown».
Для всього, що пише в базу або викликає API, таке обмеження варте більше, ніж трохи розумніша модель за HTTP-обгорткою.
5. Пошуковий шар лишається там, де дані
Ембединги для бази знань мають лежати поруч із контентом, який описують. З векторним сховищем у тому самому PostgreSQL резервна копія покриває вектори, стенд поводиться як бойовий, а хостингу клієнта не потрібен новий сервіс, щоб відповісти на питання.
SQLite із sqlite-vec покриває випадок менший: один файл, без демона, чесний перебір, коли розширення немає.
Скільки коштує LLM на PHP
Безкоштовно ніщо з цього не йде.
FFI має бути ввімкнений, а частина дешевих хостингів його вимикає. Нативні бібліотеки мають збігатися з архітектурою, і відсутня DLL CUDA дає помилку, яка виглядає як проблема PHP і нею не є. Пакет у ранньому релізі, тому API може змінюватися між версіями, і фіксація версії не опція.
Є й стеля. Модель на 0,6 мільярда параметрів на ядрі CPU відповідає повільніше й міркує гірше, ніж хостирувана фронтир-модель. Якщо функції потрібне обережне багатокрокове міркування, локальна модель розчарує незалежно від чистоти інтеграції.
Коли я все одно беру Python
Навчання, донавчання й пакетні задачі на години. Нічну задачу, яка перераховує ембединги зростаючого корпусу, простіше запустити з CLI із GPU і політикою повторів, ніж із веб-запиту.
Межа, якою я користуюсь: якщо робота вкладається в запит і модель уже навчена, їй місце в процесі, який обслуговує сторінку. Якщо потрібна черга, їй місце зовні.
Так само я вирішую питання архітектури загалом, про що писав у розборі шести патернів архітектури. Той самий інстинкт працює у звітності: запит, який відповідає на питання, кращий за сервіс навколо запиту, як у одному SQL-запиті замість сервісу.
Що почитати: документація PHP FFI і llama.cpp. Пакет лежить на GitHub під MIT: FerryAI.