У этой интеграции две формы. С сайдкаром сайт на PHP говорит с сервисом на Python через очередь, и в релизе появляются три части: образ PHP, образ Python и файл модели. В ревью такая форма каждый раз даёт один и тот же счёт: вторая выкладка, второй лог и проверка живости, про которую забывают.
Код: FerryAI, лицензия MIT.
LLM на PHP убирает середину. FerryAI загружает llama.cpp и ONNX Runtime через FFI, поэтому вызов модели идёт в процессе, который уже обслуживает запрос. Пять причин решают выбор, и один случай, где Python остаётся.
1. Одна выкладка вместо двух
Сильная причина не в скорости. Она в форме релиза.
С отдельным сервисом функция выходит, когда совпали PHP, Python-образ, файл модели и конфиг сервиса. Любая часть не в шаге даёт версию, которая работает наполовину, и человек, который выкладывает, должен помнить четыре вещи вместо одной.
С FFI функция выходит вместе с темой или плагином. Composer тянет пакет, папка модели лежит рядом с приложением, а откат это тот же откат, которому вы уже доверяете.
2. Отказ получается скучным
Сервис падает по таймауту, а таймаут не говорит, какой этап сломался. HTTP, очередь, загрузка модели, токенизатор.
Исключение в PHP приходит со стектрейсом, а с подключённым xdebug его можно прошагать до вызова, который его породил. Это звучит мелко, пока не случится первый боевой инцидент, где есть двадцать минут и один лог.
3. Память ведёт себя как память
Каждый воркер PHP-FPM с собственной копией модели это плохой план, и библиотека не делает вид, что иначе. Ограниченный LRU-пул держит экземпляры между запросами, а при доступном расширении общей памяти воркеры делят веса вместо дублирования.
На практике тёплая страница отвечает за миллисекунды, и только холодный старт дорогой. Это проще держать в голове, чем сервис, число воркеров которого настраивается отдельно от веб-уровня.
4. Структурный вывод перестаёт быть циклом повторов
Именно это решает, годится ли локальная модель. Переданная схема JSON ограничивает сэмплер, поэтому модель не может выдать ответ, который не парсится. Ни ремонта регуляркой, ни второй попытки, ни баг-репорта «иногда возвращает markdown».
Для всего, что пишет в базу или вызывает API, такое ограничение стоит больше, чем чуть более умная модель за HTTP-обёрткой.
5. Поисковый слой остаётся там, где данные
Эмбеддинги для базы знаний должны лежать рядом с контентом, который описывают. С векторным хранилищем в том же PostgreSQL резервная копия покрывает векторы, стенд ведёт себя как боевой, а хостингу клиента не нужен новый сервис, чтобы ответить на вопрос.
SQLite с sqlite-vec покрывает случай поменьше: один файл, без демона, честный перебор, когда расширения нет.
Сколько стоит LLM на PHP
Бесплатно ничего из этого не идёт.
FFI должен быть включён, а часть дешёвых хостингов его отключает. Нативные библиотеки должны совпадать с архитектурой, и отсутствующая DLL CUDA даёт ошибку, которая выглядит как проблема PHP и ею не является. Пакет в раннем релизе, поэтому API может меняться между версиями, и фиксация версии не опция.
Есть и потолок. Модель на 0,6 миллиарда параметров на ядре CPU отвечает медленнее и рассуждает хуже, чем хостируемая фронтир-модель. Если функции нужно аккуратное многошаговое рассуждение, локальная модель разочарует независимо от чистоты интеграции.
Когда я всё равно беру Python
Обучение, дообучение и пакетные задачи на часы. Ночную задачу, которая пересчитывает эмбеддинги растущего корпуса, проще запустить из CLI с GPU и политикой повторов, чем из веб-запроса.
Граница, которой я пользуюсь: если работа влезает в запрос и модель уже обучена, ей место в процессе, который обслуживает страницу. Если нужна очередь, ей место снаружи.
Так же я решаю вопрос архитектуры в целом, о чём писал в разборе шести паттернов архитектуры. Тот же инстинкт работает в отчётности: запрос, который отвечает на вопрос, лучше сервиса вокруг запроса, как в одном SQL-запросе вместо сервиса.
Что почитать: документация PHP FFI и llama.cpp. Пакет лежит на GitHub под MIT: FerryAI.