Перейти до вмісту
Leonidov.DEV

Конвеєр даних на Python: 5 причин для порту

Інженерія
Конвеєр даних на Python: 5 причин для порту

Кожна задача підрахунку, яку я писав, опиняється поруч із таблицею, вивантаженням або файлом, який хтось надсилає наприкінці місяця. Конвеєр даних на Python це місце, де текст живе насправді, тому Python отримав порт раніше за інші мови.

Код: ReadSightPy, ліцензія MIT.

Python 3.10, дві залежності в рантаймі, 133 тести, mypy strict, ruff без зауважень. Форму порту задали п’ять рішень.

Причина 1: дві залежності, обидві неминучі

regex закриває класи Unicode-літер, яких немає в стандартному re, а platformdirs кладе кеш скомпільованих шаблонів у правильну теку на кожній операційній системі. Решта є у стандартній бібліотеці.

Конвеєр даних падає на перезбиранні із зафіксованою версією частіше, ніж на логіці. Кожна прибрана залежність це прибраний клас відмов, і два відомі пакети це ціна, яку я можу назвати.

Причина 2: API говорить по-пітонівськи

ReadSight("en-us"), rs.gunning_fog(text), result.grade_level, result.inputs як словник. Розробникові на Python не доводиться перекладати назви методів, щоб скористатися портом.

Ідіоми різняться: Python піднімає виняток там, де Rust повертає Result, і для обох це правильно. Не має різнитися число й сенс полів навколо нього.

Причина 3: результат несе свої вхідні значення

FormulaResult тримає бал, клас, інтерпретацію, назву формули, код мови й словник проміжних значень: слова, речення, склади, літери, багатоскладові слова.

У конвеєрі ці значення і є інструмент відлагодження. 16 балів за Coleman-Liau це вирок, а словник каже, який лічильник його видав, і це вирішує, де помилка: у тексті чи в перевірці. Без словника звіт читається як вирок без причини.

Причина 4: кеш на своєму місці

Скомпільовані шаблони йдуть у системну теку кешу, а Config уміє його переносити. На складальному агенті це означає запечений кеш в образі, локально перший прогін займає хвилину, решта секунду.

Кеш у робочій теці це типове значення, яке ламає контейнер лише для читання. Бібліотека не робить цей вибір за користувача. На сервері без права запису в робочу теку це єдиний варіант, за якого прогін узагалі проходить.

Причина 5: типи перевірені, набір чесний

mypy --strict без помилок, ruff без зауважень, 133 тести, включно з еталонними векторами з PHP-реалізації. Вектори покривають списки підтримуваних формул, метрики analyze, кожну застосовну формулу і складові вектори.

Суворі типи виправдані, коли пакетний прогін викликає три методи сто тисяч разів. Хибний тип в одній гілці не падає: він повертає бал для іншої мови, і ніхто цього не помічає, поки звіт не видасться дивним.

Для чого Python тут добрий

Прочитати CSV, з’єднати з таблицею сховища, згрупувати за мовою, записати звіт. Лічильник займає малу частину такого скрипта, і мала частина не має приходити з графом залежностей.

Рушій варто збирати один раз на мову й перевикористовувати. Створення рушія всередині циклу це помилка, яка перетворює п’ятихвилинну задачу на годинну, і вона трапляється в кожному другому скрипті, який я бачив.

Швидкість скромна й достатня: близько мілісекунди на текст у 45 слів, десять на збирання рушія з кешу. Пакетний прогін у будь-якому разі обмежений базою.

Чого він не може

Він не судить структуру, граматику й переконливість аргументу. Він рахує текст і називає свої наближення, включно з підрахунком складів за TeX, який точний для переносу й наближений для фонетики.

Ця межа однакова в усіх мовах родини, і в цьому сенс портів: одне визначення, багато середовищ, числа не розходяться. Конвеєр, який про межу забуває, видає число там, де потрібне рішення людини.

Перевіряйте схему на кожному кроці: одна колонка, приведена до рядка, ламає весь звіт.

Поруч: перенесення бібліотеки про правила, які тримають порти рівними, і бібліотека читності про канонічну бібліотеку на PHP.