Нормализация «до/после» на реальном справочнике

Шаг за шагом: как строка «каб ВВГнг 3*2,5 ед:м.п <NULL>» превращается в классифицированную карточку. Примеры «было → стало» таблицей.

1. С чем приходит справочник

Перед стартом мы делаем аудит справочника «как есть» — с цифрами, а не на словах. Типичная картина для справочника материалов на десятки тысяч позиций:

Плюс заглушки, которые притворяются данными: «нет», «---», «<NULL>», «-». Такой справочник не понимает ни человек, ни система закупок.

2. Конвейер: 7 шагов на одной строке

Разберём одну типичную строку, как она приходит из 1С:

Ни кода, ни нормальной единицы, ни структуры. Дальше — конвейер.

1. Приём. Запись попадает в конвейер как есть — из 1С, Excel или XML. Оригинал сохраняется, чтобы каждый следующий шаг был прослеживаем.
2. Очистка мусора. Убираем управляющие символы, двойные пробелы, обрывки и заглушки «нет», «<NULL>», «кол-756».
   каб ВВГнг-LS 3*2,5 0.66кв чёрн ГОСТ ед:м.п
3. Раскрытие сокращений и разбор характеристик. «каб» → «Кабель», «чёрн» → «чёрный». Характеристики из названия уходят в отдельные поля: число жил 3, сечение 2,5 мм², напряжение 0,66 кВ, цвет чёрный.
4. Единицы измерения. «м.п.», «пм», «метр» — одно и то же: единица Метр, код ОКЕИ 006.
5. Классификация. Код присваивается каскадом: справочник → нечёткий поиск → языковая модель-арбитр. Результат: ОКПД2 27.32.13.110 (провода и кабели), КПВЭД 27.32.
6. Обогащение. Пробелы дозаполняются из внешних источников — отраслевых справочников, ГИСП, открытых каталогов: материал жилы медь, изоляция ПВХ нг-LS, ГОСТ 31996-2012. У каждого значения сохраняется источник.
7. Контроль полноты и дедупликация. Проверяем, что для класса заполнены все обязательные атрибуты, и сливаем разные написания той же позиции в одну эталонную карточку.

3. Примеры «было → стало»

Обезличенные строки из реального справочника материалов строительной компании. Обратите внимание на единый порядок: вид изделия → тип/марка → материал → размеры → стандарт.

Что происходит в этих примерах: раскрыты сокращения («г/к», «оцинк», «контр.», «угл.», «Р/к»), латиница в обозначениях заменена на принятые («Dy» → «Ду», «L=» → «Л»), марка стали и стандарт стоят на постоянных местах, диапазоны и размеры записаны единообразно, единица в названии («м.» → «м3») исправлена по смыслу.

4. Единицы измерения по ОКЕИ

Каждое написание единицы приводится к Общероссийскому классификатору единиц измерения — тогда остатки и цены складываются корректно.

5. Коды ОКПД2 и КПВЭД

ОКПД2 — российский классификатор продукции, КПВЭД — его аналог для стран ЕАЭС. Коды нужны для закупочных процедур, подтверждения производства в РФ и корректной аналитики по видам продукции. Код присваивается каскадом:

1. точное совпадение по внутренним правилам и справочникам;
2. нечёткий поиск по нормализованному наименованию и характеристикам;
3. в спорных случаях — языковая модель в роли арбитра, которая выдаёт код вместе с обоснованием.

Каждое решение записывается: по любой позиции можно поднять, почему она получила именно этот код.

6. Склейка дублей

Дубли ищутся не по совпадению текста, а по смыслу — после нормализации у разных написаний совпадают вид изделия, характеристики и стандарт. Дубль не удаляется, а получает ссылку на эталон.

При слиянии берётся наиболее полный вариант, а в эталоне остаётся история — из какой записи пришло каждое значение. Как дубли схлопываются между несколькими базами, разобрано в статье «Слияние нескольких баз 1С в один справочник».

7. Что уходит на ручную проверку

Конвейер не «додумывает» то, чего нет в данных. Если после очистки характеристик не хватает для однозначной идентификации, позиция помечается «требует уточнения» с указанием, чего именно не хватает. Например:

• Углекислота (б) → «Углекислота баллон» — не указан объём баллона, а аналоги бывают разных типоразмеров;
• Лента перфорированная — нет ширины и толщины, позицию невозможно отличить от соседних.

Такие позиции получают от заказчика недостающие данные. Обычно на ручную доводку уходит не больше 10–15% справочника, и это действительно неполные записи, а не ложные срабатывания.

8. Как принимается результат

Работа принимается по измеримым показателям, согласованным до старта:

Заказчик заранее знает, что получит и как это проверить, — приёмка идёт по метрикам, а не «на глаз».