Письма с превышением уплаты за год

[vitabios]

а где ее можно скачать?

[lubezniy]

http://www.lubezniy.ru/soft/vlsverkapf/

[lubezniy]

Вчера получил возможность проверить работу программы на данных крупного страхователя (один из пользователей прислал мне обезличенные файлы - спасибо ему). Переосмыслил интерфейс программы (вряд ли удобно на расчёт только одного выбора страхователя при больших объёмах тратить час, а то и больше), разобрался с утечкой памяти, решил вопрос со СНИЛС, поднятый уважаемой Sova64. Версия с утра дома тестируется на полном объёме данных - процесс, мягко говоря, не быстрый. Если вечером после работы увижу протокол, выложу версию на сайт.

[vk65]

Вчера получил возможность проверить работу программы на данных крупного страхователя

Виктор, можете указать объем данных (кол-во ЗЛ) и время обработки?

вряд ли удобно на расчёт только одного выбора страхователя при больших объёмах тратить час, а то и больше

Вы имеете в виду получение списка страхователей? Это вроде не должно от объема данных зависеть. Я правда не смотрел, как у Вас это сейчас сделано.

[yante]

Виктор, можете указать объем данных (кол-во ЗЛ) и время обработки?

Вы имеете в виду получение списка страхователей? Это вроде не должно от объема данных зависеть. Я правда не смотрел, как у Вас это сейчас сделано.

Я тоже так думаю. Надо лишь при выборе папки с файлами считать из них наименования Страхователей ( кстати, для этого сейчас надо жать кнопку, а можно ли сделать автоматически - выбрал папку, получи список? ). Заодно можно проверить, чтобы в файлах с одинаковым номером ( в имени файла ) были одинаковые названия ( внутри файлов ) - если не сложно

[vk65]

Я тоже так думаю. Надо лишь при выборе папки с файлами считать из них наименования Страхователей ( кстати, для этого сейчас надо жать кнопку, а можно ли сделать автоматически - выбрал папку, получи список? ). Заодно можно проверить, чтобы в файлах с одинаковым номером ( в имени файла ) были одинаковые названия ( внутри файлов ) - если не сложно

Я думаю чуть-чуть не так.
Нужно из имён файлов выбрать уникальные рег.номера, а потом для каждого выбранного номера открыть один любой (а лучше - самый последний) файл и считать из него наименование.
А проверку имён можно делать при обработке выбранного страхователя. Кста, встречал ситуацию, когда ООО "ААА" переименовалось в ООО "БББ", и при этом сохранился прежний рег. номер.

[lubezniy]

Виктор, можете указать объем данных (кол-во ЗЛ) и время обработки?

Объём - порядка 12000 застрахованных лиц. Время пока не замерял - пока делаю тест на расход памяти (первый тест с полным таким объёмом данных - раньше было Out of memory). На выходных попробую замерить.

Вы имеете в виду получение списка страхователей? Это вроде не должно от объема данных зависеть. Я правда не смотрел, как у Вас это сейчас сделано.

У меня зависит: читаются все файлы, отсеиваются файлы, не содержащие ИС, и затем уже обрабатывается номер. Видимо, нужно будет оптимизировать.

[vk65]

У меня зависит: читаются все файлы, отсеиваются файлы, не содержащие ИС, и затем уже обрабатывается номер.

И при таком подходе не обязательно читать файл до конца - достаточно встретить первый тэг, относящийся к данным.

[yante]

уважаемые коллеги, работники нашего ОПФР настолько измучены тем, что не знают как правильно принять отчеты, что еще мучают нас тем, что не могут объяснить как правильно сделать их

Ух ты ж, первое сообщение на форуме, а какая точность...

[lubezniy]

И при таком подходе не обязательно читать файл до конца - достаточно встретить первый тэг, относящийся к данным.

Понимаю... но с такими вещами, чтобы сделать правильно, мне нужно ещё экспериментировать. Побайтовое чтение в Delphi весьма медленное и прироста скорости практически не даст - короче, нужно думать.
P. S.: Дома вечером увидел сообщение об ошибке, но вызывающееся после отработки процедуры и не связанное с нехваткой памяти (уже неплохо). Ошибку поправил, слегка оптимизировал алгоритмы обработки в циклах (думаю, на таких объёмах может дать хотя бы 5-10 минут экономии времени) и сейчас запустил обработку (не получение списка страхователей) повторно, вставив замер времени по системным часам. Объём занятой процессом памяти временами доходит до 140 МБайт, но это уже гораздо более приличная цифра, чем 2 гига и Out of memory до правок. Одно из четырёх ядер процессора программа грузит на всю катушку (в среднем загрузка 25%, иногда доходит до 30-32 по диспетчеру задач), так что впишу в системные требования для больших объёмов процессор не ниже двухъядерного.

[lubezniy]

В общем, результат замера времени обработки после оптимизации - 2 ч. 15 мин. 49 с. Делалась компактная форма HTML, объём файлика протокола составил 29 МБайт (Firefox открывал его минут 5, но не свалился). Немного про исходные данные: приблизительно 12300 застрахованных лиц, 151 файл размером от 3 КБайт (отменяющие ИС на одно ЗЛ) до 5,5 МБайт (СЗВ-6-2 на 2620 ЗЛ), посторонних файлов нет; общий объём - около 98 МБайт. Машинка - Core 2 Quad Q8300, 2,5 ГГц (4 ядра, но процессом было занято только одно - увы, нечего там параллельно обрабатывать), память 4 гига, ОС Windows Vista Business 32-битная.
Через полчаса выложу версию.

[lubezniy]

Версия обновлена.

[vk65]

В общем, результат замера времени обработки после оптимизации - 2 ч. 15 мин. 49 с.

А какие результаты будут на объёме, меньшем на порядок (1000-1500 ЗЛ) ?
И ещё два предложения по интерфейсу:
1. Всё-таки хорошо бы писать не в TEMP, а задавать папку для выходных файлов.
2. Было бы удобно наличие кнопки, позволяющей повторно открыть сформированный протокол по выбранному страхователю.

[lubezniy]

А какие результаты будут на объёме, меньшем на порядок (1000-1500 ЗЛ) ?

Сам не могу сказать - нет у меня доступа к реальным данным. В последней версии я оставил замер времени, и по окончании обработки теперь выскакивает бокс, где указано потраченное время. Может, кто-то ещё из пользователей скажет.

И ещё два предложения по интерфейсу:
1. Всё-таки хорошо бы писать не в TEMP, а задавать папку для выходных файлов.
2. Было бы удобно наличие кнопки, позволяющей повторно открыть сформированный протокол по выбранному страхователю.

Предложения дельные. К версии посмотрим, как лучше реализовать (по умолчанию хочу всё же оставить TEMP, ибо не всех пользователей эта проблема волнует).

[vk65]

Сам не могу сказать - нет у меня доступа к реальным данным.

Так у Вас же есть набор из 151 файла. А если из них выбрать часть?