Занятие № 12. Курс «1С:Конвертация данных 2.1 – Профессиональная настройка правил обмена и типовые сценарии переноса данных»
Другие способы обмена данными
Изучите теорию модуля № 2:
- Глава 4. Прочие способы обмена данными
- Глава 5. Оптимизация правил
Данное занятие не предполагает выполнение домашних заданий.
Ваши вопросы по материалам данного занятия задавайте в комментарии ниже.
Общие вопросы по курсу, не связанные с конкретным занятием, задавайте на странице: http://kursy-po-1c.ru/data-conv/all-hw/convdata-common-qa/
Общие вопросы по курсу, не связанные с конкретным занятием, задавайте на странице: http://kursy-po-1c.ru/data-conv/all-hw/convdata-common-qa/
К сожалению, у Вас недостаточно прав для дальнейшего просмотра.
Если Вы приобрели курс, но еще не активировали токен — пожалуйста, активируйте доступ по инструкциям, высланным на Ваш email после покупки.
Если Вы не залогинены на сайте — залогиньтесь, вернитесь на эту страницу и обновите ее.
Если Вы залогинены, у Вас активирован токен доступа, но Вы все равно видите эту запись — напишите нам на e-mail поддержки.
Комментарии / обсуждение (52):
Комментарии закрыты
В курсе не рассматривался вопрос того как можно объединить данные идентичных баз. Это ведь тоже вопрос конвертации данных.
Есть несколько баз с одинаковыми конфигурациями, в которых ведется учет разных организаций. Нужно объединить данные в одну базу. Как это проще сделать?
Обработка “Выгрузка/загрузка данных XML”, хорошо подходит для этой задачи, так как структура данных одинаковая, а данные разделены по организациям. Но возникает проблема с данными, которые не разделяются по организациям: классификаторы, контрагенты, номенклатура. После загрузки придется избавляться от дублей таких данных.
Можно написать правила обмена, описав правила синхронизации для проблемных данных. Но написание правил обмена для целой конфигурации, мне кажется, очень трудоемко. Это долго и можно наделать много ошибок, которые будет сложно оттестировать.
Если есть задача сопоставлять элементы, независимо введенные в две базы, то «Выгрузка/загрузка данных XML» не подойдет, конечно. Она умеет сопоставлять элементы только по уникальному идентификатору. Поэтому для такого случая придется все-таки создавать правила. Да, это займет какое-то время. Но если настроить правила аккуратно, это сэкономит много времени на исправлении ошибок, получившихся в итоге обмена. Часто это гораздо сложнее.
Вопрос по оптимизации правил. А есть какие-то средства для определения неоптимальности правил? В курсе рассказано о том, как выполнять оптимизацию, но ничего не сказано о том, как находить узкие места.
Просто я представляю, что передо мной правила, по которым обмен выполняется несколько дней. Мне нужно ускорить этом обмен. С чего мне начать? Ведь я не знаю причину такого долгого выполнения.
Нужно использовать сервис замеров производительности.
Сначала лучше всего зарегистрировать по нескольку объектов каждого типа и посмотреть, сколько времени выгружаются/загружаются эти объекты. Потом для самых долгих объектов пройтись по функции ВыгрузитьПоПравилу() если это выгрузка, или ПрочитатьОбъект(), если загрузка. Возможно, какие-то обработчики выполняются дольше, чем другие. И тогда уже анализировать эти обработчики.
Возможно, долго выполняется штатный поиск объекта по полям. Это, например, может быть, если при поиске используется свойство типа Строка неограниченной длины.
Можно пройтись по алгоритмам. Каждый алгоритм, как правило, используется для разных объектов, и если оптимизировать код этого алгоритма, это может дать существенный прирост производительности.
В типовых правилах в алгоритмах часто выполняются запросы. Иногда получается выполнить суммарный большой запрос перед выгрузкой (загрузкой) данных, поместить его результат в структуру Параметры, и из алгоритмов обращаться уже к этому результату.
Вопросы по свойству “Выбирать данные для выгрузки одним запросом”.
При обращении к ревизиту источника (Источник.Реквизит) система анализирует значение этого свойства и в зависимости от него по-разному получает значение? ПРи отключенном свойстве происходит стандартное получение от ссылки, а при включенном из выборки. Смутено представляю как это работает, ведь получение значения “Источник.Реквизит” делается в рамках процедуры “Выполнить”, если мы делаем такое обращение в каком-то обработчике.
Еще возник вопрос, а как система делает стандартную выборку данных при выгрузке? Это запрос или использование метода “Выбрать”? И как после этого происходит заполнение свойств-источников, из выборки?
Здравствуйте!
В случае, если установлен флаг «Выбирать одним запросом», программа иначе составляем запрос, которым выбираются данные. В этом случае выбираются все свойства указанного объекта, и Ссылка тоже. При передаче каждого выгружаемого объекта в ПКО Ссылка записывается в параметр Источник (точно так же, как если бы флаг не стоял). Но кроме этого в параметр ОбъектКоллекции записывается строка таблицы, содержащая все свойства выгружаемого объекта. И при стандартном получении значений свойств программа обращается уже не к Источнику, а к этой строке. Это позволяет минимизировать количество обращений к базе.
Если в обработчиках есть получение свойств из параметра Источник, то все будет работать так же, поскольку ссылка в параметре Источник все равно есть.
Если данные для выгрузки получаются не с узла плана обмена, то они всегда получаются запросом
Пока я понимаю, что не понимаю :)
Давайте начнем сначала.
Если в ПВД используется стандартная выборка и не включена опция «Выбирать данные для выгрузки одним запросом», то система получает данные запросом. А что именно она получает? Это один запрос для объекта метаданных (например, справочника или документа) или много разных запросов? Система получает не все свойства объекта, а только необходимые для ПКО? И что передается в ПКО?
Если в ПВД используется стандартная выборка и включена опция «Выбирать данные для выгрузки одним запросом», то система получает данные запросом, но уже другим. Запрос один для объекта метаданных (например, справочника или документа), в нем выбираются все свойства объекта, в том числе Ссылка. Результат запроса выгружается в ТЗ. Происходит обход этой ТЗ, для каждой строки вызывается ПКО, в которое передаются параметр “Источник” со значением ссылки на текущий объект и параметр “ОбъектКоллекции” со значением текущей строки. Правильно?
Если так, то как система обращается к строке, а не к источнику? Допустим я пишу в обработчике события “Источник.Реквизит”. В параметре “Источник” содержится ссылка. Системе нужно получить значение реквизита от параметра “ОбъектКоллекции”. Но ведь код обработчика выполняется в процедуре “Выполнить”, значит само по себе получение реквизита от “ОбъектКоллекции” произойти не может. Только если сделать замену в тексте обработчика событий, что-то вроде, СтрЗаменить(“Источник”, “ОбъектКоллекции”).
Если в ПВД флажок “Выбирать данные одним запросом” не включен, то все равно в рамках этого ПВД выполняется запрос, которым выбираются ссылки на все объекты того типа, который указан в ПВД, как объект выборки. Эти ссылки будут передаваться в ПКО, которое указано в этом ПВД, и там из этих ссылок будут получены все необходимые свойства этих объектов.
Если флажок включен, то все равно выполняется запрос, но кроме ссылок выбираются еще и все свойства этих объектов. Да, происходит обход итоговой таблицы, и каждая ее строка передается в ПКО в параметр ОбъектКоллекции, здесь все правильно.
Если Вы в обработчике пишите Источник.Реквизит, то значение этого реквизита будет получено через ссылку, путем обращения к базе. Код обработчиков никак не изменяется, как Вы их напишите, так они и будут выполняться.
А вот если Вы настроили несколько ПКС в этом ПКО, то значения этих свойств будут получены стандартным способом не из ссылки, а из строки таблицы, без дополнительного обращения к базе.
В видео 2.5.7 говорится: “Вот такой флаг “Выбирать данные для выгрузки одним запросом” будет означать, что система будет выбирать все реквизиты исходного объекта с помощью запрсоа. И в этом случае обращение Источник.Контрагент, Источник.ВидОперации, Источник.Склад по сути будет выполняться к выборке запроса, это не есть обращение к базе данных, а просто получение свойств. То есть эта операция будет выполняться мгновенно.”
Из этого я сделал вывод, что этим флагом можно оптимизировать код, написанный в обработчиках. А получается, что оптимизируется только вызов ПКО для реквизитов, имеющих ссылочный тип данных.
Но с другой стороны это означает, что если использовать вместо “Источник.Реквизит” обращение “ОбъектКоллекции.Реквизит”, то произойдет реальная оптимизация.
Да, таким образом оптимизируются, в первую очередь, штатные механизмы. Код обработчиков может оптимизировать только сам разработчик правил, имея в виду, в каких ПВД данные выбираются одним запросом, а в каких – нет.
Здравствуйте!
1. В одном из уроков сказано, что в обработке “выгрузка загрузка данных в формате XML” период выгрузки используется для документов и периодических регистров. А на что влияет флаг “Отбор по периоду для всех объектов”? Такой же флаг есть и в УОД.
2. Рассказан вариант использования обработки “выгрузка загрузка данных в формате XML” для выгрузки данных из кривой базы в чистую. Т.е. я понимаю что переносятся вообще все данные. Однако такой подход не очень то хорош, ведь при создании чистой базы запускается первоначальное заполнение и заполняются некоторые справочники и планы видов… обычными элементами, так что при загрузке они не будут синхронизированы по УИД, и получатся дубли. Дубли конечно можно почистить, но есть справочники, где даже пометку удаления интерактивно установить невозможно, тогда нужно придумывать и писать обходные пути. Для меня видится решение – писать правила. Может быть есть более грамотное решение этой задачи – перекинуть все данные из старой в чистую БД?
Здравствуйте!
1. Этот флажок как раз включает фильтр по дате для документов и регистров сведений. Если его отключить, то по периоду они фильтроваться не будут
2. С помощью этой обработки можно перенести не все объекты, можно выбрать какие-то справочники и документы, для которых подходит простой перенос объектов. Если же для каких-то объектов нужно настроить более сложный перенос, поиск по полям, например, то можно для таких объектов настроить правила.
через регламентное задание через конвертацию загружаю в базу документы из другой базы.
Почему то некоторые документы не проводятся.
Функция “описаниеОшибки” выдает такое сообщение: “{(19)}: Ошибка при вызове метода контекста (Записать): Не удалось провести “Реализация товаров и услуг СН000000714 от 26.08.2016 12:00:01″”
Может быть из-за контроля при проведении? (остатки по складу, взаиморасчеты). В обработке при загрузке включил привилегированный режим.
В событии “ПослеЗагрузки” такой код:
Отбор = Новый Структура("Контрагент",Ссылка.Контрагент);
МенеджерыКонтрагентов = РегистрыСведений.МенеджерыКонтрагентов.СрезПоследних(Ссылка.Дата,Отбор);
//Сообщить(МенеджерыКонтрагентов);
Для Каждого Строка Из МенеджерыКонтрагентов Цикл
Объект.вмтОсновнойМенеджерПокупателя = Строка.Менеджер;
КонецЦикла;
КонецЕсли;
Выполнить(Алгоритмы.УстановитьПрефикс);
Если Объект.Проведен Тогда
Попытка
Объект.Записать(РежимЗаписиДокумента.Проведение);
Исключение
Объект.Проведен = Ложь;
//Сообщить(ОписаниеОшибки());
Запись = РегистрыСведений.РезультатыОбменаДанными.СоздатьМенеджерЗаписи();
Запись.ПроблемныйОбъект = Объект.Ссылка;
Запись.ТипПроблемы = Перечисления.ТипыПроблемОбменаДанными.НепроведенныйДокумент;
Запись.ДатаВозникновения= ТекущаяДата();
Запись.Причина = ОписаниеОшибки();
Запись.Записать();
КонецПопытки;
Иначе
Объект.Записать(РежимЗаписиДокумента.ОтменаПроведения);
КонецЕсли;
Здравствуйте!
Может быть дело в свойстве ОбменДанными.Загрузка. В обработчике ПКО После загрузки у объекта это свойство установлено в значение Истина, а в этом случае документ не может быть проведен.
Или, возможно, при проведении возникают какие-то ошибки. Чтобы избежать части этих ошибок, лучше проведение выполнять в конце, после загрузки всех объектов. Тогда можно, например, упорядочить документы по датам, и выполнять проведение последовательно от более ранних документов к более поздним.
В уроке 2.5.8 рассматриваются варианты решения проблем с нехваткой памяти. Вторым вариантом решения проблемы предлагается установка в ПКГС флага “Выгружать через промежуточный файл” и говорится, что для табличной части будет сформирован отдельный xml-файл.
В правилах Исходная→Конечная в документе поступление товаров и услуг я установил этот флаг проделал выгрузку, потом проделал выгрузку без этого флага, но файлы обмена абсолютно одинаковы и еще я не обнаружил этого дополнительного xml-файла.
На что влияет этот файл?
Здравствуйте!
В случае, если этот флажок установлен, табличная часть сначала, действительно, выгружается во временный файл. Он сохраняется на диске и закрывается. Потом выгруженный объект записывается в файл данных. А потом происходит построчное чтение временного файла и запись в файл данных. Таким образом, объем данных, одновременно хранящихся в памяти, сокращается. Временный файл после использования удаляется.
Если в табличной части больше 1000 строк, этот флажок считается включенным автоматически.
Здравствуйте. После просмотра видеоурока по загрузке из dbf-файла возникили вопросы. Пример, показанный Евгением, очень простой, просто загружается одна таблица в базу без передачи объектов по ссылке. Для такой задачи легко можно обойтись без КД. А что делать, если нам нужно по ссылке в ПКС выгружать другой объект (вызывать ПКО)?
Я сам вижу такое решение: в ИсходящихДанных передавать необходимые параметры и в вызываемом ПКО вручную формировать объект для выгрузки, делая запрос к DBF-файлу. Но в таком случае получается очень много запросов в цикле, каждый из которых вытягивает из внешнего источника по одному объекту. Кэширование, очевидно, тоже работать не будет.
Можно ли как-нибудь оптимизировать процесс? Существуют ли какие-нибудь иные подходы к задаче?
Здравствуйте!
Вы имеете в виду видео-урок 2.4.4 “Загрузка из внешней ИБ”?
Если делать то же самое без КД, придется вручную обрабатывать корректную запись этих объектов в базу, а так только получение из dbf.
В этом видео-уроке загружается не одна, а две таблицы. Между ними есть связь – в одной таблице есть ссылка на ключ другой таблицы. Именно так таблицы dbf обычно между собой и связаны. И показано, как сохранить эту связь в 1С базе.
Какая конкретно задача у Вас?
Загрузить не целую таблицу, а только те строки, на которые ссылается другая таблица? Это лучше делать на этапе получения выборки данных. Выберите обе таблицы, проанализируйте, и оставьте в Выборке данных только те строки, которые нужны.
Попробую уточнить свой вопрос. Предположим, имеется внешняя информационная база (не 1С), которая состоит из множества разных таблиц, соединённых внешними ключами. В принципе, можно сказать про любую информационную базу, что она устроена подобным образом. И вот нам из неё нужно загрузить некоторые данные в 1С. Загружая один объект, получаем по ссылке другие объекты. Вопрос мой был связан с правильной организацией этого процесса перегрузки и получения из одного объекта других объектов по ссылке. В первоначальной формулировке вопроса я написал, какой алгоритм мне видится для решения такой задачи. А именно, «вытягивание» объектов по одному с помощью запроса к внешней ИБ. А также то, что мне в нём не нравится.
Мне тоже не очень нравится идея “вытаскивать” объекты по одному из dbf-таблиц, возможно, это потребует много времени и памяти. Чем вызвана необходимость получать объекты по ключам именно в процессе выгрузки? Почему не получить все связанные объекты, которые нужно выгрузить, в ПВД? Не обязательно даже в нескольких ПВД, можно в одном получить все объекты разных типов, и выгружать их с помощью функции ВыгрузитьПоПравилу()
То есть, если я правильно понял, функцию ВыгрузитьПоПравилу() можно применять не только для единичного объекта, но и для выборки? Если так, тогда всё становится понятно: создаём одно ПВД, в нём делаем несколько запросов, возвращающих нужные для выгузки наборы объектов разных типов, и эти наборы объектов “скармливаем” функции ВыгрузитьПоПравилу().
В этом случае получается всё достаточно “красиво”, за исключением одного момента — в базе-приёмнике придётся хранить внешние ключи из базы-источника. Но этого уже никак избежать не получится. Верны ли мои рассуждения?
Функция ВыгрузитьПоПравилу выгружает один объект выборки, но ее можно вызывать в цикле по объектам выборки, будет работать. В конце обработчика Перед обработкой нужно написать
Отказ = Истина;
Тогда не будет попытки произвести стандартную выгрузку.
Где хранить ключи, можно придумать. Например, можно их хранить во внешнем файле. А если перенос однократный, и данных не слишком много, то просто в параметрах.
Доброго времени суток! В схеме решения задачи Евгений упоминает о некой обработке 1С, которая может с помощью специального драйвера подключиться к СУБД и выгрузить данные в файл. А что это за обработка и как с ней работать я так и не понял.
Здравствуйте!
Поскольку рассматривается общая схема решения подобного класса задач, то здесь имеется в виду любая обработка, можно написать ее самостоятельно. В видео-уроке для этого используется сама обработка “Универсальный обмен данными”. в данном случае, поскольку загружается информация из DBF, то можно просто открыть этот файл средствами 1С
Добрый день, есть ли возможность в “Конвертации данных” загрузить данные из EXCEL?
Здравствуйте!
Да, в ПВД нужно открыть файл Excel и сформировать из него таблицу значений, которая может быть загружена согласно нужному ПКО
Спасибо большое :)))
А в каком модуле об этом рассказывается?
В модуле 2, глава 4
У меня в поставке Конвертация данных, редакция 2.1 (2.1.8.2)
есть обработки V8Exchan83.epf и V8Exchan82.epf версий 2.1.8. Там есть некоторые отличия которые в видео записанном на 2.1.6 естественно не присутствуют. В частности работа с узлами обмена. Так же не описаны обработки идущие в поставке с именами из серии “РегистрацияИзмененийДляОбмена82 (обычное приложение).epf”
и пры
Здравствуйте!
Сравнила формы и модули обработок V8Exchan82 из версий 2.1.6.1 и 2.1.8.2, не нашла никаких изменений в работе с узлами. Что Вы имеете в виду, расскажите подробнее. Изменения в этих версиях не значительны, функционал они не затрагивают.
Обработка регистрации изменений описана в видео – уроке 3.1.5 “Регистрация изменений”. В этой обработке немного поменялся интерфейс с тех пор, а функционал остался таким же.
Я про эту вот опцию. Пока её описание мне не попалось в видео. Может ещё будет что.
:?) Добрался в курсе до места где всё разъяснилось.
Хорошо )
Добрый день, Вопрос по обработке Выгрузка и загрузка данных XML, не совсем понятен смысл настройки Включить возможность редактирования использования итогов во время загрузки данных – Отключить итоги на вкладке загрузка, ведь при переносе данных мы не перепроводим документы, а напрямую переносим движения.
Получается что при переносе движений итоги тоже расчитываются?
Здравствуйте!
Вообще говоря, да, итоги рассчитываются. Но в данном случае похоже, что эти кнопочки ни на что не влияют. В обработке для 8.3 этой настройки уже нет
После просмотра 4 главы второго модуля сделал вывод, что загрузка из внешних источников в принципе не отличается от написания обработок загрузки (в частности загрузка из *.dbf)
Здравствуйте!
Для загрузки из DBF есть множество готовых обработок, можно использовать их. На Инфостарте, например.
Это как посмотреть. Для одного линейного файла может быть писать ничего не надо и можно воспользоваться загрузкой из табличного документа, но если много файлов с разными полями идентификаторами, то лучше делать как в примере. По сути загружаешь линейный файл, а за связи таблиц или за разнесение одного файла на несколько объектов может отвечать конвертация. ИМХО. Я такой же учащийся тут как и Вы.
Скажите, пожалуйста, обработка ВыгрузкаЗагрузкаДанныхXML82 применима только к копиям ИБ? Можно ли переносить данные из других ИБ с такой же структурой? При этом как происходит загрузка? По УИД? Возможно ли задвоение предопределенных элементов?
Здравствуйте!
Нет, этой обработкой можно пользоваться, если те данные, которые Вы переносите, имеют одинаковую структуру метаданных. Но она должна быть абсолютно одинаковой, порядок реквизитов тоже влияет. Синхронизация выполняется по идентификатору. Насчет предопределенных элементов, честно говоря, не проверяла, но думаю, они должны корректно переноситься. Эта обработка работает через встроенную xml-сериализацию
Добрый вечер.
Есть вопросы по интеграции с внешними информационными системами:
1) Евгений в видео уроках говорил, что можно подключаться к СУБД используя некий драйвер и таким образом считать данные из СУБД.
А что если использовать другой способ – в дереве конфигурации есть объекты “Внешние источники данных” – например подключиться к нужной СУБД и каким то образом вытащить данные оттуда преобразовать их при помощи конвертации в файл выгрузки и загрузить. Все это делается в базе приемника и при этом программно.
В этом случае можно обойтись без драйвера?
А также насколько целесообразно это делать или же в этом случае правильнее будет считывать данные из внешнего источника и манипулировать ими программно без всякой конвертации?
И еще такой вопрос может ли КД работать с внешними источниками – например можно ли создать ПКО или ПВД(со стандартным алгоритмом) ВнешнийИсточник -> спр Номенклатура?
2) Может это не по теме КД, но все же – для обмена данными база 1С -> web сайт и наоборот используют вебсервисы?
Я правильно понимаю технология вебсервисов подразумевает под собой передачу некой информации в формате ХML, а значит можно получить или передать текст в формате XML, аналогичный файлу обмена данными?
Здравствуйте!
1. Можно использовать и внешние источники, но драйвер нужен все равно.
Если иметь возможность работать с внешней базой из 1С, можно, например, в ПВД собрать данные из внешней базы в таблицу так, что они корректно выгрузятся и загрузятся. Наверняка это гораздо быстрее, чем писать обработку.
2. Да, можно использовать для этого веб-сервисы. Для передачи данных в них часто используют формат XML.
Пожалуйста, не могли бы вы рассказать, можно ли в случае выгрузки данных во внешнюю базу, писать в эту базу непосредственно из правила конвертации и как это принято делать, если так вообще делают? Не очень хочется еще и писать утилиту для обработки файла выгрузки, когда доступ к внешней базе можно получить прямо из 1С.
Здравствуйте!
Да, можно попробовать так сделать. Можно использовать все обработчики ПКО и ПКС на стороне выгрузки, чтобы писать не в xml, а во внешнюю базу. С другой стороны, все зависит от конкретной задачи. Может быть, проще будет написать обработку выгрузки вручную.
Осталось непонятно предназначение настройки в ПВД “Выбирать данные для выгрузки одним запросом”.
Проверил, что вне зависимости от значения этого флага Источник имеет тип Ссылка, а в уроках говорится, что если установить этот флаг, Источник будет Выборка запроса.
Здравствуйте!
Да, параметр Источник содержит в любом случае ссылку на выгружаемый объект. Но если стоит флаг “Выбирать данные одним запросом”, то значения реквизитов этого объекта будут получены не из ссылки, а из уже выполненного результата запроса, который во всех ПКС будет доступен в параметре ОбъектКоллекции. Таким образом сокращается число обращений к базе.
Что такое сериализация ХДТО?
Здравствуйте!
В третьем модуле курса есть несколько ознакомительных уроков про XDTO-сериализацию
Обработка “Выгрузка и загрузка данных XML”. Что произойдет, если перенести объект, изменить его в Исходной базе и опять выгрузить? Заменится при этом объект с тем же UUID, т.е. можно говорить о поиске по уникальному идентификатору?
Здравствуйте!
Да, эта обработка синхронизирует объекты по уникальному идентификатору
Виноват. Прошу прощения. Исправлюсь.
На закладке выгрузка данных указал следующие настройки:
Подключение и выгрузка данных в ИБ приемник.
Тип информационной базы: На данном компьютере или на компьютере в локальной сети
Платформа: 8.2
Не на той странице отчитываетесь )