иерархию » Поиск

Результаты по ключевому слову: иерархию

Парсер сайта на 1С

В этой статье я постараюсь описать процесс парсинга сайтов средствами 1С с примером.
Это статья не является инструкцией к применению, а лишь демонстрирует возможности 1С.

Что мы имеем?
1. Сайт в интернете, на котором располагается список товаров. В моем случае – это интернет магазин салона «Связной»
2. Понимание основ сайтостроения… хотя бы знание HTML тегов
3. Умение кодить в 1С 8

Для начала парсинга стоит определиться с тем что мы хотим спарсить и какая у нас будет иерархия. В моем случае это категория сотовых телефонов. Верхний уровень иерархии будет производители. Почему именно так? Потомы что я так захотел. Вы же вправе использовать любую иерархию.

Далее нам будут интересны такие поля как: Наименование, Цена, Картинка и Описание... ну и пожалую захватим операционную систему, чтобы пример получился более наглядным.

1. Создаем внешнюю обработку. Те, кто не знают как это сделать - дальше могут не читать
2. Создаем форму обработки с командной панелью снизу и сверху (они могут быть полезными)
3. Размещаем на ней Панель и обзываем первую страницу "СамСайт"
4. Кладем на страницу "СамСайт" ПолеHTMLДокумента и обзываем его к примеру "Сайт"
5. Переименовываем кнопку "Выполнить", которая находится на нижней панели в "Загрузить сайт"
6. Описываем процедуру нажатия на эту кнопку так:

Код 1C v 8.х

   ЭлементыФормы.Сайт.Перейти("http://www.svyaznoy.ru/catalog/phone/224"); //Категория с мобильными телефонами

7. Проверяем работу нашей обработки. У меня появился сайт связного. А у Вас?

Дальше сложнее. Все еще хочешь парсить сайты? Тогда читай:

Сам парсинг сайта заключается в обходе всех элементов загруженной страницы, выдергивания необходимой информации и запихивания их в табличную часть. Для этого:
1. Создадим табличную часть "Производители" с реквизитами "Отметка" (Булево), "Наименование" (Строка 100) и "Ссылка" (Строка 300).
2. Добавляем еще одну страницу на панели и обзываем ее "Производители"
3. Размещаем на этой странице одноименную табличную часть
4. Добавляем на нижней панели кнопку "Заполнить производителей" с кодом:

Код 1C v 8.х

        Для Каждого Стр из ЭлементыФормы.Сайт.Документ.body.all Цикл

              Если Стр.tagName = "H1" и Стр.innerText = "Производители" Тогда

                  Для Каждого опСтр из Стр.nextSibling.children Цикл

                      новСтр = Производители.Добавить();

                      новСтр.Наименование = опСтр.innerText;

                      новСтр.Ссылка = опСтр.firstChild.href;

                  КонецЦикла;

                  Возврат;

              КонецЕсли;

          КонецЦикла;

Здесь напрашиваются небольшие пояснения:
tagName - имя HTML тега в HTML документе
nextSubling - следующий элемент HTML документа от текущего
children - список дочерних элементов
firstChild - первый дочерний элемент от текущего
5. Проверям. При проверке важно, находиться на странице "СамСайт", чтобы заполнять производителей

Производители заполнены. Теперь к самим телефонам

1. Создаем табличную часть "Товары" с реквизитами "Производитель" (Строка 100), "Наименование" (Строка 100), "Цена" (Число 10,2), "Картинка" (Строка 300), "Описание" (Строка Неограниченная), "ОС" (строка 100), "Ссылка" (Строка,300)
2. Добавляем еще одну страницу на панели и обзываем ее "Товары"
3. Размещаем на этой странице одноименную табличную часть
4. Добавляем на нижней панели кнопку "Заполнить товары" с кодом:

Код 1C v 8.х

       Для Каждого Стр из Производители Цикл

          //Если отметку сняли - то не трогаем этого производителя

          Если Не Стр.Отметка Тогда

              Продолжить;

          КонецЕсли;

          Форма = ПолучитьФорму("ФормаТоваров");

          Форма.ЭлементыФормы.Сайт.Перейти(Стр.Ссылка);

          Форма.ТекущийПроизводитель = Стр;

          Форма.ОткрытьМодально();

      КонецЦикла;

5. Создаем форму обработки "ФормаТоваров"
6. Кладем на "ФормаТоваров" ПолеHTMLДокумента и называем его "Сайт"
7. На событие ДкументСформирован у ПоляHTMLДокумента пишем код:

Код 1C v 8.х

  Если ЭлементыФормы.Сайт.Документ.body.all.length>1 Тогда

          ГрузимТовары();

      КонецЕсли;

8. Создаем переменную в модуле формы
перем ТекущийПроизводитель Экспорт;
9. Создаем процедуру ГрузимТовары():

Код 1C v 8.х

       Процедура ГрузимТовары()

          Для Каждого Стр из ЭлементыФормы.Сайт.Документ.body.all Цикл

              Если Стр.className = "ct_desc cleared" Тогда

                  новСтр = Товары.Добавить();

                  Для Каждого опСтр из Стр.children Цикл

                      Если опСтр.className = "pic_and_comp" Тогда

                          новСтр.Картинка = СтрЗаменить(Сред(опСтр.firstChild.style.backgroundImage,5),")","")

                      КонецЕсли;

                      Если опСтр.className = "name" Тогда

                          новСтр.Наименование = опСтр.innerText;

                          новСтр.Ссылка = опСтр.firstChild.href;

                      КонецЕсли;

                      Если опСтр.className = "price" Тогда

                          новСтр.Цена = Число(СтрЗаменить(СтрЗаменить(опСтр.innerText,"-","")," ",""));

                      КонецЕсли;

                      Если опСтр.className = "desc" Тогда

                          новСтр.Описание = опСтр.innerText;//опСтр.innerHTML - если нужно вместе с тегами 



                      КонецЕсли;

                  КонецЦикла;



              КонецЕсли;



          КонецЦикла;

          Закрыть();

      КонецПроцедуры

10. Проверям. Все работает.

Дело осталось за "операционной системой" и еще надо загрузить картинки. Давайте по порядку. Чтобы получить "ОС" нам надо открыть этот товар и считать "ОС" оттуда. Для этого делаем следующее:

1. Добавляем на нижней панели кнопку "Доп Инфо" с кодом:

Код 1C v 8.х

 Для Каждого Стр из Товары Цикл

          Форма = ПолучитьФорму("ФормаДопИнфо");

          Форма.ЭлементыФормы.Сайт.Перейти(Стр.Ссылка);

          Форма.ТекущийТовар = Стр;

          Форма.ОткрытьМодально();

      КонецЦикла;

2. Создаем форму обработки "ФормаДопИнфо"
3. Кладем на "ФормаДопИнфо" ПолеHTMLДокумента и называем его "Сайт"
4. На событие ДкументСформирован у ПоляHTMLДокумента пишем код:

Код 1C v 8.х

   Если ЭлементыФормы.Сайт.Документ.body.all.length>1 Тогда

          ГрузимДопИнфо();

      КонецЕсли;

5. Создаем переменную в модуле формы
перем ТекущийТовар Экспорт;
6. Создаем процедуру ГрузимДопИнфо():

Код 1C v 8.х

       Процедура ГрузимДопИнфо();

          Для Каждого Стр из ЭлементыФормы.Сайт.Документ.body.all Цикл

              Если Стр.className = "card_spec" Тогда

                  Для Каждого опСтр из Стр.children Цикл

                      Если Найти(опСтр.innerText,"Операционная система:") Тогда

                          ТекущийТовар.ОС = СокрЛП(СтрЗаменить(опСтр.innerText,"Операционная система:",""));

                      КонецЕсли;

                  КонецЦикла;

              КонецЕсли;

          КонецЦикла;

          Закрыть();

      КонецПроцедуры

7. Проверяем и переходим к последнему пункту

Заметили как похожи две последние инструкции? То-то же. Стремился к универсальности. Ну и наконец последний этап - Сохраним все изображения к примеру на диск "С" в папку "связной". Поехали

1. Добавляем на нижней панели кнопку "Сохранить Картинки" с кодом:

Код 1C v 8.х

       Для Каждого Стр из Товары Цикл

              путьСамФайл = Лев(Стр.Картинка,Найти(Стр.Картинка,".jpg/") + 3);

              самФайл = СтрЗаменить(СтрЗаменить(ПутьСамФайл,"http://static.svyaznoy.ru/upload/iblock/",""),"/","");

              Стр.Картинка = СохранитьКартинкуСайта("C:\Svyaznoy",ПутьСамФайл,СамФайл);

          КонецЦикла;

2. Добавляем функцию СохранитьКартинкуСайта:

Код 1C v 8.х

       Функция СохранитьКартинкуСайта(КаталогСохранения,КартинкаНаСайте,КартинкаУНас)

              ИмяФайлаКартинки = КаталогСохранения + "\" + КартинкаУНас;

              ГетЗапрос = Новый COMОбъект("WinHttp.WinHttpRequest.5.1");

              ГетЗапрос.SetTimeouts(10000, 10000, 10000, 10000);

              БазовыйУРЛ = КартинкаНаСайте;

              Хидер1 = "Content-Type";

              Хидер2 = "image/jpg"; // Тип рисунка.

              ГетЗапрос.Open("GET", БазовыйУРЛ, False); // Синхронный режим.

              ГетЗапрос.setRequestHeader(Хидер1, Хидер2);

              ГетЗапрос.Send();

              СтатусОтправки = ГетЗапрос.status;

              Если СтатусОтправки <> 200 Тогда

                  Сообщить("Ошибка отправки запроса на: "

                      + КартинкаНаСайте);

                  Возврат "";

              КонецЕсли;        



              Стрим = Новый COMОбъект("ADODB.Stream");

              Стрим.Mode = 3;

              Стрим.Type = 1;

              Стрим.Open();

              Стрим.Write(ГетЗапрос.responseBody);



              Стрим.SaveToFile(ИмяФайлаКартинки, 2);

              Стрим.Close();

              Возврат ИмяФайлаКартинки;

      КонецФункции

На этом наша эпопея с парсингом закончена. Это всего лишь пример того, как это можно сделать. Приложив сюда немного своего кода - можно сделать парсер для любого сайта. Скачивать файлы может только зарегистрированный пользователь!

Имея парсер 1С - я могу спарсить все, кроме этого парсера. Имя два парсера 1С - я могу спарсить все
Автор: opx

Категория: Работа с Интернет, Почтой (Mail), FTP

Табличное поле ~ Почему не отображается ДеревоЗначений?

На форме имеется ТабличноеПоле с типом ДеревоЗначений и установленным свойством Дерево. Почему не отображается ДеревоЗначений?
Необходимо кроме этого, для одной из колонок установить свойство ОтображатьИерархию.

Как вывести в справочник в виде дерева значений

Категория: Работа с Формой (Диалог) и её элементами

Модуль менеджера объекта

Рассмотрим работу с Модулем менеджера объектов.

Пожалуй, начнем сразу с практического примера.
В справочник Контрагенты нам необходимо заносить информацию о поставщиках, покупателях, банках, налоговых органах, различных фондах и пр. Для каждого вида контрагента нас интересует разная информация.

Создадим функцию, возвращающую список «важных» реквизитов в зависимости от вида контрагента:

Код 1C v 8.2 УП

 Функция ПолучитьВажныеРеквизиты(ВидКонтрагента)



МассивРеквизитов = Новый Массив;



Если ВидКонтрагента = Перечисления.ВидыКонтрагентов.Поставщик Тогда

МассивРеквизитов.Добавить("ВидКонтрагента");

МассивРеквизитов.Добавить("ЮрАдрес");

МассивРеквизитов.Добавить("ИНН");

МассивРеквизитов.Добавить("ТипЦен");

МассивРеквизитов.Добавить("ЛимитКледита");



ИначеЕсли ВидКонтрагента = Перечисления.ВидыКонтрагентов.Покупатель Тогда

МассивРеквизитов.Добавить("ВидКонтрагента");

МассивРеквизитов.Добавить("ЮрАдрес");

МассивРеквизитов.Добавить("ФактАдрес");

МассивРеквизитов.Добавить("ПроцентБонусов");



ИначеЕсли ВидКонтрагента = Перечисления.ВидыКонтрагентов.Банк Тогда

МассивРеквизитов.Добавить("ВидКонтрагента");

МассивРеквизитов.Добавить("ЮрАдрес");

МассивРеквизитов.Добавить("ИНН");

МассивРеквизитов.Добавить("БИК");



ИначеЕсли ВидКонтрагента = Перечисления.ВидыКонтрагентов.Налоговая Тогда

МассивРеквизитов.Добавить("ВидКонтрагента");

МассивРеквизитов.Добавить("ЮрАдрес");

МассивРеквизитов.Добавить("ИНН");

МассивРеквизитов.Добавить("КодИФНС");



КонецЕсли;



КонецФункции

Где же ее правильнее разместить?

Напрашивается вариант - в процедуре Модуля объекта «ПередЗаписью()». Тем самым мы на этапе записи будем контролировать правильность заполнения нужных нам реквизитов. С точки зрения создания, изменения элемента справочника, нас все устраивает. Но если нам необходимо, чтобы некоторые менеджеры заносились контрагентов в ИБ без контроля, а спустя какое-то время мы будем выполнять проверку на корректность заполнения данных в справочнике. Тогда нужно будет написать обработку. И в этой обработке, перебирая элементы, проверять заполнение реквизитов. Т.о. эту функцию придется разместить в коде обработки. А это получается дублирование кода, со всеми вытекающими проблемами. Можно получать объект каждого элемента, обращаться к функции, расположенной в его Модуле объекта. Но это будет дополнительные обращения к БД, тогда как в обработке нам достаточно только ссылок.

Можно выйти из этой ситуации создав Общий модуль «РаботаСКонтрагентами» и разместить в нем функцию возвращающую список реквизитов для проверки. В этом случае будем обращаться так «РаботаСКонтрагентами.ПолучитьСписокВажныхРеквизитов(ВидКонтрагента)».

Но! На платформе 8.2 как раз для решения подобной задачи и был создан Модуль менежера. Там и разместим нашу функцию. А обращаться мы будем: «Справочники.Контрагенты.ПолучитьСписокВажныхРеквизитов(ВидКонтрагента)».

Т.о. на ряду с предопределенными методами, мы можем самостоятельно разработать свои процедуры и обращаться к ним как методам Менеджера объекта, через точку. У нас отпадает необходимость создавать «тематические» внешние модули такие как «Работа с Контрагентами», «Процедуры Номенклатуры»...

Обратимся теперь к теории, чтобы «разложить все по полочкам».

Руководство разработчика дает нам следующее описание: «Модуль менеджера существует у всех прикладных объектов и предназначен для управления этим объектом как объектом конфигурации. Модуль менеджера позволяет расширить функциональность менеджеров за счет введения процедур и функций на встроенном языке. Фактически это позволяет описать методы для объекта конфигурации, которые относятся не к конкретному экземпляру объекта базы данных, а к самому объекту конфигурации». Именно это мы и разобрали в нашем практическом примере.

Отобразим иерархию классов прикладных объектов на примере Справочников:
title

Т.е. мы видим, что появление «Модуля менеджера объекта» логично расширяет свойства класса СправочникМенеджер, так же как экспортные процедуры «Модуля объекта» расширяют методы класса СправочникОбъект. Нужно ли было создавать «Модуль прикладного объекта Справочники (Документы, Перечисления)». Наверное нет. Достаточно трудно придумать какие-либо задачи для единой обработки всех видов справочников.

Кроме возможности расширения методов класса, в модуле менеджера существует предопределенная процедура События

Код 1C v 8.2 УП

 «ОбработкаПолученияДанныхВыбора»

. Она возникает на сервере перед стандартным формированием списка при вводе по строке, автоподборе текста и быстром выборе, а также при выполнении метода «ПолучитьДанныеВыбора()».

Так же хочу обратить внимание. При использовании конструктора печати прикладного объекта, платформа расположит процедуру формирования табличного документа непосредственно в Модуле менеджера. И это логично. Теперь, чтобы получить табличный документ элемента справочника нет необходимости получать объект. Достаточно кода:

Код 1C v 8.2 УП

 Справочники.Номенклатура.Печать(ТабДок, Ссылка)

.

Автор: Шумаев Алексей

Категория: 1С Общие вопросы - Обычные формы

Конструктор схемы компоновки данных - Закладка Вложенные схемы

Компоновщик может содержать внутренние схемы, такие же схемы СКД, которые можно выводить как дополнительные отчеты. Т.е. можно строить иерархию отчетов.
На закладке «Вложенные схемы» определяется имя под которым отчет фигурирует в настройках, заголовок отчета выводимое на печать, схема компоновки и настройки вложенного отчета.

Категория: Схема Компоновки Данных