Запрос = Новый Запрос;

Запрос.Текст =

"ВЫБРАТЬ

|	Штрихкоды.Штрихкод,

|	Штрихкоды.Владелец,

|	Штрихкоды.ТипШтрихкода,

|	Штрихкоды.ЕдиницаИзмерения,

|	Штрихкоды.ХарактеристикаНоменклатуры,

|	Штрихкоды.СерияНоменклатуры,

|	Штрихкоды.Качество

|ИЗ

|	РегистрСведений.Штрихкоды КАК Штрихкоды

|ГДЕ

|	Штрихкоды.СерияНоменклатуры.ПометкаУдаления";



Результат = Запрос.Выполнить();

РезультатТаблица = Результат.Выгрузить();



ТекПозиция = 0;	

Для каждого СтрокаЗапроса из РезультатТаблица Цикл

	

	ОбработкаПрерыванияПользователя();

	ТекПозиция = ТекПозиция + 1;

	Состояние("Выполнено " + Окр(ТекПозиция / РезультатТаблица.Количество() * 100) + "%");



	НаборЗаписей = РегистрыСведений.Штрихкоды.СоздатьНаборЗаписей();

	НаборЗаписей.Отбор.Штрихкод.Установить(СтрокаЗапроса.Штрихкод);

	НаборЗаписей.Отбор.Владелец.Установить(СтрокаЗапроса.Владелец);

	НаборЗаписей.Отбор.ТипШтрихкода.Установить(СтрокаЗапроса.ТипШтрихкода);

	НаборЗаписей.Отбор.ЕдиницаИзмерения.Установить(СтрокаЗапроса.ЕдиницаИзмерения);

	НаборЗаписей.Отбор.ХарактеристикаНоменклатуры.Установить(СтрокаЗапроса.ХарактеристикаНоменклатуры);

	НаборЗаписей.Отбор.СерияНоменклатуры.Установить(СтрокаЗапроса.СерияНоменклатуры);

	// Удаляем записи

	НаборЗаписей.Записать(Истина);   



КонецЦикла;



Предупреждение("Обработка закончена.");   

Ставя очередное обновление Бухгалтерии получил ошибку "Я работаю только на 8.3.4", ну вот... пришло время поставить 8.3.4. и так:

Процесс скачивания и установки новой платформы я описывать не буду, там все просто.

Служба Агент Сервера 1С
По умолчанию он ставиться на порт 1540, а там у меня крутится 8.2, поэтому меняем в ветке рееста
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\1C:Enterprise 8.3 Server Agent Параметр ImagePath
меняем номера портов, добавляя смещение: "C:\Program Files\1cv8\8.3.4.365\bin\ragent.exe" -srvc -agent -regport 1741 -port 1740 -range 1660:1691 -d "C:\Program Files\1cv8\srvinfo"

Запускаем Агента и Открываем консоль Администрирования серверов 1С и создаем кластер 8.3
Указал имя сервера и настроил на порт 1740 (на 1540 работает 8.2)


Создаем кластер + чуток оптимизировал( У меня всего небольшой ОДИН сервер, поэтому - указываю Интервал перезапуска рабочих процессов и объем памяти. т.к у меня один сервер - уровень отказоустойчивости - 0)

Теперь подробнее:
1. Интервал перезапуска: 86400 сек (24 часа). Момент перезапуска не регламентируется, видимо с момента установки параметров, либо запуска сервера приложений.
2. Также можно указать допустимый объем памяти: 3000000 Кб (3 Гб) - Для сервера с 4 ГБ оперативы, Если ее меньше, то не заполняйте этот параметр!.
3. Интервал превышения допустимого объема памяти — это непрерывный интервал времени превышения допустимого объема памяти, после которого сервер перезапустит процесс. Если указано 0 сек — будет ждать вечно.
4. Количество Рабочих процессов расчитывается автоматически на основании Ваших настроек
5. Уровень отказоустойчивости можно задавать уровень отказоустойчивости кластера как количество рабочих серверов, которые могут одновременно выйти из строя, и это не приведет к аварийному завершению работы пользователей. Резервные сервисы запускаются автоматически в количестве, необходимом для обеспечения заданной отказоустойчивости; в реальном режиме времени выполняется репликация активного сервиса на резервные.
6. Режим распределения нагрузки, который можно использовать либо для повышения производительности системы вцелом, либо использовать новый режим «экономии памяти», который позволяет работает «с ограниченной памятью» в случаи если используемая конфигурация «любит отъедать память».

Рабочий сервер
Сервер у меня простенький, 2 Gb оперативы всего и на нем будет всего 2 базы, поэтому настрою его так:

параметр Количество ИБ на процесс ставлю равным 1, т.е. хочу чтобы для каждой ИБ запускался свой процесс - это позволит уменьшить взаимное влияние как по надежности, так и по производительности. Вы же настраивате под характеристики своего сервера!

Информационная база
Добавляю ИБ:


В стартере пописываю базу:


Требования назначения функциональности
Я у себя это не настраиваю но думаю надо сказать об этом:
Управление кластером заключается в том, что администратор определяет состав компьютеров (рабочих серверов), на которых размещается кластер. Кроме этого (при необходимости) он может определить "требования" к ним: какие сервисы и соединения с информационными базами должны работать на каждом из рабочих серверов. Менеджеры кластера и рабочие процессы запускаются автоматически, исходя из назначенных "требований". "Требования" к рабочим серверам могут быть заданы интерактивно, из консоли администрирования кластера, или программно, из встроенного языка.
Так на ноутбуке с ключом защиты чтобы не запускать пользователей на сервер кластера надо добавить «требования» для объекта требования «Клиентское соединение с ИБ» — «Не назначать», т.е. запретить рабочим процессам данного сервера обрабатывать клиентские соединения. Еще больший интерес предоставляет возможность запускать «только фоновые задания» на рабочем сервере кластера без сеансов пользователей. Таким образом можно высоконагруженные задачи (код) вынести на отдельный машины. При чем можно одно фоновое задание «закрытия месяца» через «Значение дополнительного параметра» запускать на одном компьютере, а фоновое задание «Обновление полнотекстового индекса» на другом. Уточнение происходит через указание "Значение дополнительного параметра". Например если указать BackgroundJob.CommonModule в качестве значения, то можно ограничить работу рабочего сервера в кластере только фоновыми заданиями с любым содержимым. Значение BackgroundJob.CommonModule..- укажет конкретный код.

Профили безопасности
Профили безопасности служат для того, чтобы запретить прикладному решению выполнять действия, которые могут быть потенциально опасны для функционирования кластера серверов.
Администратор кластера может назначить любой информационной базе один из существующих в кластере профилей безопасности. И тогда потенциально опасная функциональность прикладного решения будет ограничена в тех пределах, которые описаны в этом профиле.

Стандартно, после создания, профиль безопасности запрещает выполнение всех потенциально опасных действий:
-обращение к файловой системе сервера;
-запуск COM-объектов;
-использование внешних компонентов 1С:Предприятия;
-запуск внешних обработок и отчётов;
-запуск приложений, установленных на сервере;
-обращение к ресурсам Интернета.
Таким образом защититься от нежелательных действий незнакомого прикладного решения очень просто: нужно создать пустой профиль безопасности и назначить его информационной базе. Далее, если есть необходимость, можно расширять этот профиль, описывая в нём действия, которые разрешается выполнять прикладному решению.

Расположение служебных файлов менеджера кластера в 1С Предприятии 8.3
Если при установке системы! «1С:Предприятие» был выбран вариант запуска сервера «1С:Предприятия» как сервиса, то первый запуск агента сервера будет выполнен еще в процессе установки системы. При этом сервис будет запущен от имени пользователя, выбранного в диалоге установки системы, но служебные файлы кластера серверов будут расположены в каталоге <каталог установки системы 1С:Предприятие>\srvinfo (в параметрах сервиса будет в явном виде указан ключ запуска -d).

Если при установке системы «1С:Предприятие» был выбран вариант запуска сервера как приложения, то запуск сервера в процессе установки системы не выполняется; агента сервера необходимо запустить самостоятельно, после того как установка системы будет закончена. При этом если ключ запуска -d указан не будет, служебные файлы кластера серверов будут расположены в каталоге по умолчанию: %USERPROFILE%\LocalSettings\ApplicationData\lC\lCv8 (%LOCALAPPDATA%\lC\lCv8 для ОС WindowsVista и старше).

ВНИМАНИЕ! Если однажды на данном центральном сервере уже был создан кластер, то при смене варианта запуска агента сервера (сервис, приложение) или при смене пользователя, от имени которого работает агент сервера, всегда следует заботиться о правильном указании пути к каталогу служебных файлов кластера серверов. Если в процессе запуска агент сервера не обнаружит список кластеров, он создаст новый кластер на данном сервере.
В операционной системе Linux служебные файлы кластера серверов будут расположены в папке /home/usrlcv8/.lcv8/lC/lcv8 (или сокращенный вариант записи - ~/.1cv8/1C/1cv8).

В этой статье я постараюсь описать процесс парсинга сайтов средствами 1С с примером.
Это статья не является инструкцией к применению, а лишь демонстрирует возможности 1С.

Что мы имеем?
1. Сайт в интернете, на котором располагается список товаров. В моем случае – это интернет магазин салона «Связной»
2. Понимание основ сайтостроения… хотя бы знание HTML тегов
3. Умение кодить в 1С 8

Для начала парсинга стоит определиться с тем что мы хотим спарсить и какая у нас будет иерархия. В моем случае это категория сотовых телефонов. Верхний уровень иерархии будет производители. Почему именно так? Потомы что я так захотел. Вы же вправе использовать любую иерархию.

Далее нам будут интересны такие поля как: Наименование, Цена, Картинка и Описание... ну и пожалую захватим операционную систему, чтобы пример получился более наглядным.

1. Создаем внешнюю обработку. Те, кто не знают как это сделать - дальше могут не читать
2. Создаем форму обработки с командной панелью снизу и сверху (они могут быть полезными)
3. Размещаем на ней Панель и обзываем первую страницу "СамСайт"
4. Кладем на страницу "СамСайт" ПолеHTMLДокумента и обзываем его к примеру "Сайт"
5. Переименовываем кнопку "Выполнить", которая находится на нижней панели в "Загрузить сайт"
6. Описываем процедуру нажатия на эту кнопку так:

Код 1C v 8.х

   ЭлементыФормы.Сайт.Перейти("http://www.svyaznoy.ru/catalog/phone/224"); //Категория с мобильными телефонами   

7. Проверяем работу нашей обработки. У меня появился сайт связного. А у Вас?

Дальше сложнее. Все еще хочешь парсить сайты? Тогда читай:

Сам парсинг сайта заключается в обходе всех элементов загруженной страницы, выдергивания необходимой информации и запихивания их в табличную часть. Для этого:
1. Создадим табличную часть "Производители" с реквизитами "Отметка" (Булево), "Наименование" (Строка 100) и "Ссылка" (Строка 300).
2. Добавляем еще одну страницу на панели и обзываем ее "Производители"
3. Размещаем на этой странице одноименную табличную часть
4. Добавляем на нижней панели кнопку "Заполнить производителей" с кодом:

Код 1C v 8.х

        Для Каждого Стр из ЭлементыФормы.Сайт.Документ.body.all Цикл

              Если Стр.tagName = "H1" и Стр.innerText = "Производители" Тогда

                  Для Каждого опСтр из Стр.nextSibling.children Цикл

                      новСтр = Производители.Добавить();

                      новСтр.Наименование = опСтр.innerText;

                      новСтр.Ссылка = опСтр.firstChild.href;

                  КонецЦикла;

                  Возврат;

              КонецЕсли;

          КонецЦикла;   

Здесь напрашиваются небольшие пояснения:
tagName - имя HTML тега в HTML документе
nextSubling - следующий элемент HTML документа от текущего
children - список дочерних элементов
firstChild - первый дочерний элемент от текущего
5. Проверям. При проверке важно, находиться на странице "СамСайт", чтобы заполнять производителей

Производители заполнены. Теперь к самим телефонам

1. Создаем табличную часть "Товары" с реквизитами "Производитель" (Строка 100), "Наименование" (Строка 100), "Цена" (Число 10,2), "Картинка" (Строка 300), "Описание" (Строка Неограниченная), "ОС" (строка 100), "Ссылка" (Строка,300)
2. Добавляем еще одну страницу на панели и обзываем ее "Товары"
3. Размещаем на этой странице одноименную табличную часть
4. Добавляем на нижней панели кнопку "Заполнить товары" с кодом:

Код 1C v 8.х

       Для Каждого Стр из Производители Цикл

          //Если отметку сняли - то не трогаем этого производителя

          Если Не Стр.Отметка Тогда

              Продолжить;

          КонецЕсли;

          Форма = ПолучитьФорму("ФормаТоваров");

          Форма.ЭлементыФормы.Сайт.Перейти(Стр.Ссылка);

          Форма.ТекущийПроизводитель = Стр;

          Форма.ОткрытьМодально();

      КонецЦикла;   

5. Создаем форму обработки "ФормаТоваров"
6. Кладем на "ФормаТоваров" ПолеHTMLДокумента и называем его "Сайт"
7. На событие ДкументСформирован у ПоляHTMLДокумента пишем код:

Код 1C v 8.х

  Если ЭлементыФормы.Сайт.Документ.body.all.length>1 Тогда

          ГрузимТовары();

      КонецЕсли;   

8. Создаем переменную в модуле формы
перем ТекущийПроизводитель Экспорт;
9. Создаем процедуру ГрузимТовары():

Код 1C v 8.х

       Процедура ГрузимТовары()

          Для Каждого Стр из ЭлементыФормы.Сайт.Документ.body.all Цикл

              Если Стр.className = "ct_desc cleared" Тогда

                  новСтр = Товары.Добавить();

                  Для Каждого опСтр из Стр.children Цикл

                      Если опСтр.className = "pic_and_comp" Тогда

                          новСтр.Картинка = СтрЗаменить(Сред(опСтр.firstChild.style.backgroundImage,5),")","")

                      КонецЕсли;

                      Если опСтр.className = "name" Тогда

                          новСтр.Наименование = опСтр.innerText;

                          новСтр.Ссылка = опСтр.firstChild.href;

                      КонецЕсли;

                      Если опСтр.className = "price" Тогда

                          новСтр.Цена = Число(СтрЗаменить(СтрЗаменить(опСтр.innerText,"-","")," ",""));

                      КонецЕсли;

                      Если опСтр.className = "desc" Тогда

                          новСтр.Описание = опСтр.innerText;//опСтр.innerHTML - если нужно вместе с тегами 



                      КонецЕсли;

                  КонецЦикла;



              КонецЕсли;



          КонецЦикла;

          Закрыть();

      КонецПроцедуры   

10. Проверям. Все работает.

Дело осталось за "операционной системой" и еще надо загрузить картинки. Давайте по порядку. Чтобы получить "ОС" нам надо открыть этот товар и считать "ОС" оттуда. Для этого делаем следующее:

1. Добавляем на нижней панели кнопку "Доп Инфо" с кодом:

Код 1C v 8.х

 Для Каждого Стр из Товары Цикл

          Форма = ПолучитьФорму("ФормаДопИнфо");

          Форма.ЭлементыФормы.Сайт.Перейти(Стр.Ссылка);

          Форма.ТекущийТовар = Стр;

          Форма.ОткрытьМодально();

      КонецЦикла;   

2. Создаем форму обработки "ФормаДопИнфо"
3. Кладем на "ФормаДопИнфо" ПолеHTMLДокумента и называем его "Сайт"
4. На событие ДкументСформирован у ПоляHTMLДокумента пишем код:

Код 1C v 8.х

   Если ЭлементыФормы.Сайт.Документ.body.all.length>1 Тогда

          ГрузимДопИнфо();

      КонецЕсли;   

5. Создаем переменную в модуле формы
перем ТекущийТовар Экспорт;
6. Создаем процедуру ГрузимДопИнфо():

Код 1C v 8.х

       Процедура ГрузимДопИнфо();

          Для Каждого Стр из ЭлементыФормы.Сайт.Документ.body.all Цикл

              Если Стр.className = "card_spec" Тогда

                  Для Каждого опСтр из Стр.children Цикл

                      Если Найти(опСтр.innerText,"Операционная система:") Тогда

                          ТекущийТовар.ОС = СокрЛП(СтрЗаменить(опСтр.innerText,"Операционная система:",""));

                      КонецЕсли;

                  КонецЦикла;

              КонецЕсли;

          КонецЦикла;

          Закрыть();

      КонецПроцедуры   

7. Проверяем и переходим к последнему пункту

Заметили как похожи две последние инструкции? То-то же. Стремился к универсальности. Ну и наконец последний этап - Сохраним все изображения к примеру на диск "С" в папку "связной". Поехали

1. Добавляем на нижней панели кнопку "Сохранить Картинки" с кодом:

Код 1C v 8.х

       Для Каждого Стр из Товары Цикл

              путьСамФайл = Лев(Стр.Картинка,Найти(Стр.Картинка,".jpg/") + 3);

              самФайл = СтрЗаменить(СтрЗаменить(ПутьСамФайл,"http://static.svyaznoy.ru/upload/iblock/",""),"/","");

              Стр.Картинка = СохранитьКартинкуСайта("C:\Svyaznoy",ПутьСамФайл,СамФайл);

          КонецЦикла;   

2. Добавляем функцию СохранитьКартинкуСайта:

Код 1C v 8.х

       Функция СохранитьКартинкуСайта(КаталогСохранения,КартинкаНаСайте,КартинкаУНас)

              ИмяФайлаКартинки = КаталогСохранения + "\" + КартинкаУНас;

              ГетЗапрос = Новый COMОбъект("WinHttp.WinHttpRequest.5.1");

              ГетЗапрос.SetTimeouts(10000, 10000, 10000, 10000);

              БазовыйУРЛ = КартинкаНаСайте;

              Хидер1 = "Content-Type";

              Хидер2 = "image/jpg"; // Тип рисунка.

              ГетЗапрос.Open("GET", БазовыйУРЛ, False); // Синхронный режим.

              ГетЗапрос.setRequestHeader(Хидер1, Хидер2);

              ГетЗапрос.Send();

              СтатусОтправки = ГетЗапрос.status;

              Если СтатусОтправки <> 200 Тогда

                  Сообщить("Ошибка отправки запроса на: "

                      + КартинкаНаСайте);

                  Возврат "";

              КонецЕсли;        



              Стрим = Новый COMОбъект("ADODB.Stream");

              Стрим.Mode = 3;

              Стрим.Type = 1;

              Стрим.Open();

              Стрим.Write(ГетЗапрос.responseBody);



              Стрим.SaveToFile(ИмяФайлаКартинки, 2);

              Стрим.Close();

              Возврат ИмяФайлаКартинки;

      КонецФункции   

На этом наша эпопея с парсингом закончена. Это всего лишь пример того, как это можно сделать. Приложив сюда немного своего кода - можно сделать парсер для любого сайта. Скачивать файлы может только зарегистрированный пользователь!
Имея парсер 1С - я могу спарсить все, кроме этого парсера. Имя два парсера 1С - я могу спарсить все
Автор: opx