faq/view/1669.html » Поиск

Результаты по ключевому слову: faq/view/1669.html

Универсальный парсер RSS для 1С

На одном проекте - клиент попросил отображать в программе данные, которые выдаю специализированные сайта в формате RSS - Что делать !?

Писать парсер rss для 1С

Первым делом, взглянув на ссылки, подумал что - обычный XML, сейчас его разложу и быстренько загружу в базу, но:

Выяснилось что сайты имеют разные форматы ввода RSS и главное они не валидные(

таким образом, написав небольшой код, который получает ссылку, далее XMLФайл.Прочитать() на одном сайте проходил на ура (этот пример я описывал в статье: Чтение данных с сайта в формате XML и загрузка в 1С), а вот второй сайт, и третий тоже, при попытке прочитать() выдавали:

{ОбщийМодуль.РегЗадания.Модуль(79)}: Ошибка при вызове метода контекста (Прочитать)

Пока XMLФайл.Прочитать() Цикл

по причине:

Ошибка разбора XML: - [1,1]

Фатальная ошибка:

Extra content at the end of the document

SystemId url rss

решил попробовать на rss других известных сайтов - 80% из проверяемых выдавали ошибку

Пришлось написать прямой построчный парсер RSS:

Структура конфигурации

ИсточникиRSS - URL на RSS, ДанныеRSS - сюда записываются загруженные данные новостей

Код получился таким(в принципе код универсальный, но возможно что-то придется подпилить):

Код 1C v 8.3

 

// RSS

Процедура ПрочитатьRSS(ИсточникRSS)

	url = ИсточникRSS.UrlRSS;

	

	// Получим Сервер

	Если Найти(url,".ru")>0 Тогда urlСервер = Лев(url,Найти(url,".ru")+2);	

	ИначеЕсли Найти(url,".com")>0 Тогда urlСервер = Лев(url,Найти(url,".com")+3);

	ИначеЕсли Найти(url,".org")>0 Тогда urlСервер = Лев(url,Найти(url,".org")+3);

	ИначеЕсли Найти(url,".info")>0 Тогда urlСервер = Лев(url,Найти(url,".info")+4);

	ИначеЕсли Найти(url,".pro")>0 Тогда urlСервер = Лев(url,Найти(url,".pro")+3);

	КонецЕсли;	 		

		

	//Определим тип соединения

	Если Лев(url,5)="https" Тогда

		//ssl = Новый ЗащищенноеСоединениеOpenSSL(Новый СертификатКлиентаWindows(), Новый СертификатыУдостоверяющихЦентровWindows());   

		ssl = Новый ЗащищенноеСоединениеOpenSSL( неопределено, неопределено );

		ТекАдрес = СтрЗаменить(url,urlСервер,""); Сервер = СтрЗаменить(urlСервер,"https://",""); 

		Соединение = Новый HTTPСоединение(Сервер,,,,,

		5, // таймаут в секундах

		ssl // защищенное HTTPS соединение

		);

	Иначе //Обычный HTTP 		

		ТекАдрес = СтрЗаменить(url,urlСервер,""); Сервер = СтрЗаменить(urlСервер,"http://","");

		Соединение = Новый HTTPСоединение(Сервер);

	КонецЕсли;





	Заголовки = Новый Соответствие;

	Заголовки.Вставить("host", Сервер);  

	Запрос = Новый HTTPЗапрос(ТекАдрес, Заголовки);

	Ответ =Соединение.Получить(Запрос);

	Если Ответ.КодСостояния = 200 Тогда // Данные получены, обрабатываем их

		Содержимое= Ответ.ПолучитьТелоКакСтроку();

		//Преобразуем содержимое

		Содержимое = СтрЗаменить(Содержимое,"<br/>","|"); 

		Содержимое = СтрЗаменить(Содержимое,"<![CDATA[",""); Содержимое = СтрЗаменить(Содержимое,"]]>","");  

		Содержимое = СтрЗаменить(Содержимое,Символы.ПС,""); Содержимое = СтрЗаменить(Содержимое,Символы.ВК,""); 

		Содержимое = СтрЗаменить(Содержимое,Символы.ВТаб,""); Содержимое = СтрЗаменить(Содержимое,Символы.Таб,""); 

		Содержимое = СтрЗаменить(Содержимое,"><",">"+Символы.ПС+"<"); 

		

		RegExp = Новый COMОбъект("VBScript.RegExp"); //Регулярка

		RegExp.IgnoreCase = Ложь; 

		RegExp.Global = Истина;    

		RegExp.MultiLine = Истина;   		

		RegExp.Pattern = "<[^>]*>"; //Ищем теги HTML   

		

		//Разберем полученный текст в таблицу

		ЭтоЗапись=Ложь;

		Для н=1 По СтрЧислоСтрок(Содержимое)Цикл

			обрТекст=СтрПолучитьСтроку(Содержимое,н);

			

			Если обрТекст = "<item>" Тогда //Началась запись 

				ЗаписьСтр = Новый Структура(); ЭтоЗапись=Истина; Продолжить;  

			ИначеЕсли обрТекст = "</item>" Тогда //Закончилась запись 

				

				/////////////// ЗАПИСЬ Закончилась //////////////

				/// теперь запишем ее в базу - Справочник ДанныеRSS

				// сначала ПОИСК ДУБЛЕЙ - вдруг уже загружен 				

				Запрос = Новый Запрос;

				Запрос.Текст = 

				"ВЫБРАТЬ

				|	ДанныеRSS.Ссылка

				|ИЗ

				|	Справочник.ДанныеRSS КАК ДанныеRSS

				|ГДЕ

				|	ДанныеRSS.ИсточникRSS =ИсточникRSS

				|	И ДанныеRSS.link ПОДОБНОlink";

				

				Запрос.УстановитьПараметр("link", "%"+ЗаписьСтр.link+"%");

				Запрос.УстановитьПараметр("ИсточникRSS", ИсточникRSS);				

				РезультатЗапроса = Запрос.Выполнить().Выбрать();

				Если РезультатЗапроса.Следующий() Тогда

					// Такая запись уже есть, пока ничего не делаем

				Иначе

					//СОЗДАЕМ Новый

					НовЭлем  = Справочники.ДанныеRSS.СоздатьЭлемент();

					ЗаполнитьЗначенияСвойств(НовЭлем,ЗаписьСтр);

					НовЭлем.ИсточникRSS = ИсточникRSS;

					НовЭлем.Записать(); 					

				КонецЕсли; 				

				/////////////////////// *** /////////////////////

				

				ЭтоЗапись=Ложь; Продолжить; 

			КонецЕсли; //Данные записи

			

			Если ЭтоЗапись Тогда	

				Если Найти(обрТекст,"title>")>0 и Найти(обрТекст,"/title>")>0 Тогда				

					обрТекст = СтрЗаменить(обрТекст,"title",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					ЗаписьСтр.Вставить("Наименование",СокрЛП(обрТекст));

				КонецЕсли;

				

				Если Найти(обрТекст,"link>")>0 и Найти(обрТекст,"/link>")>0 Тогда				

					обрТекст = СтрЗаменить(обрТекст,"link",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					ЗаписьСтр.Вставить("link",СокрЛП(обрТекст));

				КонецЕсли;

				

				Если Найти(обрТекст,"description>")>0 и Найти(обрТекст,"/description>")>0 Тогда			

					обрТекст = СтрЗаменить(обрТекст,"description",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					обрТекст=RegExp.Replace(обрТекст, ""); //Удалим все теги

					ЗаписьСтр.Вставить("desc",СокрЛП(обрТекст));

				КонецЕсли;

				

				Если Найти(обрТекст,"pubDate>")>0 и Найти(обрТекст,"/pubDate>")>0 Тогда			

					обрТекст = СтрЗаменить(обрТекст,"pubDate",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					ЗаписьСтр.Вставить("pubDate",ПреобразоватьRFC822КДате0(СокрЛП(обрТекст)));

				КонецЕсли;

				

				Если Найти(обрТекст,"enclosure")>0 Тогда					 

					обрТекст = СтрЗаменить(обрТекст,"""",""); обрТекст = СтрЗаменить(обрТекст,"<enclosure url=","");

					обрТекст = СтрЗаменить(обрТекст,"<enclosure url=",""); обрТекст = СтрЗаменить(обрТекст,"type=image/png length=/>","");

					ЗаписьСтр.Вставить("img",СокрЛП(обрТекст));

				КонецЕсли;

			КонецЕсли;	

							

		КонецЦикла;

		

	КонецЕсли;

	

КонецПроцедуры	









Процедура ПроверкаRSS() Экспорт

	Запрос = Новый Запрос;

	Запрос.Текст = 

	"ВЫБРАТЬ

	|	ИсточникиRSS.Ссылка КАК Ссылка

	|ИЗ

	|	Справочник.ИсточникиRSS КАК ИсточникиRSS

	|ГДЕ

	|	ИсточникиRSS.Использовать

	|	И ДОБАВИТЬКДАТЕ(ИсточникиRSS.ДатаПоследнегоОбновления, СЕКУНДА, ИсточникиRSS.ПериодОбновленияВСекундах) <ТекДата"; 	

	Запрос.УстановитьПараметр("ТекДата", ТекущаяДата());

	РезультатЗапроса = Запрос.Выполнить();

	ВыборкаДетальныеЗаписи = РезультатЗапроса.Выбрать();

	Пока ВыборкаДетальныеЗаписи.Следующий() Цикл

		ПрочитатьRSS(ВыборкаДетальныеЗаписи.Ссылка);

		// Запишем дату последнего обновления

		ТекОб = ВыборкаДетальныеЗаписи.Ссылка.ПолучитьОбъект();

		ТекОб.ДатаПоследнегоОбновления = ТекущаяДата();

		ТекОб.Записать();

	КонецЦикла;

КонецПроцедуры



Функция ПреобразоватьRFC822КДате0(ДатаВФорматеRFC822) Экспорт

    КопияСтроки = ДатаВФорматеRFC822;

    СтруктураДаты = Новый Структура("Год,Месяц,День,Час,Минута,Секунда",  "","","","","","");

    Месяцы = Новый Структура("Jan,Feb,Mar,Apr,May,Jun,Jul,Aug,Sep,Oct,Nov,Dec",  "01","02","03","04","05","06","07","08","09","10","11","12");

    Для каждого КлючИЗначение Из Месяцы Цикл

        Позиция = Найти(КопияСтроки,КлючИЗначение.Ключ);

        Если Позиция > 0  Тогда

             СтруктураДаты.Месяц = КлючИЗначение.Значение;

            Прервать;

        КонецЕсли;

    КонецЦикла; 

	Состояние = 0;

	КопияСтроки = СтрЗаменить(КопияСтроки,", 1 ",", 01 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 2 ",", 02 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 3 ",", 03 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 4 ",", 04 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 5 ",", 05 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 6 ",", 06 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 7 ",", 07 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 8 ",", 08 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 9 ",", 09 ");

	Для ш=0 По СтрДлина(КопияСтроки) Цикл

        ТекущийСимвол = Сред(КопияСтроки,ш,1); //ПолучитьСимвол(КопияСтроки, ш);

        ТекСимволЦифра= ЭтоЦифра(ТекущийСимвол);

        Если ТекСимволЦифра И Состояние = 0  Тогда

            СтруктураДаты.День = СтруктураДаты.День + ТекущийСимвол;

            Состояние = 1; //начало день

        ИначеЕсли ТекСимволЦифра И Состояние = 1  Тогда

            СтруктураДаты.День = СтруктураДаты.День + ТекущийСимвол;

            Состояние = 2; //ждем год

        ИначеЕсли ТекСимволЦифра И Состояние = 2  Тогда

            СтруктураДаты.Год = СтруктураДаты.Год + ТекущийСимвол;

            Состояние = 3; //продолжаем год

        ИначеЕсли ТекСимволЦифра И Состояние = 3  Тогда

            СтруктураДаты.Год = СтруктураДаты.Год + ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = " " И Состояние = 3 Тогда

               Состояние = 4; //дальше час    

        ИначеЕсли ТекСимволЦифра И Состояние = 4  Тогда

            СтруктураДаты.Час = СтруктураДаты.Час + ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = ":" И Состояние = 4  Тогда

            Состояние = 5; //дальше минута

        ИначеЕсли ТекСимволЦифра И Состояние = 5  Тогда

            СтруктураДаты.Минута = СтруктураДаты.Минута +  ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = ":" И Состояние = 5  Тогда

            Состояние = 6; //дальше секунда

        ИначеЕсли ТекСимволЦифра И Состояние = 6  Тогда

            СтруктураДаты.Секунда = СтруктураДаты.Секунда +  ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = " " И Состояние = 6 Тогда

            Прервать;

        КонецЕсли;

    КонецЦикла;

    Попытка

        Результат = Дата(СтруктураДаты.Год+СтруктураДаты.Месяц+СтруктураДаты.День

                        +СтруктураДаты.Час+СтруктураДаты.Минута+СтруктураДаты.Секунда);

    Исключение

        Результат = Неопределено;    

    КонецПопытки;

    Возврат Результат;

КонецФункции



Функция ЭтоЦифра(Символ) Экспорт

     Если (КодСимвола(Символ)>=48) И (КодСимвола(Символ)<=57) Тогда Возврат Истина; Иначе Возврат ложь; КонецЕсли;

КонецФункции



Функция ПолучитьСимвол(КопияСтроки, ш)

	Возврат Сред(КопияСтроки,ш,1);

КонецФункции

Результат загрузки новостей RSS HelpF.pro

Кстати, как позже выяснилось, здесь уже есть статья с примером через IE и DOM: Получения новостей с RSS-канала сайта buh.ru

Категория: Работа с Интернет, Почтой (Mail), FTP

Регламентные и фоновые задания (создание, настройка, запуск)

При работе в 1С встречается много рутинных операций которые должны запускаться или формироваться по расписанию выполняя то или иное действие, например: проведение документов или загрузка данных в 1С с сайта.

Недавно я разместил статью: Чтение данных с сайта в формате XML и загрузка в 1С пришло время это автоматизировать:

Регламентные и фоновые задания

Механизм заданий предназначен для выполнения какой-либо прикладной или функциональности по расписанию или асинхронно.

Механизм заданий решает следующие задачи:

Возможность определения регламентных процедур на этапе конфигурирования системы;
Выполнение заданных действий по расписанию;
Выполнение вызова заданной процедуры или функции асинхронно, т.е. без ожидания ее завершения;
Отслеживание хода выполнения определенного задания и получение его статуса завершения (значения, указывающего успешность или не успешность его выполнения);
Получение списка текущих заданий;
Возможность ожидания завершения одного или нескольких заданий;
Управление заданиями (возможность отмены, блокировка выполнения и др.).

Механизм заданий состоит из следующих компонентов:

Метаданных регламентных заданий;
Регламентных заданий;
Фоновых заданий;
Планировщика заданий.

Фоновые задания & предназначены для выполнения прикладных задач асинхронно. Фоновые задания реализуются средствами встроенного языка.

Регламентные задания & предназначены для выполнения прикладных задач по расписанию. Регламентные задания хранятся в информационной базе и создаются на основе метаданных, определяемых в конфигурации. Метаданные регламентного задания содержат такую информацию как наименование, метод, использование и т.д.

Регламентное задание имеет расписание, которое определяет, в какие моменты времени нужно выполнять связанный с регламентным заданием метод. Расписание, как правило, задается в информационной базе, но может быть задано и на этапе конфигурирования (например, для предопределенных регламентных заданий).

Планировщик заданий используется для планирования выполнения регламентных заданий. Для каждого регламентного задания планировщик периодически проверяет, соответствует ли текущая дата и время расписанию регламентного задания. Если соответствует, планировщик назначает такое задание на выполнение. Для этого по данному регламентному заданию планировщик создает фоновое задание, которое и выполняет реальную обработку.

С описанием, думаю, хватит - приступим к реализации:

Создание регламентного задания

Имя метода – путь к процедуре, которая будет выполняться в фоновом задании по заданному расписанию. Процедура должна находиться в общем модуле. Рекомендуется не использовать типовые общие модули, а создать свой. Не забудьте, что фоновые задания исполняются на сервере!

Использование – признак использования регламентного задания.

Предопределенное – указывает, является ли регламентное задание предопределенным.

Если хотите что бы регламентное задание заработало сразу после помещения в БД, укажите признак Предопределенное. В противном случае вам необходимо будет использовать обработку “Консоль заданий” или вызывать запуск задания программно.

Количество повторов при аварийном завершении задания – сколько раз выполнен перезапуск фонового задания, если оно было выполнено с ошибкой.

Интервал повтора при аварийном завершении задания – с какой периодичностью будет выполнен перезапуск фонового задания, если оно было выполнено с ошибкой.

Настройка расписания

Расписание выполнения задания:

Каждый час, только один день	ПериодПовтораДней = 0, ПериодПовтораВТечениеДня = 3600
Каждый день один раз в день	ПериодПовтораДней = 1, ПериодПовтораВТечениеДня = 0
Один день, один раз	ПериодПовтораДней = 0
Через день один раз в день	ПериодПовтораДней = 2
Каждый час с 01.00 до 07.00 каждый день	ПериодПовтораДней = 1ПериодПовтораВТечениеДня = 3600ВремяНачала = 01.00 ВремяКонца = 07.00
Каждую субботу и воскресенье в 09.00	ПериодПовтораДней = 1ДниНедели = 6, 7ВремяНачала = 09.00
Каждый день одну неделю, неделя пропуска	ПериодПовтораДней = 1ПериодНедель = 2
В 01.00 один раз	ВремяНачала = 01.00
Последнее число каждого месяца в 9:00.	ПериодПовтораДней = 1ДеньВМесяце = -1ВремяНачала = 09.00
Пятое число каждого месяца в 9:00	ПериодПовтораДней = 1ДеньВМесяце = 5ВремяНачала = 09.00
Вторая среда каждого месяца в 9:00	ПериодПовтораДней = 1ДеньНеделиВМесяце = 2ДниНедели = 3 ВремяНачала = 09.00

Особенности выполнения фоновых заданий файловом и клиент-серверном вариантах

Механизмы выполнения фоновых заданий в файловом и клиент-серверном вариантах различаются.

В файловом варианте необходимо создать выделенный клиентский процесс, который будет заниматься выполнением фоновых заданий. Для этого в клиентском процессе должна периодически вызываться функция глобального контекста ВыполнитьОбработкуЗаданий. Только один клиентский процесс на информационную базу должен выполнять обработку фоновых заданий (и, соответственно, вызывать данную функцию). Если клиентского процесса для обработки фоновых заданий не создано, то при программном доступе к механизму заданий будет выдана ошибка «Менеджер заданий не активен». Не рекомендуется клиентский процесс, выполняющий обработку фоновых заданий, использовать для других функций.

После того, как клиентский процесс, выполняющий обработку фоновых заданий, запущен, остальные клиентские процессы получают возможность программного доступа к механизму фоновых заданий, т.е. могут запускать и управлять фоновыми заданиями.

В клиент-серверном варианте для выполнения фоновых заданий используется планировщик заданий, который физически находится в менеджере кластера. Планировщик для всех поставленных в очередь на выполнение фоновых заданий получает наименее загруженный рабочий процесс и использует его для выполнения соответствующего фонового задания. Рабочий процесс выполняет задание и уведомляет планировщик о результатах выполнения.

В клиент-серверном варианте имеется возможность блокирования выполнения регламентных заданий. Блокирование выполнения регламентных заданий происходит в следующих случаях:

На информационную базу установлена явная блокировка регламентных заданий. Блокировка может быть установлена через консоль кластера;
На информационную базу установлена блокировка соединения. Блокировка может быть установлена через консоль кластера;
Из встроенного языка вызван метод УстановитьМонопольныйРежим() с параметром Истина;
В некоторых других случаях (например, при обновлении конфигурации базы данных).

Обработки запуска и просмотра регламентных заданий вы можете скачать здесь:

Для 8.2 Обычные формы: Konsol82.rar

Для 8.3 Управляемые формы: KonsolZadaniy83.rar

Категория: Регламентные задания, Фоновые задания