парсер » Поиск

Результаты по ключевому слову: парсер

Универсальный парсер RSS для 1С

На одном проекте - клиент попросил отображать в программе данные, которые выдаю специализированные сайта в формате RSS - Что делать !?

Писать парсер rss для 1С

Первым делом, взглянув на ссылки, подумал что - обычный XML, сейчас его разложу и быстренько загружу в базу, но:

Выяснилось что сайты имеют разные форматы ввода RSS и главное они не валидные(

таким образом, написав небольшой код, который получает ссылку, далее XMLФайл.Прочитать() на одном сайте проходил на ура (этот пример я описывал в статье: Чтение данных с сайта в формате XML и загрузка в 1С), а вот второй сайт, и третий тоже, при попытке прочитать() выдавали:

{ОбщийМодуль.РегЗадания.Модуль(79)}: Ошибка при вызове метода контекста (Прочитать)

Пока XMLФайл.Прочитать() Цикл

по причине:

Ошибка разбора XML: - [1,1]

Фатальная ошибка:

Extra content at the end of the document

SystemId url rss

решил попробовать на rss других известных сайтов - 80% из проверяемых выдавали ошибку

Пришлось написать прямой построчный парсер RSS:

Структура конфигурации

ИсточникиRSS - URL на RSS, ДанныеRSS - сюда записываются загруженные данные новостей

Код получился таким(в принципе код универсальный, но возможно что-то придется подпилить):

Код 1C v 8.3

 

// RSS

Процедура ПрочитатьRSS(ИсточникRSS)

	url = ИсточникRSS.UrlRSS;

	

	// Получим Сервер

	Если Найти(url,".ru")>0 Тогда urlСервер = Лев(url,Найти(url,".ru")+2);	

	ИначеЕсли Найти(url,".com")>0 Тогда urlСервер = Лев(url,Найти(url,".com")+3);

	ИначеЕсли Найти(url,".org")>0 Тогда urlСервер = Лев(url,Найти(url,".org")+3);

	ИначеЕсли Найти(url,".info")>0 Тогда urlСервер = Лев(url,Найти(url,".info")+4);

	ИначеЕсли Найти(url,".pro")>0 Тогда urlСервер = Лев(url,Найти(url,".pro")+3);

	КонецЕсли;	 		

		

	//Определим тип соединения

	Если Лев(url,5)="https" Тогда

		//ssl = Новый ЗащищенноеСоединениеOpenSSL(Новый СертификатКлиентаWindows(), Новый СертификатыУдостоверяющихЦентровWindows());   

		ssl = Новый ЗащищенноеСоединениеOpenSSL( неопределено, неопределено );

		ТекАдрес = СтрЗаменить(url,urlСервер,""); Сервер = СтрЗаменить(urlСервер,"https://",""); 

		Соединение = Новый HTTPСоединение(Сервер,,,,,

		5, // таймаут в секундах

		ssl // защищенное HTTPS соединение

		);

	Иначе //Обычный HTTP 		

		ТекАдрес = СтрЗаменить(url,urlСервер,""); Сервер = СтрЗаменить(urlСервер,"http://","");

		Соединение = Новый HTTPСоединение(Сервер);

	КонецЕсли;





	Заголовки = Новый Соответствие;

	Заголовки.Вставить("host", Сервер);  

	Запрос = Новый HTTPЗапрос(ТекАдрес, Заголовки);

	Ответ =Соединение.Получить(Запрос);

	Если Ответ.КодСостояния = 200 Тогда // Данные получены, обрабатываем их

		Содержимое= Ответ.ПолучитьТелоКакСтроку();

		//Преобразуем содержимое

		Содержимое = СтрЗаменить(Содержимое,"<br/>","|"); 

		Содержимое = СтрЗаменить(Содержимое,"<![CDATA[",""); Содержимое = СтрЗаменить(Содержимое,"]]>","");  

		Содержимое = СтрЗаменить(Содержимое,Символы.ПС,""); Содержимое = СтрЗаменить(Содержимое,Символы.ВК,""); 

		Содержимое = СтрЗаменить(Содержимое,Символы.ВТаб,""); Содержимое = СтрЗаменить(Содержимое,Символы.Таб,""); 

		Содержимое = СтрЗаменить(Содержимое,"><",">"+Символы.ПС+"<"); 

		

		RegExp = Новый COMОбъект("VBScript.RegExp"); //Регулярка

		RegExp.IgnoreCase = Ложь; 

		RegExp.Global = Истина;    

		RegExp.MultiLine = Истина;   		

		RegExp.Pattern = "<[^>]*>"; //Ищем теги HTML   

		

		//Разберем полученный текст в таблицу

		ЭтоЗапись=Ложь;

		Для н=1 По СтрЧислоСтрок(Содержимое)Цикл

			обрТекст=СтрПолучитьСтроку(Содержимое,н);

			

			Если обрТекст = "<item>" Тогда //Началась запись 

				ЗаписьСтр = Новый Структура(); ЭтоЗапись=Истина; Продолжить;  

			ИначеЕсли обрТекст = "</item>" Тогда //Закончилась запись 

				

				/////////////// ЗАПИСЬ Закончилась //////////////

				/// теперь запишем ее в базу - Справочник ДанныеRSS

				// сначала ПОИСК ДУБЛЕЙ - вдруг уже загружен 				

				Запрос = Новый Запрос;

				Запрос.Текст = 

				"ВЫБРАТЬ

				|	ДанныеRSS.Ссылка

				|ИЗ

				|	Справочник.ДанныеRSS КАК ДанныеRSS

				|ГДЕ

				|	ДанныеRSS.ИсточникRSS =ИсточникRSS

				|	И ДанныеRSS.link ПОДОБНОlink";

				

				Запрос.УстановитьПараметр("link", "%"+ЗаписьСтр.link+"%");

				Запрос.УстановитьПараметр("ИсточникRSS", ИсточникRSS);				

				РезультатЗапроса = Запрос.Выполнить().Выбрать();

				Если РезультатЗапроса.Следующий() Тогда

					// Такая запись уже есть, пока ничего не делаем

				Иначе

					//СОЗДАЕМ Новый

					НовЭлем  = Справочники.ДанныеRSS.СоздатьЭлемент();

					ЗаполнитьЗначенияСвойств(НовЭлем,ЗаписьСтр);

					НовЭлем.ИсточникRSS = ИсточникRSS;

					НовЭлем.Записать(); 					

				КонецЕсли; 				

				/////////////////////// *** /////////////////////

				

				ЭтоЗапись=Ложь; Продолжить; 

			КонецЕсли; //Данные записи

			

			Если ЭтоЗапись Тогда	

				Если Найти(обрТекст,"title>")>0 и Найти(обрТекст,"/title>")>0 Тогда				

					обрТекст = СтрЗаменить(обрТекст,"title",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					ЗаписьСтр.Вставить("Наименование",СокрЛП(обрТекст));

				КонецЕсли;

				

				Если Найти(обрТекст,"link>")>0 и Найти(обрТекст,"/link>")>0 Тогда				

					обрТекст = СтрЗаменить(обрТекст,"link",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					ЗаписьСтр.Вставить("link",СокрЛП(обрТекст));

				КонецЕсли;

				

				Если Найти(обрТекст,"description>")>0 и Найти(обрТекст,"/description>")>0 Тогда			

					обрТекст = СтрЗаменить(обрТекст,"description",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					обрТекст=RegExp.Replace(обрТекст, ""); //Удалим все теги

					ЗаписьСтр.Вставить("desc",СокрЛП(обрТекст));

				КонецЕсли;

				

				Если Найти(обрТекст,"pubDate>")>0 и Найти(обрТекст,"/pubDate>")>0 Тогда			

					обрТекст = СтрЗаменить(обрТекст,"pubDate",""); обрТекст = СтрЗаменить(обрТекст,"<>",""); обрТекст = СтрЗаменить(обрТекст,"</>","");

					ЗаписьСтр.Вставить("pubDate",ПреобразоватьRFC822КДате0(СокрЛП(обрТекст)));

				КонецЕсли;

				

				Если Найти(обрТекст,"enclosure")>0 Тогда					 

					обрТекст = СтрЗаменить(обрТекст,"""",""); обрТекст = СтрЗаменить(обрТекст,"<enclosure url=","");

					обрТекст = СтрЗаменить(обрТекст,"<enclosure url=",""); обрТекст = СтрЗаменить(обрТекст,"type=image/png length=/>","");

					ЗаписьСтр.Вставить("img",СокрЛП(обрТекст));

				КонецЕсли;

			КонецЕсли;	

							

		КонецЦикла;

		

	КонецЕсли;

	

КонецПроцедуры	









Процедура ПроверкаRSS() Экспорт

	Запрос = Новый Запрос;

	Запрос.Текст = 

	"ВЫБРАТЬ

	|	ИсточникиRSS.Ссылка КАК Ссылка

	|ИЗ

	|	Справочник.ИсточникиRSS КАК ИсточникиRSS

	|ГДЕ

	|	ИсточникиRSS.Использовать

	|	И ДОБАВИТЬКДАТЕ(ИсточникиRSS.ДатаПоследнегоОбновления, СЕКУНДА, ИсточникиRSS.ПериодОбновленияВСекундах) <ТекДата"; 	

	Запрос.УстановитьПараметр("ТекДата", ТекущаяДата());

	РезультатЗапроса = Запрос.Выполнить();

	ВыборкаДетальныеЗаписи = РезультатЗапроса.Выбрать();

	Пока ВыборкаДетальныеЗаписи.Следующий() Цикл

		ПрочитатьRSS(ВыборкаДетальныеЗаписи.Ссылка);

		// Запишем дату последнего обновления

		ТекОб = ВыборкаДетальныеЗаписи.Ссылка.ПолучитьОбъект();

		ТекОб.ДатаПоследнегоОбновления = ТекущаяДата();

		ТекОб.Записать();

	КонецЦикла;

КонецПроцедуры



Функция ПреобразоватьRFC822КДате0(ДатаВФорматеRFC822) Экспорт

    КопияСтроки = ДатаВФорматеRFC822;

    СтруктураДаты = Новый Структура("Год,Месяц,День,Час,Минута,Секунда",  "","","","","","");

    Месяцы = Новый Структура("Jan,Feb,Mar,Apr,May,Jun,Jul,Aug,Sep,Oct,Nov,Dec",  "01","02","03","04","05","06","07","08","09","10","11","12");

    Для каждого КлючИЗначение Из Месяцы Цикл

        Позиция = Найти(КопияСтроки,КлючИЗначение.Ключ);

        Если Позиция > 0  Тогда

             СтруктураДаты.Месяц = КлючИЗначение.Значение;

            Прервать;

        КонецЕсли;

    КонецЦикла; 

	Состояние = 0;

	КопияСтроки = СтрЗаменить(КопияСтроки,", 1 ",", 01 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 2 ",", 02 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 3 ",", 03 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 4 ",", 04 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 5 ",", 05 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 6 ",", 06 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 7 ",", 07 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 8 ",", 08 ");

	КопияСтроки = СтрЗаменить(КопияСтроки,", 9 ",", 09 ");

	Для ш=0 По СтрДлина(КопияСтроки) Цикл

        ТекущийСимвол = Сред(КопияСтроки,ш,1); //ПолучитьСимвол(КопияСтроки, ш);

        ТекСимволЦифра= ЭтоЦифра(ТекущийСимвол);

        Если ТекСимволЦифра И Состояние = 0  Тогда

            СтруктураДаты.День = СтруктураДаты.День + ТекущийСимвол;

            Состояние = 1; //начало день

        ИначеЕсли ТекСимволЦифра И Состояние = 1  Тогда

            СтруктураДаты.День = СтруктураДаты.День + ТекущийСимвол;

            Состояние = 2; //ждем год

        ИначеЕсли ТекСимволЦифра И Состояние = 2  Тогда

            СтруктураДаты.Год = СтруктураДаты.Год + ТекущийСимвол;

            Состояние = 3; //продолжаем год

        ИначеЕсли ТекСимволЦифра И Состояние = 3  Тогда

            СтруктураДаты.Год = СтруктураДаты.Год + ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = " " И Состояние = 3 Тогда

               Состояние = 4; //дальше час    

        ИначеЕсли ТекСимволЦифра И Состояние = 4  Тогда

            СтруктураДаты.Час = СтруктураДаты.Час + ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = ":" И Состояние = 4  Тогда

            Состояние = 5; //дальше минута

        ИначеЕсли ТекСимволЦифра И Состояние = 5  Тогда

            СтруктураДаты.Минута = СтруктураДаты.Минута +  ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = ":" И Состояние = 5  Тогда

            Состояние = 6; //дальше секунда

        ИначеЕсли ТекСимволЦифра И Состояние = 6  Тогда

            СтруктураДаты.Секунда = СтруктураДаты.Секунда +  ТекущийСимвол;

        ИначеЕсли ТекущийСимвол = " " И Состояние = 6 Тогда

            Прервать;

        КонецЕсли;

    КонецЦикла;

    Попытка

        Результат = Дата(СтруктураДаты.Год+СтруктураДаты.Месяц+СтруктураДаты.День

                        +СтруктураДаты.Час+СтруктураДаты.Минута+СтруктураДаты.Секунда);

    Исключение

        Результат = Неопределено;    

    КонецПопытки;

    Возврат Результат;

КонецФункции



Функция ЭтоЦифра(Символ) Экспорт

     Если (КодСимвола(Символ)>=48) И (КодСимвола(Символ)<=57) Тогда Возврат Истина; Иначе Возврат ложь; КонецЕсли;

КонецФункции



Функция ПолучитьСимвол(КопияСтроки, ш)

	Возврат Сред(КопияСтроки,ш,1);

КонецФункции

Результат загрузки новостей RSS HelpF.pro

Кстати, как позже выяснилось, здесь уже есть статья с примером через IE и DOM: Получения новостей с RSS-канала сайта buh.ru

Категория: Работа с Интернет, Почтой (Mail), FTP

Как мы писали парсер сайта с ценами для 1С

Недавно, мой постоянный клиент решил проводить маркетинговые исследования по изменению цен на товары у конкурентов... и эти данные захотел использовать в 1С в связке с его прайс-листом + куча отчетов с графиками и процентным отклонением от цен основного конкурента

В результате этого, была написана обработка собирающая данные со страниц разных сайтов. Из целей конфиденциальности - сайты раскрывать не буду...

Вид обработки загрузки данных с сайта в 1С

Ниже код загрузки данных со страницы сайта, смысл такой :

в функция передается адрес страницы сайта
полученный текст страницы обрабатывается, удаляются теги
из полученного текста формируется ТЗ с данными
По названию ищется поставщик из вспомогательного справочника Справочники.Pr_Поставщики.НайтиПоНаименованию(, если нет - создается
на выходе ТЗ с данными

Код 1C v 8.х

 Функция ПолучитьТаблицуДанных(Строка)

	

	тзДанных = Новый ТаблицаЗначений;

	Сервер = "site.ru";

	

	Соединение = Новый HTTPСоединение(Сервер);			

	Заголовки = Новый Соответствие;

	Заголовки.Вставить("host", Сервер);

	ТекАдрес = СтрЗаменить(Строка.Наименование.УРЛСтраницы,"http://","");

	ТекАдрес = СтрЗаменить(ТекАдрес,Сервер,"");

	Запрос = Новый HTTPЗапрос(ТекАдрес, Заголовки);

	Ответ =Соединение.Получить(Запрос);

	Если Ответ.КодСостояния = 200 Тогда // Данные получены, обрабатываем их

		Содержимое= Ответ.ПолучитьТелоКакСтроку();

		//Выведем тест полученной страницы

		НачалоБлока = "<table id=" + """" + "table-price" + """" + " cellspacing=" + """" + "0" + """" + " border=" + """" + "1" + """" + " bordercolor=" + """" + "#dedede" + """" + " class=" + """" + "tablesorter" + """" + " >";

		//НачалоБлока = "<div class=" + """" + "w100fl" + """" + " id=" + """" + "kurs" + """" + ">";

		КонецБлока = "</table>";

		ТекстБлока = Сред(Содержимое, Найти(Содержимое, НачалоБлока) + СтрДлина(НачалоБлока), Найти(Содержимое, КонецБлока) - Найти(Содержимое, НачалоБлока) - СтрДлина(НачалоБлока));

		    				

		//Обработаем тест  				

		обрТекст = СтрЗаменить(ТекстБлока,"<tr>","");

		обрТекст = СтрЗаменить(обрТекст,"</tr>",Символы.ПС);

		обрТекст = СтрЗаменить(обрТекст," >", ">");

		обрТекст = СтрЗаменить(обрТекст,"</th> <th>", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</td> <td>", " | ");

	   	обрТекст = СтрЗаменить(обрТекст,"</th> <th class=" + """" + "sortable_header" + """" + ">", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</th> <th >", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</th><th>", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</td><td>", " | ");

		обрТекст = СтрЗаменить(обрТекст," >", ">");

		RegExp = Новый COMОбъект("VBScript.RegExp");

		RegExp.IgnoreCase = Ложь; 

		RegExp.Global = Истина;    

		RegExp.MultiLine = Истина;    

		

		RegExp.Pattern = "<[^>]*>"; //Ищем теги HTML   

		обрТекст=RegExp.Replace(обрТекст, "");

		//Сообщить(обрТекст);

		

		Если СокрЛП(обрТекст) = "Ни одной позиции не найдено." Тогда

			Сообщить(Строка(Строка.Наименование)+ " = Ни одной позиции не найдено! Строка " + Строка.Наименование);

			Возврат тзДанных;

		КонецЕсли;





		Если Найти(обрТекст, "Страница не найдена") > 0 Тогда

			Сообщить(Строка(ТекАдрес)+" = Страница не найдена, строка " + Строка.Наименование);

			Возврат тзДанных;  

		КонецЕсли;

		

		//Преобразуем полученный текст в таблицу

		Для н=1 По СтрЧислоСтрок(обрТекст)Цикл

			СтрТекста=СтрПолучитьСтроку(обрТекст,н);

			Если Найти(СтрТекста, "Длина Цена") > 0 Тогда

				СтрТекста = СтрЗаменить(СтрТекста, "Длина Цена", "Длина | Цена");

			КонецЕсли;

			Если Найти(СтрТекста, "Марка стали Цена") > 0 Тогда

				СтрТекста = СтрЗаменить(СтрТекста, "Марка стали Цена", "Марка стали | Цена");

			КонецЕсли;

			Если Найти(СтрТекста, ",  Поставщик") > 0 Тогда

				СтрТекста = СтрЗаменить(СтрТекста, ",  Поставщик", " | Поставщик");

			КонецЕсли;

			//Выводим текст страницы построчно

			мсДанных = ПолучитьМассивИзСтрокиСРазделителем(СтрТекста, "|", Истина);

			Если н=1 Тогда

				Для Каждого ткЗнач из мсДанных Цикл

					СтрЗапрещСимволов = " .,<>""\/-";

					ИмяКолонки = ткЗнач;

					Для сч33 = 1 по СтрДлина(СтрЗапрещСимволов) Цикл

						ЗапрещСимв = Сред(СтрЗапрещСимволов, сч33, 1);

						ИмяКолонки = СтрЗаменить(ИмяКолонки, ЗапрещСимв, "_");

					КонецЦикла;

					

					// добавим нужное количество колонок- если перед колонкой Поставщик не хватает

					// бывает, что в шапке определяется меньше колонок, чем реально в таблице

					Если НРег(ИмяКолонки) = "поставщик" Тогда

						Для Сч_дк = (Строка.Наименование.Родитель.Поставшик - 2) по тзДанных.Колонки.Количество() Цикл

							тзДанных.Колонки.Добавить("Колонка_" + (тзДанных.Колонки.Количество() + 1));

						КонецЦикла;

					КонецЕсли;

					

					тзДанных.Колонки.Добавить(ИмяКолонки);

				КонецЦикла;

				тзДанных.Колонки.Добавить("ном", , , 7);

			Иначе 

				НовСтр = тзДанных.Добавить(); нмас=0;

				Для Каждого ткЗнач из мсДанных Цикл

					НовСтр[нмас] = ткЗнач;

					нмас=нмас+1;

				КонецЦикла;

				НовСтр.ном = н;

			КонецЕсли;

			//Сообщить(стр);

		КонецЦикла;

		тзДанных.Колонки.Добавить("ЕстьСоответствие", Новый ОписаниеТипов("Булево"));

		тзДанных.Колонки.Добавить("СпрPr_Поставщики", Новый ОписаниеТипов("СправочникСсылка.Pr_Поставщики"));

		

		Для каждого стр из тзДанных Цикл

			текПоставщик = Справочники.Pr_Поставщики.НайтиПоНаименованию(стр[Строка.Наименование.родитель.Поставшик-1]);

			Если текПоставщик = Справочники.Pr_Поставщики.ПустаяСсылка() Тогда

				НовЭлем = Справочники.Pr_Поставщики.СоздатьЭлемент();

				НовЭлем.Наименование = СокрЛП(стр[Строка.Наименование.родитель.Поставшик-1]);

				НовЭлем.Записать();

				текПоставщик = НовЭлем.Ссылка;

			КонецЕсли;

			стр.СпрPr_Поставщики = текПоставщик;

		КонецЦикла;

	Иначе

		тзДанных.Колонки.Добавить("ЕстьСоответствие", Новый ОписаниеТипов("Булево"));

		тзДанных.Колонки.Добавить("СпрPr_Поставщики", Новый ОписаниеТипов("СправочникСсылка.Pr_Поставщики"));

		

		Сообщить("Ошибка получения данных для строки " + Строка.Наименование);

	КонецЕсли;

	

	Возврат тзДанных;

	

КонецФункции

В коде используется вспомогательная функция ПолучитьМассивИзСтрокиСРазделителем

Код 1C v 8.2 УП

 // Функция разбивает строку разделителем.

// 

// Параметры:

//  пСтрока      - Строка - которую разбиваем;

//  *пРазделитель - Строка, "." - символ-разделитель;

//  *ОбрезатьНепечатныеСимволы - Булево, *Ложь.

//

// Возвращаемое значение:

//  Массив - фрагментов.

//

Функция ПолучитьМассивИзСтрокиСРазделителем(Знач Стр, Разделитель = ".", ОбрезатьНепечатныеСимволы = Ложь) Экспорт

	

	МассивСтрок = Новый Массив;

	

	Если Разделитель = " " Тогда

		Стр = СокрЛП(Стр);

		Пока 1=1 Цикл

			Поз = Найти(Стр,Разделитель);

			Если Поз=0 Тогда

				МассивСтрок.Добавить(Стр);

				Возврат МассивСтрок;

			КонецЕсли;

			МассивСтрок.Добавить(Лев(Стр,Поз-1));

			Стр = СокрЛ(Сред(Стр,Поз));

		КонецЦикла;

	Иначе

		ДлинаРазделителя = СтрДлина(Разделитель);

		Пока 1=1 Цикл

			Поз = Найти(Стр,Разделитель);

			Если Поз=0 Тогда

				Фрагмент = Стр;

				Если ОбрезатьНепечатныеСимволы Тогда

					Фрагмент = СокрЛП(Фрагмент);

				КонецЕсли;

				МассивСтрок.Добавить(Фрагмент);

				Возврат МассивСтрок;

			КонецЕсли;

			Фрагмент = Лев(Стр,Поз-1);

			Если ОбрезатьНепечатныеСимволы Тогда

				Фрагмент = СокрЛП(Фрагмент);

			КонецЕсли;

			МассивСтрок.Добавить(Фрагмент);

			Стр = Сред(Стр,Поз+ДлинаРазделителя);

		КонецЦикла;

	КонецЕсли;





	Возврат МассивСтрок;

		

КонецФункции // ПолучитьМассивИзСтрокиСРазделителем()

Конечно, перед тем как мы начали это делать - прошерстили интернет и нашли несколько решений , вот они:

Код 1C v 8.х

 Соединение = ПолучитьCOMОбъект("","Microsoft.XMLHTTP");

ИмяВременногоФайла=ПолучитьИмяВременногоФайла("htm");



Соединение.open("GET", "http://mamba.ru/my", 0);

Соединение.send();



//status: //404 - Not Found //200 - Ok

ТаймАут = 200;

Начало=ТекущаяДата();

Пока Соединение.readyState <> 4 И (ТаймАут=0 ИЛИ ТекущаяДата()-Начало<ТаймАут) Цикл

бфДиалоги.ксОбработкаПрерыванияПользователя();

КонецЦикла;



//Сохраняем во временный файл

обСохранитьДвоичныйБуферВФайл(Соединение.responseBody, ИмяВременногоФайла);



Соединение.open("POST", "http://mamba.ru/my");

Соединение.send("login=xxx&password=&&&");





Функция обСохранитьДвоичныйБуферВФайл(Буфер, ИмяФайла) Экспорт

    Поток = Новый COMОбъект("ADODB.Stream");

    Поток.Type = 1;  //Бинарный

       Поток.Mode = 3; 

    Поток.Open();

    Поток.Write(Буфер);

    Поток.SaveToFile(ИмяФайла);

    Поток.Close();

КонецФункции

Код 1C v 8.х

     НТТР = ПолучитьCOMОбъект("","Microsoft.XMLHTTP");

    ИмяФайлаОтвета = КаталогВременныхФайлов() + "filename.tmp";           

    НТТР.open("GET", "www.google.com",0,,); 

    НТТР.send();

    StreamTypeEnum = Новый Структура("adTypeBinary, adTypeText", 1, 2);

    ConnectModeEnum = Новый Структура(

            "adModeRead, adModeReadWrite, adModeRecursive, adModeShareDenyNone,

            |adModeShareDenyRead, adModeShareDenyWrite, adModeShareExclusive, 

            |adModeUnknown, adModeWrite", 1, 3, 4194304, 16, 4, 8, 12, 0, 2);

    SaveOptionsEnum = Новый Структура("adSaveCreateNotExist, adSaveCreateOverWrite", 1, 2);

    StreamOut = Новый COMОбъект("ADODB.Stream");

    StreamOut.Type = StreamTypeEnum.adTypeBinary;

    StreamOut.Mode = ConnectModeEnum.adModeReadWrite; //Нужны и чтение и запись   

    StreamOut.Open(); //Открыли на чтение и запись

    StreamOut.Write(НТТР.responseBody); 

    StreamOut.SaveToFile(ИмяФайлаОтвета, SaveOptionsEnum.adSaveCreateOverWrite); //"2" - перезапись файла

    StreamOut.Close();

И даже не этом сайте есть статья : Парсер сайта связного на 1С

Нужен парсер сайта в 1С!? - Обращайтесь, контакты в профиле

Категория: Работа с Интернет, Почтой (Mail), FTP

Парсер сайта на 1С Категория: Работа с Интернет, Почтой (Mail), FTP

Парсер XML в дерево значений

Код 1C v 8.2 УП

 

// Чтение XML



&НаСервере

Функция ЧтениеXMLВДерево(Путь)

	

	Дерево = Новый ДеревоЗначений;

	Дерево.Колонки.Добавить("Имя");

	Дерево.Колонки.Добавить("Значение");

	

	XMLФайл = Новый ЧтениеXML;

	XMLФайл.ОткрытьФайл(Путь);

	

	ПрочитатьXMLПоТегам(XMLФайл, Дерево.Строки);

	

	XMLФайл.Закрыть();

	

	Возврат Дерево;

	

КонецФункции



&НаСервереБезКонтекста

Процедура ПрочитатьXMLПоТегам(XMLФайл, ТекущийНаборСтрок)

    

    Пока XMLФайл.Прочитать() Цикл

		Если XMLФайл.ТипУзла = ТипУзлаXML.НачалоЭлемента Тогда

            

            НоваяСтрока = ТекущийНаборСтрок.Добавить();

            НоваяСтрока.Имя = XMLФайл.Имя;

            НоваяСтрока.Значение = "";

            

			Пока XMLФайл.ПрочитатьАтрибут() Цикл

				

				НоваяСтрокаАтрибут = НоваяСтрока.Строки.Добавить();

	            НоваяСтрокаАтрибут.Имя = XMLФайл.Имя;

	            НоваяСтрокаАтрибут.Значение = СокрЛП(XMLФайл.Значение);

					

			КонецЦикла;

			

			ПрочитатьXMLПоТегам(XMLФайл, НоваяСтрока.Строки);

			

        ИначеЕсли XMLФайл.ТипУзла = ТипУзлаXML.КонецЭлемента Тогда

            Возврат;

		ИначеЕсли XMLФайл.ТипУзла = ТипУзлаXML.Текст Тогда

			

            ТекущийНаборСтрок.Родитель.Значение = СокрЛП(XMLФайл.Значение);

            

        Иначе

            Сообщить("Тип узла: " + XMLФайл.ТипУзла + " НЕ ОБРАБОТАН", СтатусСообщения.Важное);

        Конецесли;

    КонецЦикла;

     

КонецПроцедуры

Категория: JSON, XML, TXT, CSV, DBF

Получения новостей с RSS-канала сайта buh.ru

Код для получения новостей с сайта buh.ru, используется RSS-канал http://www.buh.ru/rss/rss-2.0.jsp
Данный код для 7.7, при использовании в 8-ой версии нужно заменить СоздатьОбъект( на Новый COMОбъект(, остальное вроде так же.

Код 1C v 7.x

 

Функция ВытащитьДату(Стр)

	парсер=СоздатьОбъект("VBScript.RegExp");

	парсер.Global=-1;

	парсер.IgnoreCase =-1;  

	стрМес="Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec";

	парсер.Pattern="(\d\d)\s(("+стрМес+"))\s(\d{4})";

	рез = парсер.Execute(Стр);

	Если рез.Count>0 Тогда

		рез_ = рез.Item(0);

		чч=Число(рез_.Submatches(0));

		мст=рез_.Submatches(1);  

		где=Найти(стрМес,мст);

		мм=цел(где/4)+1;

		гг=Число(рез_.Submatches(3));  

		дат=Дата(гг,мм,чч);

	Иначе

		дат=0;

	КонецЕсли;

	Возврат дат;

КонецФункции



Процедура Сформировать()   

	ТЗ=СоздатьОбъект("ТаблицаЗначений");

	ТЗ.НоваяКолонка("ИД","Число");

	ТЗ.НоваяКолонка("Дата","Дата"); 

	ТЗ.НоваяКолонка("Заголовок","Строка");

	ТЗ.НоваяКолонка("Ссылка","Строка");

	ТЗ.НоваяКолонка("Текст","Строка"); 

	

	Состояние("Получение данных с сайта www.buh.ru");

	

	//ТаймАут поставьте в зависимости от качества подключения

	ТаймАут=100000;

	

	IE=СоздатьОбъект("InternetExplorer.Application");

	IE.navigate("http://www.buh.ru/rss/rss-2.0.jsp");

	Пока IE.readyState<4 Цикл

		ТаймАут=ТаймАут-1;

		Если ТаймАут=0 Тогда

			Предупреждение("Не удалось получить данные с сайта www.buh.ru",10);

			Возврат;

		КонецЕсли;

	КонецЦикла;        

	

	//версия 0.1 для v7plus.dll 

	//ХМЛ=СоздатьОбъект("AddIn.XMLParser");  

	//ХМЛДок=ХМЛ.СоздатьДокумент();

	//ХМЛДок.Загрузить(oIE.document.XMLDocument); 

	//Выборка=ХМЛДок.ВыбратьУзлы("//item");

	//Для ии=0 По Выборка.КоличествоУзлов()-1 Цикл 

	//	ЭлНовость=Выборка.ПолучитьУзел(ии);

	//	ТЗ.НоваяСтрока();

	//	ТЗ.Дата=ВытащитьДату(ЭлНовость.ВыбратьУзел("./pubDate").Текст);

	//	ТЗ.Заголовок=ЭлНовость.ВыбратьУзел("./title").Текст;

	//	ТЗ.Ссылка=ЭлНовость.ВыбратьУзел("./link").Текст;

	//	ТЗ.Текст=ЭлНовость.ВыбратьУзел("./description").Текст;

	//КонецЦикла; 

	

	//версия 0.2 для MSXML

	ХМЛДок=СоздатьОбъект("MSXML2.DOMDocument");;

	ХМЛДок.async=0;

	ХМЛДок.resolveExternals=0;

	ХМЛДок.load(IE.document.XMLDocument); 

	Выборка=ХМЛДок.selectNodes("//item");

	Для ии=0 По Выборка.length-1 Цикл 

		ЭлНовость=Выборка.item(ии);

		ТЗ.НоваяСтрока();

		ТЗ.Дата=ВытащитьДату(ЭлНовость.selectSingleNode("./pubDate").text);

		ТЗ.Заголовок=ЭлНовость.selectSingleNode("./title").text;

		ТЗ.Ссылка=ЭлНовость.selectSingleNode("./link").text;

		ТЗ.Текст=ЭлНовость.selectSingleNode("./description").text;

	КонецЦикла; 

    //Все. Мы получили ТЗ с последними новостями

КонецПроцедуры

К сожалению, автор не известен.

Категория: COM-объекты, WMI, WSH

Технологический журнал 1С v8.1 Категория: Администрирование

Получения курса валют из Интернет

Код 1C v 8.х

 Соединение = Новый HTTPСоединение("export.rbc.ru"); //готовим соединение

ИмяФайла = ПолучитьИмяВременногоФайла(".txt");

//строка-образец

//http://export.rbc.ru/free/cb.0/free.fcgi?period=DAILY&tickers=USD&d1=18&m1=01&y1=2009&d2=17&m2=02&y2=2009&lastdays=30&separator=TAB&data_format=BROWSER&header=1

//http://export.rbc.ru/free/cb.5/free.fcgi?period=DAILY&tickers=USDEUR_BASKET&d1=08&m1=07&y1=2009&d2=22&m2=07&y2=2009&lastdays=14&separator=TAB&data_format=BROWSER&header=1

СтрокаСоединения="/free/"+Источник+"/free.fcgi?period=DAILY&tickers="+Валюта1+"&d1="+День1+"&m1="+Месяц1+"&y1="+Год1+"&d2="+День2+"&m2="+Месяц2+"&y2="+Год2+"&separator=%7C&data_format=BROWSER";

СтрокаСоединения=СтрЗаменить(СтрокаСоединения," ","");



Попытка //соединяемся

Соединение.Получить(СтрокаСоединения,ИмяФайла);

Исключение

Сообщить("Невозможно получить курс по адресу http://export.rbc.ru"+СтрокаСоединения);

КонецПопытки;



КурсыТекст=Новый ТекстовыйДокумент; //читаем результат запроса

КурсыТекст.Прочитать(ИмяФайла);

Код 1C v 8.х

  // еще пример

 Функция ПолучитьКакСтроку(Адресс) 

	соминет = Новый COMОбъект("MSXML2.XMLHTTP");

	соминет.open ("GET", Адресс, Ложь);

	соминет.send();

	Возврат соминет.responseText;

КонецФункции	



Функция ПреобразоватьДату(дат)

	// Медот преобразования даты времен 1Сv7

	//Т=Строка(Дат);

	//Возврат Сред(Т,7,4)+"/"+Сред(Т,4,2)+"/"+Лев(Т,2);

	Возврат Формат(Дат,"ДФ=""гггг/ММ/дд""");

КонецФункции



Процедура КнопкаЗагрузитьКурсы(Элемент)

	//Список - список валют	

	Для А = 1 по Список.Количество() цикл

		Если Список[а-1].Пометка тогда

			Сообщить("Загружаем курсы для "+Строка(Список[а-1].Значение));

			Код = Строка(Список[а-1].Значение.Код);

			Дат = ПериодС;

			Пока Дат <= ПериодПо цикл

				Стр = ПолучитьКакСтроку("http://cbrates.rbc.ru/tsv/"+Код+"/"+ПреобразоватьДату(Дат)+".tsv");

				Поз = Найти(Стр,Символы.Таб);

				Если Поз = 0 Тогда

					Дат = Дат + 86400;

					Продолжить;

				КонецЕсли;					

				Кратность = Число(СокрЛП(Лев(стр,Поз-1)));

				курс = Число(СокрЛП(Сред(Стр,Поз+1,СтрДлина(Стр)-Поз)));

				Сообщить("Дата="+Строка(Дат)+" Курс="+Строка(курс)+" Кратность="+Строка(Кратность));

				Запись = РегистрыСведений.КурсыВалют.СоздатьМенеджерЗаписи();

				Запись.Период = Дат;

				Запись.Валюта = Список[а-1].Значение.Ссылка;

				Запись.Курс = Курс;

				Запись.Кратность = Кратность;

				Запись.Записать(Истина);

				Дат = Дат + 86400;                   

			КонецЦикла;				

		КонецЕсли;			

	КонецЦикла;		

КонецПроцедуры

Код 1C v 7.x

 // Взято с http://www.1c-club.kz     IUnknown

//Небольшая обработка для получения курса валют размещенной на странице Национального Банка РК.

//Внимание: работоспособность данной обработки может быть нарушена, если дизайнеры сайта НБ РК изменят формат страницы с //официальным курсом валюта. Но не большой анализ нового формата и работоспособность обработки будет восстановлена.

// шаблон для отображаемой на форме таблице значения

перем тзПустышка;



//*******************************************

// ПриНачалеВыбораЗначения(стрНазвание, чисФлаг)

//

// Параметры:

//  стрНазвание - Строка. Наименование реквизита формы инициюрующей

//                вызов процедуры.

//  чисФлаг     - Число. Флаг станадартной обработки иницации нажатия

//                кнопки выбора значения.

//

// Возвращаемое значение:

//  Нет.

//

// Описание:

//  Переопределенная процедура инициирующая при нажатии кнопки

//  выбора значения реквизита формы.

//

процедура ПриНачалеВыбораЗначения(стрНазвание, чисФлаг)

    // Если инициировали из реквизита "стрУРЛа"

    если стрНазвание = "стрУРЛа" тогда

        // откроем страницу с введенным URL

        запуститьприложение(стрУРЛа);

    конецесли;

конецпроцедуры



//*******************************************

// кнПолучить()

//

// Параметры:

//  Нет

//

// Возвращаемое значение:

//  Нет.

//

// Описание:

//  Процедура получающая курсы валют с URL находящегося в

//  строковом реквизите формы "стрУРЛа". Пытается по указаноому URL

//  получить страницу и распарсить ее.

//

//  ПРЕДУПРЕЖДЕНИЕ:

//  В случае измения формата данных представленных на странице, возможно

//  будет работать не правильно.

//

процедура кнПолучить()

    // сгенирим имя файла для временного хранения содержимого

    // страницы курса валют Национального банка

    стрИмяФайла = каталогпользователя() + "$$$$.###";

    // создадим объект XMLHttpRequest

    олеХМЛ = создатьобъект("Microsoft.XMLHTTP");

    // иницируем его типом запроса и нужным нам URL

    олеХМЛ.Open("GET", стрУРЛа, 0);

    // отправим запрос для обработки серверу

    олеХМЛ.Send();

    // создадим "поток" через ADODDB для работы с данными

    олеАДО = создатьобъект("ADODB.Stream");

    // зададим тип и режим потока

    олеАДО.Mode = 3;

    олеАДО.Type = 1;

    // откроем его

    олеАДО.Open();

    // создадим объект для управления скриптами

    олеШелл = создатьобъект("MSScriptControl.ScriptControl");

    // установим язык сценариев

    олеШелл.Language = "vbscript";

    // добавим созданные объекты

    олеШелл.AddObject("oleADO", олеАДО);

    олеШелл.AddObject("oleXML", олеХМЛ);

    // с помощью скрипта запишем в поток ADO данные из

    // объекта XMLHttpRequest

    // то есть содержимое страницы

    олеШелл.Eval("oleADO.Write(oleXML.ResponseBody)");

    // запишем данные во временный файл

    олеАДО.SaveToFile(стрИмяФайла, 2);

    // закроем данный поток

    олеАДО.Close();

    // для ускорения парсера занесем весь файл в строковую

    // переменую с разделителем строк

    // для этого инициализуруем поток установкой

    // соотвествующим режимом и типом

    олеАДО.Mode= 3;

    олеАДО.Type = 2;

    // так как страница курса валют НБК имеет формат

    // символов UTF-8, то установим соотвествующий набор

    олеАДО.CharSet="UTF-8";

    // откроем поток

    олеАДО.Open();

    // загрузим содержимое нашего файла в поток

    олеАДО.LoadFromFile(стрИмяФайла);

    // обнулим временную строковую переменную

    стрТемп = "";

    // в цикле получим из потока все строки

    пока олеАДО.EOS() = 0 цикл

        // и запишем их во временную переменую, добавив разделитель строк

        стрТемп = стрТемп + олеАДО.ReadText(-2) + разделительстрок;

    конеццикла;

    // закроем поток

    олеАДО.Close();

    // удалим временный файл

    фс.УдалитьФайл(стрИмяФайла);

    // найдем в строке позицию начала блока с данными о курсе

    чисПозиция = найти(стрТемп, "Официальные курсы валют на");

    если чисПозиция = 0 тогда

        // если позиции нет ... то мы имем другую страницу

        // или другой формат страницы...

        предупреждение("Не получилось получить курсы валют");

    иначе

        // создаим временную таблицу значений

        // для более шустрого заполения из-за отстуствия вызова

        // функции перерисовки таблицы при изменении данных

        тзТемп = создатьобъект("ТаблицаЗначений");

        // установим для нее нужный формат

        тзПустышка.Выгрузить(тзТемп);

        // отрежем все лишнее

        стрТемп = сред(стрТемп, чисПозиция);

        // получим дату курса

        дтКурса = дата(стрзаменить(стрполучитьстроку(стрТемп, 2), "/", "."));

        // первая строка с курсом валюты находится на 18 строке от начала

        // после удаления мусора

        чисПозиция = 18;

        // узнаем сколько всего строк в многострочке

        чисКоличествоСтрок = стрколичествострок(стрТемп);

        // получим строку

        стрТекущая = стрполучитьстроку(стрТемп, чисПозиция);

        // если в строке есть подстрока ... то значит это наверное очередная валюта

        пока найти(стрТекущая, "input type=""checkbox"" name=""idval""") > 0 цикл

            // добавляем новую строку

            тзТемп.НоваяСтрока();

            // получаем строку со смещением 1 от позиции

            стрТекущая = стрполучитьстроку(стрТемп, чисПозиция + 1);

            // используя фичу 1С по преобразованию, получим число

            // за сколько единиц валюты имеем курс в тенге

            тзТемп.Количество = число(стрТекущая);

            // путем убирания "мусора" получаем наименование валюты

            тзТемп.Наименование = сокрлп(стрзаменить(стрзаменить(стрТекущая, тзТемп.Количество, ""), "</td>", ""));

            // получаем строку со смещением 2 от позиции

            стрТекущая = стрполучитьстроку(стрТемп, чисПозиция + 2);

            // убираем html мусор

            стрТекущая = сокрлп(стрзаменить(стрзаменить(стрТекущая, "<td class=""gen7"" align=""center"">", ""), "</td>", ""));

            // получаем код валюты

            тзТемп.Код1 = лев(стрТекущая, 3);

            // получаем код валюты "Тенге"

            тзТемп.Код2 = прав(стрТекущая, 3);

            // получаем строку со смещением 5 от позиции

            стрТекущая = стрполучитьстроку(стрТемп, чисПозиция + 5);

            // очищаем от мусора и преобразуем в число... получаем курс

            тзТемп.Курс = число(стрзаменить(стрзаменить(стрТекущая, "<td class=""gen7"" align=""center"">", ""), "</td>", ""));

            // увеличиваем позицию на 17 ...

            чисПозиция = чисПозиция + 17;

            если чисПозиция > чисКоличествоСтрок тогда

                // если позици дальше имеющихся строк

                // то все курсов больше нет

                стрТекущая = "";

            иначе

                // получаем очередную строку для разбора

                стрТекущая = стрполучитьстроку(стрТемп, чисПозиция);

            конецесли;

        конеццикла;

        // сформированую таблицу копируем в таблицу на форме

        тзТемп.Выгрузить(тзКурсов);

    конецесли;

конецпроцедуры



//*******************************************

// установим значение реквизита текущим URL по которому можно получить курс валют

стрУРЛа = "http://www.nationalbank.kz/?docid=460&uid=DD54B73C-802C-E8F0-E27EDF82ECF77C1D";

// формируем формат таблицы

тзПустышка = создатьобъект("ТаблицаЗначений");

тзПустышка.НоваяКолонка("Количество", "число", 3, 0, "", 5);

тзПустышка.НоваяКолонка("Наименование", "строка", , , "Наименование", 70);

тзПустышка.НоваяКолонка("Код1", "строка", 3, , "код", 10);

тзПустышка.НоваяКолонка("Код2", "строка", 3, , "код", 10);

тзПустышка.НоваяКолонка("Курс", "число", 7, 2, "Курс", 10);

// копируем получившийся формат в таблицу на форме

тзПустышка.Выгрузить(тзКурсов);

Категория: COM-объекты, WMI, WSH