// Возвращает содержимое ответа HTTP-сервера, полученного методом GET, в виде строки или двоичных данных


// ** Coded by Sergey (aka Porutchik) * 2014 http://forum.aeroion.ru/cat1.html //


// Параметры


//  СерверПриемник -  - доменное имя сервера или полный адрес (url) запрашиваемой ссылки.


//                        Может включать протокол (http://, https://) и порт.


//  АдресСтраницы -  - опционально. Адрес страницы на сервере без протокола (http://, https://),


//                        доменного имени сервера (хоста) и порта.


//                Если не указано, адрес страницы будет извлечён из параметра СерверПриемник


//  ПараметрыСоединения -  - опционально. Структура, содержащая дополнительные параметры для HTTPСоединение.


//                Назначение ключей:


//                Логин или Пользователь - Тип Строка - Имя пользователя на указанном сервере.


//                Пароль - Тип Строка - Пароль пользователя на указанном сервере.


//                Прокси - Тип ИнтернетПрокси - Прокси, используемый для соединения с сервером.


//                Таймаут - Тип Число - Таймаут осуществляемого соединения и операций, в секундах. 0 - не устанавливать таймаут..


//  ЗаголовкиHTTP  -  - опционально.


//                Заголовки, которые будут отправлены на сервер в виде соответствия: "Заголовок" - "Значение".


//                Если указано, функция возвратит в программу заголовки HTTP-ответа с кодом состояния в ключе StatusCode,


//                имя файла в ключе FileName, url-кодированное имя в ключе EncodeFileName


//  ПолучитьКакДвоичныеДанные -  - опционально. Определяет, в каком виде получить содержимое ответа сервера


//                            По умолчанию Ложь.


//  ЗащищенноеСоединение -  - опционально. По умолчанию Ложь.


//                            Если Истина, соединение будет происходить по протоколу https://


//


// Возвращаемое значение:


//   ,  - содержимое ответа сервера, если ресурс найден по указанному адресу.


//


Функция ПолучитьСодержимоеВебАдреса(Знач СерверПриемник, Знач АдресСтраницы = "",


                Знач ПараметрыСоединения = Неопределено, ЗаголовкиHTTP = Неопределено,


                Знач ПолучитьКакДвоичныеДанные = Ложь, Знач ЗащищенноеСоединение = Ложь) Экспорт


    Перем ИмяФайлаОтветаКодированное, ИмяФайлаОтвета, Порт, Логин, Пользователь, Пароль, Прокси, Таймаут;





    Если Не ЗначениеЗаполнено(СерверПриемник) Тогда Возврат Неопределено; КонецЕсли;


    Если ТипЗнч(ЗаголовкиHTTP)  Тип("Соответствие") Тогда ЗаголовкиHTTP = Новый Соответствие; КонецЕсли;


    Если Найти(Нрег(СерверПриемник), "https://") = 1 Тогда ЗащищенноеСоединение = Истина; КонецЕсли;





    Протокол = ?(Найти(Нрег(СерверПриемник), "https://") = 1 ИЛИ ЗащищенноеСоединение, "https://", "http://");


    Если Лев(НРег(СерверПриемник), СтрДлина(Протокол)) = Протокол Тогда


        СерверПриемник = Сред(СерверПриемник, СтрДлина(Протокол) + 1);


    КонецЕсли;





    Если НЕ ЗначениеЗаполнено(АдресСтраницы) Тогда


        Позиция = Найти(СерверПриемник, "/");


        Если Позиция > 0 Тогда


            АдресСтраницы = Сред(СерверПриемник, Позиция, СтрДлина(СерверПриемник));


            СерверПриемник = Лев(СерверПриемник, Позиция - 1);


        Иначе


            АдресСтраницы = "/";


        КонецЕсли;


    КонецЕсли;





    СерверПриемник = СтрЗаменить(СерверПриемник, "/", "");





    //Выделяем порт из доменного имени


    ПозицияДвоеточия = Найти(СерверПриемник, ":");


    Если ПозицияДвоеточия > 0 Тогда


        Порт = Число(Сред(СерверПриемник, ПозицияДвоеточия + 1));


        СерверПриемник = Лев(СерверПриемник, ПозицияДвоеточия - 1);


    КонецЕсли;





    Если ТипЗнч(ПараметрыСоединения) = Тип("Структура") Тогда


        Для каждого КлючЗначение из ПараметрыСоединения Цикл


            Значение = КлючЗначение.Значение; Выполнить(КлючЗначение.Ключ + " = Значение;");


        КонецЦикла;


        Пользователь = ?(ЗначениеЗаполнено(Пользователь), Пользователь, Логин);


    КонецЕсли;


    НТТР = Новый HTTPСоединение(СерверПриемник, Порт, Пользователь, Пароль, Прокси, Таймаут,


                        ?(ЗащищенноеСоединение, Новый ЗащищенноеСоединениеOpenSSL(), Неопределено));





    //Ответ от сервера получим в возвращаемом значении типа HTTPОтвет


    ОтветHTTP = НТТР.Получить(Новый HTTPЗапрос(АдресСтраницы, ЗаголовкиHTTP)); //


    ОшибкаЗапроса = (ОтветHTTP.КодСостояния >= 400);





    //После получения ответа сервера необходимо проверить статус или код состояния.


    //http://www.w3.org/Protocols/rfc2616/rfc2616-sec10....     //Если сервер вернул один из статусов переадресации


    //301 Moved Permanently («перемещено навсегда») или 302 Moved Temporarily («перемещено временно»),


    //то в этом случае можно попытаться перейти на ресурс, на который переадресовал сервер


    Если ОтветHTTP.КодСостояния = 301 или ОтветHTTP.КодСостояния = 302 Тогда





        Если ОтветHTTP.Заголовки.Количество() > 0 Тогда


            //Адрес страницы переадресации содержится в поле Location заголовка ответа


            АдресСтраницы = ОтветHTTP.Заголовки["Location"]; //


            Если ЗначениеЗаполнено(АдресСтраницы) Тогда


                Если Найти(НРег(АдресСтраницы), "http://") = 0 И Найти(НРег(АдресСтраницы), "https://") = 0 Тогда


                    АдресСтраницы = ?(Лев(АдресСтраницы, 1) = "/", Сред(АдресСтраницы, 2), АдресСтраницы);


                    Если Найти(АдресСтраницы, СерверПриемник + "/") = 0  Тогда


                        АдресСтраницы = Протокол + СерверПриемник + ?(ЗначениеЗаполнено(Порт), ":" + Порт, "") + "/" + АдресСтраницы;


                    КонецЕсли;


                КонецЕсли;





                //Если сервер вернул cookies (http://ru.wikipedia.org/wiki/HTTP_cookie, http://www.faqs.org/rfcs/rfc6265.html?#41;,                 //вставим их в заголовки для передачи на страницу перехода


                Куки = ОтветHTTP.Заголовки["Set-Cookie"];//


                Если ЗначениеЗаполнено(Куки) Тогда ЗаголовкиHTTP.Вставить("Cookie", Куки); КонецЕсли;





                //Рекурсивный вызов


                Возврат ПолучитьСодержимоеВебАдреса(АдресСтраницы, , , ЗаголовкиHTTP, ПолучитьКакДвоичныеДанные, ЗащищенноеСоединение);//





            КонецЕсли;


        КонецЕсли;





    ИначеЕсли ОтветHTTP.КодСостояния >= 100 И ОтветHTTP.КодСостояния  0 Тогда


            ТипСодержимого = ОтветHTTP.Заголовки["Content-Type"];


            //http://ru.wikipedia.org/wiki/Список_MIME-типов             Если Найти(ТипСодержимого, "text/") = 1 ИЛИ Найти(ТипСодержимого, "/javascript")


                ИЛИ Найти(ТипСодержимого, "+xml") ИЛИ Найти(ТипСодержимого, "/xml")  0 ИЛИ Найти(ТипСодержимого, "/json")  0 Тогда


                ПолучитьКакДвоичныеДанные = Ложь;


            ИначеЕсли Найти(ТипСодержимого, "image/") = 1 ИЛИ Найти(ТипСодержимого, "video/") = 1 


                ИЛИ Найти(ТипСодержимого, "application/") = 1 ИЛИ Найти(ТипСодержимого, "audio/") = 1 Тогда


                //Если содержимое полученного ответа представляет собой изображение, видео, приложение,


                //возвращаем двоичные данные, так как возвращать в виде строки не имеет смысла.


                ПолучитьКакДвоичныеДанные = Истина;


            КонецЕсли;


            //Некоторые сервера возвращают в типе содержимого имя отданного файла, например image/png; name="Имя файла.png"


            //или отдают в заголовке Content-Disposition: attachment; filename=Имя файла.png (http://www.http11.ru/post.php?post=2)             Если ОтветHTTP.Заголовки["Content-Disposition"]  Неопределено Тогда


                ТипСодержимого = ОтветHTTP.Заголовки["Content-Disposition"];


            КонецЕсли;


            ТипСодержимого = СтрЗаменить(СтрЗаменить(ТипСодержимого, """", ""), "'", "");





            //в ключе filename*=UTF-8'' содержится url-кодированное имя файла


            ПозицияИмениФайла = Найти(ТипСодержимого, "filename*=UTF-8");


            Если ПозицияИмениФайла  0 Тогда


                ИмяФайлаОтветаКодированное = Сред(ТипСодержимого, ПозицияИмениФайла + СтрДлина("filename*=UTF-8"));


                ПозицияДвоеточия = Найти(ИмяФайлаОтветаКодированное, ";");


                Если ПозицияДвоеточия  0 Тогда


                    ИмяФайлаОтветаКодированное = Лев(ИмяФайлаОтветаКодированное, ПозицияДвоеточия - 1);


                КонецЕсли;


            КонецЕсли;





            //в ключе filename= содержится обычное имя файла


            ПозицияИмениФайла = Найти(ТипСодержимого, "name=");


            Если ПозицияИмениФайла  0 Тогда


                ИмяФайлаОтвета = Сред(ТипСодержимого, ПозицияИмениФайла + СтрДлина("name="));


                ПозицияДвоеточия = Найти(ИмяФайлаОтвета, ";");


                Если ПозицияДвоеточия  0 Тогда


                    ИмяФайлаОтвета = Лев(ИмяФайлаОтвета, ПозицияДвоеточия - 1);


                КонецЕсли;


            КонецЕсли;


        КонецЕсли;


    КонецЕсли;





    ЗаголовкиHTTP = ОтветHTTP.Заголовки;


    //Добавляем в заголовки ответа код состояния (ответа) HTTP-сервера и имя файла содержимого, если есть.


    ЗаголовкиHTTP.Вставить("StatusCode", ОтветHTTP.КодСостояния);


    Если ЗначениеЗаполнено(ИмяФайлаОтвета) Тогда ЗаголовкиHTTP.Вставить("FileName", ИмяФайлаОтвета); КонецЕсли;


    Если ЗначениеЗаполнено(ИмяФайлаОтветаКодированное) Тогда


        ЗаголовкиHTTP.Вставить("EncodeFileName", ИмяФайлаОтветаКодированное);


    КонецЕсли;





    Если ОшибкаЗапроса ИЛИ НЕ ПолучитьКакДвоичныеДанные Тогда Возврат ОтветHTTP.ПолучитьТелоКакСтроку(); КонецЕсли;


    Возврат ОтветHTTP.ПолучитьТелоКакДвоичныеДанные();





КонецФункции // ПолучитьСодержимоеВебАдреса()











//Источник: http://forum.aeroion.ru/topic749.html[/pre]
Примеры использования:
// Получение содержимого в виде строки//


СодержимоеАдреса = ПолучитьСодержимоеВебАдреса("

//


ЗаголовкиHTTP = Новый Соответствие;


ЗаголовкиHTTP.Вставить("Referer", "a href="http://some_site.com/" )"="">http://some_site.com/");


СодержимоеАдреса = ПолучитьСодержимоеВебАдреса("

Недавно, мой постоянный клиент решил проводить маркетинговые исследования по изменению цен на товары у конкурентов... и эти данные захотел использовать в 1С в связке с его прайс-листом + куча отчетов с графиками и процентным отклонением от цен основного конкурента

В результате этого, была написана обработка собирающая данные со страниц разных сайтов. Из целей конфиденциальности - сайты раскрывать не буду...

Вид обработки загрузки данных с сайта в 1С

Ниже код загрузки данных со страницы сайта, смысл такой :

• в функция передается адрес страницы сайта
• полученный текст страницы обрабатывается, удаляются теги
• из полученного текста формируется ТЗ с данными
• По названию ищется поставщик из вспомогательного справочника Справочники.Pr_Поставщики.НайтиПоНаименованию(, если нет - создается
• на выходе ТЗ с данными

 Функция ПолучитьТаблицуДанных(Строка)

	

	тзДанных = Новый ТаблицаЗначений;

	Сервер = "site.ru";

	

	Соединение = Новый HTTPСоединение(Сервер);			

	Заголовки = Новый Соответствие;

	Заголовки.Вставить("host", Сервер);

	ТекАдрес = СтрЗаменить(Строка.Наименование.УРЛСтраницы,"http://","");

	ТекАдрес = СтрЗаменить(ТекАдрес,Сервер,"");

	Запрос = Новый HTTPЗапрос(ТекАдрес, Заголовки);

	Ответ =Соединение.Получить(Запрос);

	Если Ответ.КодСостояния = 200 Тогда // Данные получены, обрабатываем их

		Содержимое= Ответ.ПолучитьТелоКакСтроку();

		//Выведем тест полученной страницы

		НачалоБлока = "<table id=" + """" + "table-price" + """" + " cellspacing=" + """" + "0" + """" + " border=" + """" + "1" + """" + " bordercolor=" + """" + "#dedede" + """" + " class=" + """" + "tablesorter" + """" + " >";

		//НачалоБлока = "<div class=" + """" + "w100fl" + """" + " id=" + """" + "kurs" + """" + ">";

		КонецБлока = "</table>";

		ТекстБлока = Сред(Содержимое, Найти(Содержимое, НачалоБлока) + СтрДлина(НачалоБлока), Найти(Содержимое, КонецБлока) - Найти(Содержимое, НачалоБлока) - СтрДлина(НачалоБлока));

		    				

		//Обработаем тест  				

		обрТекст = СтрЗаменить(ТекстБлока,"<tr>","");

		обрТекст = СтрЗаменить(обрТекст,"</tr>",Символы.ПС);

		обрТекст = СтрЗаменить(обрТекст," >", ">");

		обрТекст = СтрЗаменить(обрТекст,"</th> <th>", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</td> <td>", " | ");

	   	обрТекст = СтрЗаменить(обрТекст,"</th> <th class=" + """" + "sortable_header" + """" + ">", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</th> <th >", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</th><th>", " | ");

		обрТекст = СтрЗаменить(обрТекст,"</td><td>", " | ");

		обрТекст = СтрЗаменить(обрТекст," >", ">");

		RegExp = Новый COMОбъект("VBScript.RegExp");

		RegExp.IgnoreCase = Ложь; 

		RegExp.Global = Истина;    

		RegExp.MultiLine = Истина;    

		

		RegExp.Pattern = "<[^>]*>"; //Ищем теги HTML   

		обрТекст=RegExp.Replace(обрТекст, "");

		//Сообщить(обрТекст);

		

		Если СокрЛП(обрТекст) = "Ни одной позиции не найдено." Тогда

			Сообщить(Строка(Строка.Наименование)+ " = Ни одной позиции не найдено! Строка " + Строка.Наименование);

			Возврат тзДанных;

		КонецЕсли;





		Если Найти(обрТекст, "Страница не найдена") > 0 Тогда

			Сообщить(Строка(ТекАдрес)+" = Страница не найдена, строка " + Строка.Наименование);

			Возврат тзДанных;  

		КонецЕсли;

		

		//Преобразуем полученный текст в таблицу

		Для н=1 По СтрЧислоСтрок(обрТекст)Цикл

			СтрТекста=СтрПолучитьСтроку(обрТекст,н);

			Если Найти(СтрТекста, "Длина Цена") > 0 Тогда

				СтрТекста = СтрЗаменить(СтрТекста, "Длина Цена", "Длина | Цена");

			КонецЕсли;

			Если Найти(СтрТекста, "Марка стали Цена") > 0 Тогда

				СтрТекста = СтрЗаменить(СтрТекста, "Марка стали Цена", "Марка стали | Цена");

			КонецЕсли;

			Если Найти(СтрТекста, ",  Поставщик") > 0 Тогда

				СтрТекста = СтрЗаменить(СтрТекста, ",  Поставщик", " | Поставщик");

			КонецЕсли;

			//Выводим текст страницы построчно

			мсДанных = ПолучитьМассивИзСтрокиСРазделителем(СтрТекста, "|", Истина);

			Если н=1 Тогда

				Для Каждого ткЗнач из мсДанных Цикл

					СтрЗапрещСимволов = " .,<>""\/-";

					ИмяКолонки = ткЗнач;

					Для сч33 = 1 по СтрДлина(СтрЗапрещСимволов) Цикл

						ЗапрещСимв = Сред(СтрЗапрещСимволов, сч33, 1);

						ИмяКолонки = СтрЗаменить(ИмяКолонки, ЗапрещСимв, "_");

					КонецЦикла;

					

					// добавим нужное количество колонок- если перед колонкой Поставщик не хватает

					// бывает, что в шапке определяется меньше колонок, чем реально в таблице

					Если НРег(ИмяКолонки) = "поставщик" Тогда

						Для Сч_дк = (Строка.Наименование.Родитель.Поставшик - 2) по тзДанных.Колонки.Количество() Цикл

							тзДанных.Колонки.Добавить("Колонка_" + (тзДанных.Колонки.Количество() + 1));

						КонецЦикла;

					КонецЕсли;

					

					тзДанных.Колонки.Добавить(ИмяКолонки);

				КонецЦикла;

				тзДанных.Колонки.Добавить("ном", , , 7);

			Иначе 

				НовСтр = тзДанных.Добавить(); нмас=0;

				Для Каждого ткЗнач из мсДанных Цикл

					НовСтр[нмас] = ткЗнач;

					нмас=нмас+1;

				КонецЦикла;

				НовСтр.ном = н;

			КонецЕсли;

			//Сообщить(стр);

		КонецЦикла;

		тзДанных.Колонки.Добавить("ЕстьСоответствие", Новый ОписаниеТипов("Булево"));

		тзДанных.Колонки.Добавить("СпрPr_Поставщики", Новый ОписаниеТипов("СправочникСсылка.Pr_Поставщики"));

		

		Для каждого стр из тзДанных Цикл

			текПоставщик = Справочники.Pr_Поставщики.НайтиПоНаименованию(стр[Строка.Наименование.родитель.Поставшик-1]);

			Если текПоставщик = Справочники.Pr_Поставщики.ПустаяСсылка() Тогда

				НовЭлем = Справочники.Pr_Поставщики.СоздатьЭлемент();

				НовЭлем.Наименование = СокрЛП(стр[Строка.Наименование.родитель.Поставшик-1]);

				НовЭлем.Записать();

				текПоставщик = НовЭлем.Ссылка;

			КонецЕсли;

			стр.СпрPr_Поставщики = текПоставщик;

		КонецЦикла;

	Иначе

		тзДанных.Колонки.Добавить("ЕстьСоответствие", Новый ОписаниеТипов("Булево"));

		тзДанных.Колонки.Добавить("СпрPr_Поставщики", Новый ОписаниеТипов("СправочникСсылка.Pr_Поставщики"));

		

		Сообщить("Ошибка получения данных для строки " + Строка.Наименование);

	КонецЕсли;

	

	Возврат тзДанных;

	

КонецФункции   

В коде используется вспомогательная функция ПолучитьМассивИзСтрокиСРазделителем 

 // Функция разбивает строку разделителем.

// 

// Параметры:

//  пСтрока      - Строка - которую разбиваем;

//  *пРазделитель - Строка, "." - символ-разделитель;

//  *ОбрезатьНепечатныеСимволы - Булево, *Ложь.

//

// Возвращаемое значение:

//  Массив - фрагментов.

//

Функция ПолучитьМассивИзСтрокиСРазделителем(Знач Стр, Разделитель = ".", ОбрезатьНепечатныеСимволы = Ложь) Экспорт

	

	МассивСтрок = Новый Массив;

	

	Если Разделитель = " " Тогда

		Стр = СокрЛП(Стр);

		Пока 1=1 Цикл

			Поз = Найти(Стр,Разделитель);

			Если Поз=0 Тогда

				МассивСтрок.Добавить(Стр);

				Возврат МассивСтрок;

			КонецЕсли;

			МассивСтрок.Добавить(Лев(Стр,Поз-1));

			Стр = СокрЛ(Сред(Стр,Поз));

		КонецЦикла;

	Иначе

		ДлинаРазделителя = СтрДлина(Разделитель);

		Пока 1=1 Цикл

			Поз = Найти(Стр,Разделитель);

			Если Поз=0 Тогда

				Фрагмент = Стр;

				Если ОбрезатьНепечатныеСимволы Тогда

					Фрагмент = СокрЛП(Фрагмент);

				КонецЕсли;

				МассивСтрок.Добавить(Фрагмент);

				Возврат МассивСтрок;

			КонецЕсли;

			Фрагмент = Лев(Стр,Поз-1);

			Если ОбрезатьНепечатныеСимволы Тогда

				Фрагмент = СокрЛП(Фрагмент);

			КонецЕсли;

			МассивСтрок.Добавить(Фрагмент);

			Стр = Сред(Стр,Поз+ДлинаРазделителя);

		КонецЦикла;

	КонецЕсли;





	Возврат МассивСтрок;

		

КонецФункции // ПолучитьМассивИзСтрокиСРазделителем()   

Конечно, перед тем как мы начали это делать - прошерстили интернет и нашли несколько решений , вот они:

 Соединение = ПолучитьCOMОбъект("","Microsoft.XMLHTTP");

ИмяВременногоФайла=ПолучитьИмяВременногоФайла("htm");



Соединение.open("GET", "http://mamba.ru/my", 0);

Соединение.send();



//status: //404 - Not Found //200 - Ok

ТаймАут = 200;

Начало=ТекущаяДата();

Пока Соединение.readyState <> 4 И (ТаймАут=0 ИЛИ ТекущаяДата()-Начало<ТаймАут) Цикл

бфДиалоги.ксОбработкаПрерыванияПользователя();

КонецЦикла;



//Сохраняем во временный файл

обСохранитьДвоичныйБуферВФайл(Соединение.responseBody, ИмяВременногоФайла);



Соединение.open("POST", "http://mamba.ru/my");

Соединение.send("login=xxx&password=&&&");





Функция обСохранитьДвоичныйБуферВФайл(Буфер, ИмяФайла) Экспорт

    Поток = Новый COMОбъект("ADODB.Stream");

    Поток.Type = 1;  //Бинарный

       Поток.Mode = 3; 

    Поток.Open();

    Поток.Write(Буфер);

    Поток.SaveToFile(ИмяФайла);

    Поток.Close();

КонецФункции   

     НТТР = ПолучитьCOMОбъект("","Microsoft.XMLHTTP");

    ИмяФайлаОтвета = КаталогВременныхФайлов() + "filename.tmp";           

    НТТР.open("GET", "www.google.com",0,,); 

    НТТР.send();

    StreamTypeEnum = Новый Структура("adTypeBinary, adTypeText", 1, 2);

    ConnectModeEnum = Новый Структура(

            "adModeRead, adModeReadWrite, adModeRecursive, adModeShareDenyNone,

            |adModeShareDenyRead, adModeShareDenyWrite, adModeShareExclusive, 

            |adModeUnknown, adModeWrite", 1, 3, 4194304, 16, 4, 8, 12, 0, 2);

    SaveOptionsEnum = Новый Структура("adSaveCreateNotExist, adSaveCreateOverWrite", 1, 2);

    StreamOut = Новый COMОбъект("ADODB.Stream");

    StreamOut.Type = StreamTypeEnum.adTypeBinary;

    StreamOut.Mode = ConnectModeEnum.adModeReadWrite; //Нужны и чтение и запись   

    StreamOut.Open(); //Открыли на чтение и запись

    StreamOut.Write(НТТР.responseBody); 

    StreamOut.SaveToFile(ИмяФайлаОтвета, SaveOptionsEnum.adSaveCreateOverWrite); //"2" - перезапись файла

    StreamOut.Close();   

И даже не этом сайте есть статья : Парсер сайта связного на 1С