большими » Поиск

Результаты по ключевому слову: большими

Ускорение и оптимизация настроек PostgreSQL для 1С

По умолчанию PostgreSQL настроен таким образом, чтобы расходовать минимальное количество ресурсов для работы с небольшими базами до 4 Gb на не очень производительных серверах. То есть, если дело касается систем посерьезней, то вы столкнетесь с большими потерями производительности базы данных лишь потому, что дефолтные настройки могут в корне не соответствовать производительности вашего северного оборудования. Настройки выделения ресурсов оперативной памяти RAM для работы PostgreSQL хранятся в файле postgresql.conf.

Доступен как из папки, куда установлен PostgreSQL / Data, так и из pgAdmin:

В общем на начальном этапе при возникновении трудностей и замедления работы БД, заметной для глаз пользователей достаточно увеличить три параметра:

shared_buffers

Это размер памяти, разделяемой между процессами PostgreSQL, отвечающими за выполнения активных операций. Максимально-допустимое значение этого параметра – 25% всего количества RAM

Например, при 1-2 Gb RAM на сервере, достаточно указать в этом параметре значение 64-128 Mb (8192-16384).

temp_buffers

Это размер буфера под временные объекты (временные таблицы). Среднее значение 2-4% всего количества RAM

Например, при 1-2 Gb RAM на сервере, достаточно указать в этом параметре значение 32-64 Mb.

work_mem

Это размер памяти, используемый для сортировки и кэширования таблиц.

При 1-2 Gb RAM на сервере, рекомендуемое значение 32-64 Mb.

Для вступления новых значений в силу, потребуется перезапуск службы, поэтому лучше делать во вне рабочее время.

Еще два важных параметра это maintenance_work_mem (для операций VACUUM, CREATE INDEX и других) и max_stack_depth

Примеры оптимальных настроек:

Hardware:

CPU: E3-1240 v3 @ 3.40GHz
RAM: 32Gb 1600Mhz
Диски: Plextor M6Pro

postgresql.conf:

shared_buffers = 8GB
work_mem = 128MB
maintenance_work_mem = 2GB
fsync = on
synchronous_commit = off
wal_sync_method = fdatasync
checkpoint_segments = 64
seq_page_cost = 1.0
random_page_cost = 6.0
cpu_tuple_cost = 0.01
cpu_index_tuple_cost = 0.0005
cpu_operator_cost = 0.0025
effective_cache_size = 24GB

Вариант настроек от pgtune:

Полезные запросы:

Блокировки БД по пользователям

Код SQL

 select a.usename, count(l.pid) from pg_locks l inner join pg_stat_activity a on a.procpid = l.pid where not(mode = ‘AccessShareLock’) group by a.usename;

Вывести все таблицы, размером больше 10 Мб

Код SQL

 SELECT tableName, pg_size_pretty(pg_total_relation_size(CAST(tablename as text))) as size

from pg_tables

where tableName not like ‘sql_%’ and pg_size_pretty(pg_total_relation_size(CAST(tablename as text))) like ‘%MB%’;

Определение размеров таблиц в базе данных PostgreSQL

Код SQL

 SELECT tableName, pg_size_pretty(pg_total_relation_size(CAST(tablename as text))) as size

from pg_tables

where tableName not like ‘sql_%’

order by size;

Пользователи блокирующие конкретную таблицу

Код SQL

 select a.usename, t.relname, a.current_query, mode from pg_locks l inner join pg_stat_activity a on a.procpid = l.pid inner join pg_stat_all_tables t on t.relid=l.relation where t.relname = ‘tablename’;

Код SQL

 select relation::regclass, mode, a.usename, granted, pid from pg_locks l inner join pg_stat_activity a on a.procpid = l.pid where not mode = ‘AccessShareLock’ and relation is not null;

Запросы с эксклюзивными блокировками

Код SQL

 select a.usename, a.current_query, mode from pg_locks l inner join pg_stat_activity a on a.procpid = l.pid where mode ilike ‘%exclusive%’;

Количество блокировок по пользователям

Код SQL

 select a.usename, count(l.pid) from pg_locks l inner join pg_stat_activity a on a.procpid = l.pid where not(mode = ‘AccessShareLock’) group by a.usename;

Количество подключений по пользователям

Код SQL

 select count(usename), usename from pg_stat_activity group by usename order by count(usename) desc;

Категория: Администрирование

Сравнение: Конкатенация, ТекстовыйДокумент, ЗаписьXML

Немного теории:
Конкатенация (соединение строк). Казалось бы - ну что может быть проще и однозначнее? Ан нет. Выражение T = "А"+"Б"; (если оно не вычислено на этапе компиляции/разбора) требует выделения памяти для "А", памяти для "Б", анализа длин "А" и "Б", выделение памяти для T, копирование первой строки, копирование второй строки. Это медленно, особенно если в цикле дописывается кусочек в конец строки.
В "нормальных" системах, например в .NET от этого можно уйти используя так называемые StringBuilder - это специальный объект, который более эффективно выделяет память (крупными блоками) и не копирует зря строки. По сути это поток (stream) который используется для записи в память, как в файл. А вот в 1С такого нет. Фиг вам товарищи, а не эффективная работа со строками

Но фиг только тем у кого хитрости мало, а для остальных есть варианты.
ТекстовыйДокумент
Оказывается, что метод ДобавитьСтроку() для типа ТекстовыйДокумент для больших строк работает гораздо эффективнее чем тупая конкатенация. Возможно, это связано с тем, что этот тип - обёртка к текстовому редактору, встроенному в 1С. Кстати, этот редактор для простых текстовых файлов файлов мне нравится гораздо больше, чем например, notepad или редактор Visual Studio - он позволяет бодрее работать с большими текстами, как в длину, так и в ширину.
Но! У этого способа есть недостаток - в 8.0 и 8.1 он не доступен на сервере, т.к. считается "интерфейсным". Обидно. Но это заставляет искать нас более эффективный способ:
ЗаписьXML
Опа! А при чём здесь XML? Правильно, XML нам не нужен. Но важно, что тип ЗаписьXML представляет собой как раз обёртку над последовательной записью в поток. А если учесть, что он позволяет формировать результат в память в виде строки, а не только в файл, то это уже готовый кандидат на замену StringBuilder. Осталось только упомянуть, что он позволяет дозаписывать в "XML" всё что угодно при помощи метода ЗаписатьБезОбработки().

Код 1C v 8.2 УП

 ДлинаДобавляемогоКуска = 200; //символов, последний - ПС

ОбщаяДлинаСтроки = 1000000;

КоличествоИтераций = 10;



//Создаём базовую строчку:

БазоваяСтрока = "";

Для Сч = 1 по ДлинаДобавляемогоКуска-1 Цикл

    БазоваяСтрока = БазоваяСтрока + "Ы";

КонецЦикла;

БазоваяСтрокаПС = БазоваяСтрока + Символы.ПС;



//Способ 1. Добавление строк к концу строки

Сообщить("Способ 1. Добавление строк к концу строки - Начало " + Строка(ТекущаяДата()));

ФиктивныйРезультат = 0;

Для СчИтераций = 1 по КоличествоИтераций Цикл

    Состояние("Способ 1. Добавление строк к концу строки - " + Строка(СчИтераций));

    СтрокаРезультат = "";

    Для СчДобавлений = 1 по (ОбщаяДлинаСтроки/ДлинаДобавляемогоКуска) Цикл

        СтрокаРезультат = СтрокаРезультат + БазоваяСтрокаПС;

    КонецЦикла;

    ФиктивныйРезультат = ФиктивныйРезультат + СтрДлина(СтрокаРезультат);

    ОбработкаПрерыванияПользователя();

КонецЦикла;

Сообщить("Фиктивный результат = " + Строка(ФиктивныйРезультат));

Сообщить("Способ 1. Добавление строк к концу строки - Окончание " + Строка(ТекущаяДата()));



//Способ 2. Добавление строк в текстовый документ

Сообщить("Способ 2. Добавление строк в текстовый документ - Начало " + Строка(ТекущаяДата()));

ФиктивныйРезультат = 0;

Для СчИтераций = 1 по КоличествоИтераций Цикл

    Состояние("Способ 2. Добавление строк в текстовый документ - " + Строка(СчИтераций));

    ТекстПостроитель = Новый ТекстовыйДокумент;

    Для СчДобавлений = 1 по (ОбщаяДлинаСтроки/ДлинаДобавляемогоКуска) Цикл

        ТекстПостроитель.ДобавитьСтроку(БазоваяСтрока); //ПС добавляется сам

    КонецЦикла;

    СтрокаРезультат = ТекстПостроитель.ПолучитьТекст();

    ФиктивныйРезультат = ФиктивныйРезультат + СтрДлина(СтрокаРезультат);

    ОбработкаПрерыванияПользователя();

КонецЦикла;

Сообщить("Фиктивный результат = " + Строка(ФиктивныйРезультат));

Сообщить("Способ 2. Добавление строк в текстовый документ - Окончание " + Строка(ТекущаяДата()));



//Способ 3. Создание через ЗаписьXML

Сообщить("Способ 3. Создание через ЗаписьXML - Начало " + Строка(ТекущаяДата()));

ФиктивныйРезультат = 0;

Для СчИтераций = 1 по КоличествоИтераций Цикл

    Состояние("Способ 3. Создание через ЗаписьXML - " + Строка(СчИтераций));

    ТекстПостроитель = Новый ЗаписьXML;

    ТекстПостроитель.УстановитьСтроку();

    Для СчДобавлений = 1 по (ОбщаяДлинаСтроки/ДлинаДобавляемогоКуска) Цикл

        ТекстПостроитель.ЗаписатьБезОбработки(БазоваяСтрокаПС);

    КонецЦикла;

    СтрокаРезультат = ТекстПостроитель.Закрыть();

    ФиктивныйРезультат = ФиктивныйРезультат + СтрДлина(СтрокаРезультат);

    ОбработкаПрерыванияПользователя();

КонецЦикла;

Сообщить("Фиктивный результат = " + Строка(ФиктивныйРезультат));

Сообщить("Способ 3. Создание через ЗаписьXML - Окончание " + Строка(ТекущаяДата()));

//ЗЫ: данный код проверен в 8.2

Результаты забегов
У меня на тестовой среде получилось примерно следующее время:
1. Конкатенация - 24 секунды
2. Текстовый документ 1,5 секунды
3. ЗаписьXML - около 0,4 секунды

Пишет Alexander Speshilov

Категория: Работа с Текстом (Строкой)

ZIP-архив Разделить и Объединить Файл Категория: Работа с Файлами и Каталогами

Получение всех родителей элемента справочника

В языке запросов не предусмотрено специальных средств для получения всех родителей элемента. Для выполнения задачи можно воспользоваться иерархическими итогами, однако получение иерархических итогов оптимизировано для построения итогов большого количества записей, и не вполне эффективно для получения родителей одного элемента. Для более эффективного получения всех родительских записей элемента, рекомендуется перебирать в цикле его родителей небольшими порциями. Пример:

Код 1C v 8.х

 ТекущийЭлементНоменклатуры = ЭлементНоменклатура;



Запрос = Новый Запрос("ВЫБРАТЬ 

                      | Номенклатура.Родитель, 

                      | Номенклатура.Родитель.Родитель, 

                      | Номенклатура.Родитель.Родитель.Родитель, 

                      | Номенклатура.Родитель.Родитель.Родитель.Родитель, 

                      | Номенклатура.Родитель.Родитель.Родитель.Родитель.Родитель 

                      |ИЗ 

                      | Справочник.Номенклатура КАК Номенклатура 

                      |

                      |ГДЕ 

                      | Номенклатура.Ссылка = &ТекущийЭлементНоменклатуры"; 



Пока Истина Цикл 

    Запрос.УстановитьПараметр("ТекущийЭлементНоменклатуры", ТекущийЭлементНоменклатуры); 

    Результат = Запрос.Выполнить(); 

    Если Результат.Пустой() Тогда 

        Прервать; 

    КонецЕсли; 

    Выборка = Результат.Выбрать(); 

    Выборка.Следующий(); 

    Для НомерКолонки = 0 По Результат.Колонки.Количество() - 1 Цикл 

        ТекущийЭлементНоменклатуры = Выборка[НомерКолонки]; 

        Если ТекущийЭлементНоменклатуры = Справочники.Номенклатура.ПустаяСсылка() Тогда 

            Прервать; 

        Иначе 

            Сообщить(ТекущийЭлементНоменклатуры); 

        КонецЕсли; 

    КонецЦикла; 



    Если ТекущийЭлементНоменклатуры = Справочники.Номенклатура.ПустаяСсылка() Тогда 

        Прервать; 

    КонецЕсли; 

КонецЦикла;

В данном примере в окно служебных сообщений выводятся все родители для ссылки, записанной в переменную ЭлементНоменклатура. В цикле выбирается по 5 родителей ссылки.

Если число уровней в справочнике ограничено и невелико, то возможно получение всех родителей одним запросом без цикла.

Категория: Справочники

Почему разрастается журнал транзакций - файл .LDF для MS-SQL Категория: Администрирование

Функция преобразования строки вида "ДебиторкаПоКонтрагентам" в "Дебиторка по контрагентам"

Примеры кода для 7 версии, но будут работать и в 8-ой

Код 1C v 7.x

  Функция мРазнПреобразоватьСтрокуСБольшимиБуквами(ИсходнаяСтрока) Экспорт

    

    СтрокаВозврата = Сред(ИсходнаяСтрока, 1, 1);

    

    Для Сч = 2 По СтрДлина(ИсходнаяСтрока) цикл

        ПредСимвол = Сред(ИсходнаяСтрока, Сч - 1, 1);

        ТекСимвол = Сред(ИсходнаяСтрока, Сч, 1);

        СледСимвол = Сред(ИсходнаяСтрока, Сч + 1, 1);

        

        Если ВРЕГ(ТекСимвол) = ТекСимвол тогда 

            Если ВРЕГ(ПредСимвол) <> ПредСимвол тогда 

                СтрокаВозврата = СтрокаВозврата + " ";

                Если ВРЕГ(СледСимвол) <> СледСимвол тогда

                    ТекСимвол = НРЕГ(ТекСимвол);

                КонецЕсли;

            КонецЕсли;

        КонецЕсли;

        

        СтрокаВозврата = СтрокаВозврата + ТекСимвол;

        

    КонецЦикла;

    

    Возврат СтрокаВозврата;

    

КонецФункции // мРазнПреобразоватьСтрокуСБольшимиБуквами()

А таким кодом, просто перед большой буквой выставляется пробел:

Код 1C v 7.x

 

Список=новый СписокЗначений;

Для н=КодСимвола("А") По КодСимвола("Я") Цикл

    Список.Добавить(Символ(н));

КонецЦикла;

Значение="ДебиторкаПоКонтрагентам";

Результат="";

Для н=1 По СтрДлина(Значение) Цикл

    Сим=Сред(Значение,н,1);

    Если Список.НайтиПоЗначению(Сим) <> Неопределено Тогда

        Сим=" "+Сим; 

    КонецЕсли;            

    Результат=Результат+Сим;

КонецЦикла;

Сообщить(Результат);

Категория: Работа с Текстом (Строкой)