" title="Написать письмо">Написать письмо

Статистика

Пользователи : 1
Статьи : 1955
Просмотры материалов : 7103424
 
Редактирование гигантских файлов (16.10.2023). Печать E-mail
2023 - Октябрь
16.10.2023 20:18
Save & Share
Миграция огромного программного комплекса с одной ОС на другую - рано или поздно привела бы к миграции БД SQL. Выяснилось, что старая БД требует промежуточных изменений (например, корректировки мандатных меток) - недостижимых с помощью SQL-запросов, pgAdmin, ручного труда.



Единственный путь - делать полный дамп БД, открывать в каком-то редакторе, редактировать (в т.ч. с автозаменой), сохранять - и только потом загружать в новую ОС. А размер дампа - десятки гигабайт.

Тест был проведен на небольшом файле, относительно заказчика, размером 12.5ГБ:
- для открытия требуется RAM в 2.56 раза больше, чем размер файла. В моем случае - еле-еле хватило 32ГБ;
- лучше использовать редактор IkelPad в составе портативной Windows 10 от Стрельца. Открытие занимает около 12 минут - после открытия оперативной памяти почти не остается, тормоза при редактировании дикие. Но файл, по итогу, откроется;
- сохранение файла занимает в 5 раз больше времени, чем открытие. Возможно, связано с тем, что файл редактировался на диске с файловой системой Ext4.

Понятно, что тут нужно найти стажера и заставить его писать софтину (сторонний софт на территории заказчика запрещен), чтобы обрабатывала гигантские файлы построчно по вручную задаваемым условиям. И если первое и второе уже реализовано - то сколько времени у него уйдет (с учетом необходимости тщательного тестирования)? И, может, проще выписать себе временно еще 32-64ГБ RAM - превратив ПК в дамповый сервер?..


Обновлено ( 17.10.2023 18:09 )
 
 

Последние новости


©2008-2024. All Rights Reserved. Разработчик - " title="Сергей Белов">Сергей Белов. Материалы сайта предоставляются по принципу "как есть". Автор не несет никакой ответственности и не гарантирует отсутствие неправильных сведений и ошибок. Вся ответственность за использование материалов лежит полностью на читателях. Размещение материалов данного сайта на иных сайтах запрещено без указания активной ссылки на данный сайт-первоисточник (ГК РФ: ст.1259 п.1 + ст.1274 п.1-3).

Много статей не имеет срока устаревания. Есть смысл смотреть и 2011, и даже 2008 год. Политика сайта: написать статью, а потом обновлять ее много лет.
Открыта карта ВТБ для донатов на дорогостоящие эксперименты: 5368 2902 0040 0838.

Рекламодателям! Перестаньте спамить мне на почту с предложениями о размещении рекламы на этом сайте. Я никогда спамером/рекламщиком не был и не буду!
Top.Mail.Ru