У Windows Server 2012 з’явилася нова функція Дані Дедуплікація (Дедуплікація даних). Що ж таке дедублікация? Дедуплікація даних в загальному випадку – це процедура пошуку і видалення дублюючих даних на носії інформації без шкоди для цілісності інформації. Мета дудуплікаціі – зберігати інформацію в невеликих блоках (32-128 Кб), виявляти однакові (дублюючі блоки) і зберігати тільки одну копію для кожного блоку, а блоки-дублікати замінювати посиланнями на єдину копію.

Раніше для організації дедуплікаціі доводилося використовувати сторонні продукти (існують як апаратні рішення по дедуплікаціі на рівні дискових масивів, так і програмні на рівні файлів). Вартість подібних рішень була досить висока, адже вони в першу чергу орієнтовані на багатих корпоративних замовників. Тепер ця функція абсолютно безкоштовно доступна всім користувачам a Windows Server 2012.

У Windows Server 2012 функція дедуплікація реалізована у вигляді двох компонентів:

  • Драйвера-фільтра, Який контролює функції введення / виводу
  • служби дедуплікаціі – контролює три операції ( «Прибирання сміття», «Оптимізація» і «Очищення»).

Зазначені компоненти відповідають за пошук співпадаючих даних, організації їх зберігання в однині і коректне надання до них доступу.

Раніше дедуплікація в продуктах Microsoft зустрічалася в поштовому сервер Exchange 200/2003/2007 – в компоненті Single Instance Storage (на сервері в ящику одного з адресатів зберігається тільки один екземпляр повідомлення, а інші адресати отримують просто посилання на нього).

Дедуплікація даних в Windows Server 2012 виконується в фоновому режимі і за замовчуванням запускається щогодини. Процес запускається при низькому навантаженні на сервер і не знижує загальну продуктивність сервера. Також по-замовчуванням дедуплікаціі піддаються файли, до яких не було доступу більше 30 днів. Крім того, процедура не здійснюється для наступних типів файлів :: aac, aif, aiff, asf, asx, в, avi, flac, jpeg, м3ти, середина, міді, mov, mp1, mp2, mp3, mp4, mpa, mpe, mpeg, mpeg2, mpeg3, миль на галлон, ogg, qt, qtw, ОЗП, rm, rmi, rmvb, snd, swf, воб, wav, віск, wma, wmv, wvx, accdb, доступ, згідно з згідно docm, docx, dotm, dotx, pptm, potm, potx, ppam, ppsx, pptx, sldx, sldm, thmx, xlsx, xlsm, xltx, xltm, xlsb, xlam, xll, туз, дуга, arj, bhx, b2, таксі, gz, gzip, hpk, hqx, банку, лха, lzh, lzx, тоді, яма, rar, море, сидіти, sqz, tgz, уу, новий, з, блискавка, зоопарк.

Функціонал управління Дедуплікація доступний з графічного інтерфейсу і через PowerShell. Розглянемо обидва варіанти.

Графічний інтерфейс дедуплікації даних Windows Server 2012

Щоб включити Дедуплікація даних потрібно встановити компонент Дані Дедуплікація ролі Служби файлів та зберігання. Зробити це можна з консолі Сервер Менеджер.

Функція data deduplication в windows server 2012

Після закінчення установки компонента відкрийте консоль Server manager -> File and Storage Servcies -> Volumes -> і клацніть правою кнопкою по розділу, для якого хочете включити Дедуплікація і виберіть Налаштування дедуплікації даних.

Включаємо дедуплікація для томи в windows server 2012

У наступному вікні поставте галочку на пункт “Enable data deduplication”. Тут же можна вказати каталоги, які не потрібно дедупліціровать і настройки планувальника дедуплікаціі.

Поточний рівень дедуплікаціі буде відображатися в стовпці Дедуплікація Оцініть (Оновиться через кілька годин).Статус дедуплікаціі в windows 2012

Для аналізу використання дискового простору і можливої ​​економії від включення Дедуплікація для даного тому, розроблена утиліта DDPEVAL.exe. Оцінити, скільки ж дискового простору вийде заощадити після включення Data deduplication, можна за допомогою наступної команди (врахуйте, для великих томів вона може створити істотне навантаження на CPU)

c:windowssystem32ddpeval.exe e:

У моєму випадку економія склала б близько 57%.утиліта DDPEVAL.exe

Дедуплікація за допомогою Powershell

Процесом дедуплікаціі можна управляти і з Powershell. Для цього потрібно встановити функцію Data-Deduplicationс допомогою команд:

Import-Module ServerManager
Add-WindowsFeature -name FS-Data-Deduplication
Import-Module Deduplication

Після того, як функція дедуплікаціі включена, її потрібно конфігурувати. Щоб включити дедупллікацію для диска D :, виконаємо команду:

Enable-DedupVolume D:

Управління Дедуплікація через PoSh

Як і промовчати дедуплікаціі піддаються файли, до яких не було доступу (Last Access) більше 30 днів. Це значення можна змінити, наприклад, на 2 дні, для цього виконайте команду:

Set-DedupVolume D: -MinimumFileAgeDays 2

Зазвичай процес дедуплікаціі запускається планувальником Windows, але його можна запустити і вручну:

Start-DedupJob D: –Type Optimization

Поточну статистику можна подивитися за допомогою команди:

Get-DedupStatus

Get-DedupStatus

Зі списком поточних завдань можна познайомиться з допомогою команди:

Get-DedupJob

Всі результати роботи для томи можна відобразити командою PoSH:

Get-DedupMetadata -Volume D:

І, нарешті, повністю скасувати Дедуплікація для томи можна командою:

Start-DedupJob -Volume D: -Type Unoptimization

На скріншоті нижче видно, що після включення дедуплікаціі на диску E: (для тесту я склав на нього 4 однакових ISO з Windows 8), розмір зайнятого місця на диску зменшився з 12 Гб до 3 Гб. Зайняте місце до і після включення дедуплікаціі в Windows Server 2012

Служба дедуплікаціі зберігає свою базу і дедупліцірованние чанкі в каталозі System Volume Information. Тому ні в якому разі не варто вручну втручатися в його структуру.

Рекомендації по використанню технології Data Deduplication в Windows Server 2012

Microsoft опублікувала наступні результати дослідження ефективності при дудуплікаціі різних типів даних.

типи даних Можлива економія місця
Загальні дані 50-60%
документи 30-50%
бібліотека додатків 70-80%
Бібліотека VHD (X) 80-95%

Основні особливості Data Deduplication в Windows Server 2012:

  • Працює тільки на NTFS томах і не подорожувати файлову систему ReFS
  • Чи не підтримується для завантажувальних і системних томів
  • Чи не працює із стисненими та шифрованими файлами NTFS
  • Підтримує кешування і BITS
  • Не підтримує файли менше 32KB
  • Чи не налаштовується через групові політики
  • Не підтримує Cluster Shared Volumes
  • Дедуплікація – процес не миттєвий і вимагає певного часу

Leave a Reply

Your email address will not be published. Required fields are marked *