Що таке дата-центр і як він працює

Сучасні віртуалізовані сервіси дають можливість працювати з Інтернет-ресурсами, не задумуючись над тим, де вони знаходяться та на чому зберігаються. Це створює ілюзію, що вони десь поряд та у межах досяжності. Окрім позитиву, це може нести певні ризики, наприклад, у випадку виникнення непередбачених обставин, збоїв, хакерських атак тощо, коли сайти можуть бути пошкоджені а дані втрачені. І тому власникам Інтернет-ресурсів та всім, хто працює в мережі треба чітко усвідомлювати, що будь-який сайт, хмарний сервіс або застосунок зрештою працює на фізичному обладнанні, яке десь знаходиться. Розуміння цього допоможе правильно зорієнтуватися та прийняти правильне рішення у екстремальній ситуації. Поговоримо про дата-центри – місце концентрації найбільших обчислювальних потужностей та даних Інтернет-мережі.    

Що таке дата-центр простими словами

Центр обробки даних або ЦОД – це фізично визначене місце для обробки та зберігання великих обсягів даних, представлених у цифровій формі. Відповідно до цього, на структурному рівні можна виділити наступні складові ЦОДу:

• Обчислювальні потужності;
• Сховище даних;
• Телекомунікації – пов’язує перші два рівні між собою та забезпечує зв’язок із зовнішніми мережами;
• Інженерна інфраструктура – забезпечує життєздатність та захист ЦОДу.

У порівнянні зі звичайною серверною ЦОД має наступні переваги:

• Наявність кількох варіантів резервного живлення;
• Реплікація даних та аварійне відновлення;
• Побудова телекомунікаційної інфраструктури у відповідності до стандартів ANSI/TIA-942 для ЦОД;
• Під’єднання до високошвидкісних каналів зв’язку та розміщення поблизу Інтернет-провайдерів;
• Підтримка спеціального температурного режиму у приміщеннях для збільшення строку експлуатації обладнання;
• Наявність розвиненої інженерної інфраструктури та дотримання правил безпеки відповідно до існуючих національних та європейських стандартів.

Що знаходиться всередині дата-центру

Розглянемо коротко основні елементи ЦОДу, котрі входять до відповідних його рівнів.

Серверні стійки

Це опірна конструкція, котра відноситься до допоміжного обладнання ЦОДу та служить для встановлення та кріплення серверів, кабелів, кулерів та іншого обладнання. Розміри конструкції визначаються стандартом EIA-310, розробленим організацією Electronic Industries Alliance (США) у 1997 році. Тут за одиницю виміру прийнятий стійковий юніт Rack Units (RU). Основні параметри виміру стійкових конструкцій – висота, ширина, глибина, ширина передньої панелі, розмір отвору, вертикальний та горизонтальний крок отворів.

На Малюнку 1 наведено найменший вертикальний розмір стійки або 1 RU, котрий дорівнює 1,75 дюйма. Така стійка розрахована на розміщення однієї одиниці обладнання. Це дозволяє легко розрахувати висоту конструкції для розміщення необхідної кількості серверів. Стандартне на сьогодні значення – 42 RU, тобто 42 одиниці обладнання, але може бути й більше, наприклад, 48 RU або, навіть, 60 RU в залежності від щільності розміщення обладнання та потреб у потужностях.      

Малюнок 1. Вертикальна розмітка стандартної серверної стійки.

Найбільш важливий параметр будь-якої серверної стійки – щільність потужності. Він визначає можливості конструкції по розсіюванню потужності, котра утворюється при роботі серверного обладнання. Його діапазон, зазвичай, лежить у межах від 2,4 кВт до 40 кВт, але може бути й більше. Стандартне значення цієї величини з роками змінюється по мірі росту потужності серверів.

Одинарні стійки можуть об’єднуватися у так звані шафи зі спеціальним оснащенням та місцем для кабелів та охолоджуючого обладнання. Це збільшує щільність розміщення обладнання та підвищує рівень безпеки.

Фізичні сервери

Це найменша одиниця обчислювальної потужності дата-центру. Сервер може бути розрахований на розміщення у стійках або мати модульну конструкцію для встановлення на шасі – спеціальні блоки сховища.

Корпус стійкового комп’ютера має плоску прямокутну форму та виконаний у спеціальному стійковому форматі, котрий відрізняється від ATX-формату для звичайного ПК. 

Модульні пристрої або блейд-сервери мають тонкий корпус, у середині котрого знаходяться RAM, CPU, влаштовані мережеві контролери та приводи для зберігання даних. На відміну від стоєчних аналогів, блейд-сервери займають менше місця, потребують меншої кількості проводів та менше споживають енергії.   

Для компаній, яким потрібні стабільна продуктивність, повний контроль над серверними ресурсами та гнучкість у налаштуванні інфраструктури, оптимальним рішенням може стати оренда виділеного сервера.

Системи зберігання даних

В сучасних дата-центрах, зазвичай, використовується два різних типи систем зберігання даних – блочні та файлові.

У блочних системах дані зберігаються у вигляді блоків на блочних цифрових пристроях. До таких пристроїв, зокрема, відносяться HDD та SSD диски. На базі блочних пристроїв будуються мережі зберігання даних SAN (Storage Area Network), котрі представляють собою блоки сховищ із кількома приводами. Це дозволяє працювати з ними, як з великими блочними системами збереження даних.  

У файлових системах дані зберігаються на файловому рівні. Прикладом такої системи може бути мережеве сховище NAS (Network Attached Storage). Це окремий комп’ютер або спеціалізований пристрій із великим дисковим масивом, котрий під’єднується до внутрішньої локальної мережі для можливості управління сховищем. Такий тип сховища може бути використаний для створення архівів зображень або відеоконтенту. 

Мережеве обладнання

Цей елемент ЦОДу відноситься до телекомунікаційного рівня та використовується для з’єднання між собою внутрішніх елементів рівнів обробки та сховища, а також під’єднання до дата-центру кінцевих користувачів. До його складу, насамперед, відносяться: мережеві кабелі та карти, перемикачі, маршрутизатори та брандмауери.

Кабельна інфраструктура

Кабельна інфраструктура ЦОДу (structured cabling) забезпечує подачу електроживлення до всіх внутрішніх пристроїв дата-центру та утворює канали для транспортування даних відповідно до схем підключення. При цьому використовуються траки, лотки та кольорове маркування для організації швидкого доступу до неї для можливості управління та технічного обслуговування. В стійках та шафах серверних кімнат передбачені отвори для розміщення кабелів. Під підлогою приміщення ЦОДу наявні спеціальні порожнини для прокладання кабельного обладнання і вентиляції, і тому її рівень, зазвичай, трохи вищий.

Як сервер у дата-центрі підключений до Інтернету

Будь-який ЦОД або Data center працює як високошвидкісний конвеєр по обробці даних. Тут сервери, сховища та мережі утворюють єдиний канал передачі даних. Запит від користувача через мережу Інтернет спочатку потрапляє на load balancer – пристрій з розподілу навантаження. Після виконання процесу маршрутизації запит передається відповідному веб-серверу або прикладному рівню, і далі до систем зберігання даних типу NAS, S3 або інших для вибірки необхідної інформації.

Увесь потік даних контролюється програмно-визначаємими мережами SDN (Software-Defined Networking) для цілей оптимізації маршрутизації. Обробка запиту виконується CPU/GPU процесором обчислювального серверу або віртуальною машиною із подальшою відправкою відповіді користувачу у вигляді JSON, звичайного файлу або HTML-сторінки через CDN-вузли із кешуванням даних, що забезпечує найменший рівень затримки.

Розглянемо деякі питання що до забезпечення зв’язку дата-центру із зовнішніми мережами.     

Провайдери та канали зв'язку

Будь-який дата-центр повинен бути під’єднаним хоча б до одного швидкісного каналу передачі Інтернет-даних. Саме по таким каналам передаються запити користувачів та відповіді сервера. І тому всі дата-центри, зазвичай, будуються поблизу одного або, навіть, декількох Інтернет-провайдерів для зменшення затримки у передачі даних та підвищення рівня надійності. З цією ж метою використовуються оптоволоконні канали та технології CDN (Content Delivery Network).

Маршрутизатори та комутатори

Ці пристрої відносяться до телекомунікаційного рівня ЦОДу та виконують функції автоматичного управління передачею даних між внутрішніми та зовнішніми мережами. Це відбувається за рахунок побудови оптимальних маршрутів переміщення даних, що розвантажує перевантажені ділянки траси. 

IP-адреси

Будь-який дата-центр використовує IP-адреси лише із визначеного діапазону, котрі відрізняються від IP-адрес побутових споживачів. Ці адреси відносяться до діапазонів хмарних сервісів або хостинг-провайдерів та забезпечують більш високу пропускну спроможність при передачі даних, менший рівень затримки сигналу та меншу вартість одного запиту. 

Навіщо дата-центру кілька незалежних каналів

Рівень надійної роботи ЦОДу напряму залежить від рівня надлишковості каналів зв’язку, котрі до нього під’єднані. Дублювання каналів зв’язку, окрім збільшення пропускної спроможності, також допомагає у випадку виникнення непередбачуваних обставин, наприклад, пожежа, хакерська атака або вихід з ладу обладнання Інтернет-провайдера. Це пов’язано з тим, що Інтернет-провайдер знаходиться у єдиному ланцюгу передачі даних між користувачем та сайтом

користувач → інтернет-провайдер → магістраль → дата-центр → сервер → сайт.

І тому чим більше незалежних каналів зв’язку має дата-центр, тим більший рівень надійності усієї системи передачі даних.

Як дата-центр отримує електроенергію

Електрична енергія необхідна для цілодобового живлення всіх внутрішніх пристроїв ЦОДу, і тому канали її постачання завжди дублюються і не залежать один від одного. Розглянемо ті з них, котрі, зазвичай, використовуються на практиці.

Основне живлення

У якості стандартного джерела електроживлення будь-якого ЦОДу використовується централізована мережа електропостачання загального призначення, котра подає електричну енергію до кінцевого споживача через високовольтні лінії електропередач. Це основний канал постачання електричної енергії для ЦОДу.

UPS

Джерело безперервного живлення або пристрій UPS (Uninterruptible Power Supply) використовується з метою забезпечення плавного переходу на інше джерело живлення у випадку виникнення тимчасових затримок у подачі енергії від основного джерела. Він повинен мати не менше двох вводів та один або декілька виводів. У випадку переривання електропостачання або недопустимої зміни значень напруги відбувається миттєве переключення вводу пристрою з одного джерела на інше. Треба враховувати, що пристрої UPS, зазвичай, використовуються для короткотривалого заміщення основного джерела і його основна мета – забезпечити стабільність та безперервність електропостачання.         

Акумулятори

Це вторинні хімічні джерела струму багаторазового використання, котрі відносяться до систем накопичення електричної енергії і можуть працювати у складі пристроїв UPS або використовуватися самостійно. На сьогоднішній день найбільш розповсюджені літій-іонні (Li-ion), нікель-металогібридні (NiMH), літій-залізо-фосфатні (LFP) та свинцево-кислотні АКБ. Слід зазначити, що ці джерела, зазвичай, вважаються тимчасовим засобом заміни основного джерела електроживлення, оскільки вимагають періодичної підзарядки від інших джерел.    

Дизельні генератори

Це незалежна електростанція, котра може бути обладнана одним або декількома генераторами електричного струму з приводом від дизельного двигуна внутрішнього згоряння. Єдина умова для її безперервної роботи – це наявність достатньої кількості дизельного палива. У такому разі електростанція здатна забезпечувати безперебійність електропостачання протягом тривалого часу.   

Що відбувається при відключенні електрики

У випадку переривання постачання електричної енергії від основного джерела спрацьовують комутатори пристроїв UPS і підключається тимчасове електроживлення. Якщо подача електроенергії припинилася на тривалий час, здійснюється перехід на живлення від внутрішньої електростанції дата-центру, наприклад, дизель-генераторну.  

Навіщо серверам охолодження

При своїй роботі будь-який електронний пристрій, в тому числі і комп’ютер, виділяє певну кількість теплової енергії, котра йде на нагрівання його корпусу та частково розсіюється у повітрі. Якщо вчасно не відводити «зайву» теплову енергію, електронні компоненти пристрою починають перегріватися, що поступово веде до виходу їх з ладу, і через деякий час пристрій стає непрацездатним. Для того, щоб цього уникнути розробляються різноманітні методи відводу тепла від корпусів пристроїв, починаючи від вентилювання повітря всередині пристрою і закінчуючи застосуванням рідинних охолоджувачів.

Особливо актуальним це питання стає для приміщень дата-центрів, у котрих дуже велика щільність розміщення обчислювальних вузлів та цифрових систем зберігання даних. Саме тому при їх проектуванні та побудові враховуються технологічні принципи організації охолодження в центрах обробки даних, котрі були прийняті та затверджені Американським товариством інженерів по опаленню, охолодженню та кондиціюванню повітря (ASHRAE).

Одним з таких рішень є використання в приміщеннях ЦОДу гарячих та холодних коридорів (hot/cold aisle containment), котрі розділяють ділянки охолодженого та нагрітого повітря для покращення ефективності охолодження приміщень.

Також застосовуються методи вільного охолодження (free cooling); повітряного за допомогою блоків CRAH (Computer Room Air Handler) та CRAC; прямого рідинного та імерсійного для охолодження суперкомп’ютерів або високонавантажених кластерів, призначених для виконання високопродуктивних обчислень HPC.   

Всі ці засоби та методи призвані забезпечити стабільність температури та вологості повітря у приміщеннях ЦОДу, котрі цілодобово повинні знаходитися у межах 18-27°C та 40-60% відповідно.  

Як захищений дата-центр

Безпека ЦОДу є одним з найголовніших напрямків, котрий першочергово враховується при його проектуванні, побудові та подальшому використанні. Його захист здійснюється одразу на кількох рівнях:

• Фізичний доступ;
• Захист даних;
• Пожежна безпека;
• Захист від перевантаження мережі;
• Цілодобовий моніторинг параметрів.

Фізичний доступ до ЦОДу обмежується за допомогою таких засобів, як автоматизовані двері з біометрією, засоби mantraps, цілодобове відеоспостереження, пропускний режим тощо.

Захист даних забезпечується на основі виконання вимог закону ЕС про конфіденційність та захист персональних даних GDPR (General Data Protection Regulation) та сертифікації ISO/IEC 27001. Це включає використання таких засобів, як firewalls, шифрування даних у спокої та транзиті, DDoS-захист та інші засоби захисту.

Пожежна безпека у приміщеннях дата-центру забезпечується на основі дотримання державних технічних норм, встановлених для приміщень із підвищеним рівнем безпеки та відповідних європейських стандартів. Для цього по периметру приміщень встановлюються датчики диму, зокрема, аспіраційні сповіщувачі надраннього виявлення диму VESDA або їх аналоги. При пожежогасінні застосовується газ Novec 1230 або його аналог.     

Захист від перевантаження мережі здійснюється шляхом моніторингу роботи усієї мережевої інфраструктури за допомогою NMS-систем із використанням таких технологій, як Zabbix або Prometheus. Це дозволяє в автоматичному режимі перерозподілити навантаження у точках екстремуму та підвищити рівень відмовостійкості усієї системи, що особливо важливо для безперервної роботи онлайн-сервісів.

Цілодобовий моніторинг параметрів, зазвичай, здійснюється за допомогою спеціалізованого ПО для моніторингу і управління фізичними ресурсами дата-центу – DCIM (Data Center Infrastructure Management). Це дозволяє відслідковувати параметри електроживлення, рівень навантаження на обладнання у реальному режимі часу, кліматичні параметри приміщень та деякі інші характеристики.

Де саме в дата-центрі знаходиться ваш сайт

Терміном «веб-сайт» позначається один з видів Інтернет-ресурсів, котрий має наступні складові:

• Домен;
• Набір системних файлів та файлів з програмним кодом;
• База даних.

Домен – це назва сайту і водночас його адреса в мережі Інтернет, наприклад, www.world.com або world.com. Він реєструється окремо від хостинг-майданчика у Реєстратора доменних імен і подовжується кожного року шляхом внесення визначеної грошової суми на рахунок того ж реєстратора. Реєстратора згодом можна змінити, виконавши трансфер вашого домену до іншого реєстратора.

Домен зберігається у вигляді спеціальних записів на DNS-серверах, розміщених у різних країнах світу. Для того, щоб прив’язати його до хостингу, слід вказати в особовому кабінеті Реєстратора доменних імен IP-адресу DNS-серверу, надану вашим хостинг-провайдером і почекати кілька годин, поки зміни будуть зареєстровані у системі.

Завжди можна отримати інформацію про власника домену та дані про компанію, котра його зареєструвала. Це можна зробити з локального комп’ютера, підключеного до мережі Інтернет, ввівши в терміналі команду: whois «назва домену», або скористатися онлайн-сервісом whois.net.  

Набір системних файлів та файлів з програмним кодом сайту створюються на етапі його розробки та згодом розміщуються на хостингу. Вони визначають його функціональні можливості та дизайн. Для сайтів, які потребують більшої продуктивності, гнучких налаштувань і виділених ресурсів, хорошим рішенням може стати оренда VPS/VDS сервера, що забезпечує більше контролю над серверним середовищем.

База даних – це місце постійного зберігання інформації, котра виводиться на сайті. Вміст БД за допомогою панелі керування сайтом можна змінювати на свій розсуд – поповнювати, редагувати, видаляти тощо. Вона також розміщується на хостингу у окремому місці.   

Можна представити взаємозв’язок всіх складових системи у вигляді наступної схемидомен → DNS → IP → сервер → файли → база даних

Що стосується місця розміщення сайту у дата-центрі, то тут знаходяться всі його файли та база даних. Файли з кодом – на накопичувачах, підключених безпосередньо до серверу для їх швидкого завантаження в RAM-пам’ять та виконання; база даних – у окремому сховищі на дисках RAID-масивів або іншому місці в залежності від технологій збереження даних, котрі застосовуються в дата-центрі. 

Що може вийти з ладу в дата-центрі

Будь-яка закрита фізична система – електронна, механічна чи будь-яка інша рано чи пізно дає збій. І тому важливо передбачити це та знати «слабкі місця», щоб уникнути тяжких наслідків та мінімізувати час відновлення системи після збою.

Наведемо найбільш ймовірні місця виникнення неполадок у роботі дата-центру:

• Канал зв'язку;
• Мережеве обладнання;
• Живлення;
• Один сервер;
• Сховище даних (Storage);
• Частина ЦОДу;
• Увесь майданчик.

Слід зазначити, що відмова одного компонента не обов'язково означає зупинку всього дата-центру.

Що означають Tier I, Tier II, Tier III та Tier IV

Американський національний інститут стандартів (ANSI) та Асоціація телекомунікаційної промисловості (TIA) двадцять років назад запровадили «Стандарт телекомунікаційної інфраструктури для ЦОД» під назвою ANSI/TIA-942, котрий визначає чотири можливих типи ЦОД із різними ступенями надійності та відмовостійкості: Tier 1, Tier 2, Tier 3 та Tier 4. І тому будь-який сучасний дата-центр відповідає одному з цих рівнів та має відповідні показники своєї роботи.   

Чи має значення країна, в якій знаходиться дата-центр

Для будь-якого ЦОДу має значення країна його розташування. Це визначає ряд чинників, важливих для показників його роботи та впливає на декотрі юридичні аспекти.

Наведемо ці чинники:  

• Латентність (Latency);
• Юрисдикція;
• Доступність;
• Резервування;
• Фізичні ризики.

Незважаючи на велику швидкість розповсюдження цифрових сигналів, ця швидкість не безкінечна та має конкретне межове значення в залежності від типу каналу розповсюдження сигналу. В цифрових системах латентність визначає затримку в часі між відправкою сигналу та отриманням зворотної реакції. І чим вона менша, тим краще. Для досягнення малих значень латентності передавач та приймач повідомлення повинні знаходитися якомога ближче один до одного. Саме тому при обранні дата-центру важливо враховувати фізичну відстань від ЦОДу до місцезнаходження ядра аудиторії вашого веб-сайту, котре може бути розраховано наперед засобами SEO-аналізу або визначено за результатами аналізу трафіку веб-ресурсу.

Надамо практичну рекомендацію що до отримання найменшого значення латентності. Якщо аудиторію вашого Інтернет-ресурсу складають лише мешканці України, тоді краще обрати дата-центр, котрий під’єднаний до точки обміну інтернет-трафіку типу UA-IX, а якщо це мешканці європейських країн, то дата-центр обов’язково повинен бути під’єднаний до точки DE-CIX. Це забезпечить найменший рівень затримки при передачі даних.

Кожна з країн світу має свої правові норми, котрі, зокрема, визначають авторські права, категорії дозволеного/забороненого контенту та інші кейси, стосовно використання цифрових даних. Саме тому важливо враховувати тип юрисдикції країни, в котрій буде розташований дата-центр.

Питання цілодобової доступності ваших даних є одним з найголовніших при обранні дата-центру. Деякі країни, як, наприклад, Китай можуть створювати певні штучні обмеження доступу до них для вас або ваших клієнтів. І тому важливо чітко знати, які можуть бути обмеження доступу в тій або іншій країні.  

Для забезпечення високого рівня надійності та відмовостійкості іноді доцільно розміщувати копії свого Інтернет-ресурсу одразу в кількох дата-центрах, розташованих на території різних країн. Одна копія сайту буде робочою, інші – резервні. Оновлювати резервні копії можна при умові використання в обох дата-центрах локальних мереж типу L3. Це буде недешево, але надійно.

Слід також враховувати фізичні ризики при розміщенні веб-ресурсу на тій або іншій території. Якщо країна знаходиться на першому рубежі виникнення будь-якої з природних катастроф або веде війну, то краще обрати дата-центр у іншій, більш «спокійній» країні. 

Як дізнатися, де знаходиться ваш сайт

З’ясувати фізичне місцезнаходження вашого Інтернет-ресурсу можна кількома шляхами. Перший з них – запитати про це вашого хостера.

Другий – ввести IP-адресу сайту у пошукову строчку одного з численних онлайн-сервісів відповідного спрямування.

Для швидкої перевірки скористайтеся безкоштовним інструментом місцезнаходження IP , який дає змогу визначити приблизне географічне розташування IP-адреси та дізнатися, до якої країни й міста вона прив’язана.

Третій – скористатися унікальним ідентифікатором маршрутизації автономних систем ASN (Autonomous System Number), котрий можна знайти за IP. Автономні системи – це набір IP-мереж та маршрутизаторів із єдиною політикою маршрутизації. Вони обмінюються між собою маршрутами за допомогою протоколу BGP. ASN дозволяє проаналізувати маршрути та провайдерів. Переглянувши префікси ASN та значення Upstream/Peers можна визначити фізичне місцезнаходження веб-сайту. 

FAQ

Чи може один сайт працювати одразу з двох дата-центрів?

Ні, його можна лише дублювати в різних ДЦ, і якщо один з них вийде з ладу, сайт буде працювати з іншого.

Чи пропаде сайт, якщо ДЦ вимкнуть від електрики?

Ні. У випадку виходу з ладу основного джерела електроживлення вмикаються резервні і ДЦ продовжує працювати. 

Чи зберігаються резервні копії в дата-центрі?

Так, зберігаються, якщо тільки сховища даних не були фізично зруйновані.

Що таке Tier III/Tier IV?

Це різні рівні ЦОДу відповідно до стандарту ANSI/TIA-942 – чим він вищий, тим вище рівень надійності.

Чим дата-центр відрізняється від хостингу?

Хостинг – це послуга з розміщення веб-ресурсу в мережі Інтернет, котра, в загальному випадку, може бути надана поза межами дата-центру. ДЦ – це об’єкт з потужною інфраструктурою для обробки та збереження даних, котрий, зокрема, може надавати свої потужності для розміщення сайтів хостинг-провайдерами.    

Чи має значення країна розміщення ДЦ?

Так, має значення в якій країні розташований ДЦ. Це визначає рівень затримки в передачі сигналу, впливає на правові наслідки порушення авторських прав та інші чинники.