- Збій у системі охолодження AWS змусив Coinbase перейти в режим тільки відміни, що призвело до переривання торгівлі, балансів та доступу до акаунтів.
- Coinbase поступово відновив послуги після перенесення завантаження зі збитих систем інфраструктури AWS.
- Відмова збільшила тиск після слабких фінансових результатів, що спричинило перегляд архітектури біржі та механізмів обробки відмов.
Coinbase призупинила частину своєї торгової платформи 8 травня після того, як відмова системи охолодження центру даних AWS порушила критичну інфраструктуру біржі. За словами генерального директора Coinbase Брайана Армстронга, кілька холодильних апаратів вийшли з ладу у центрі даних AWS, що призвело до перегріву, що вплинуло на доступ до торгівлі, відображення балансів та виконання замовлень. Цей вихід з ладу змусив Coinbase переоцінити, як її біржа поводиться з відмовами інфраструктури під час волатильних ринкових умов.
Відмова AWS порушила роботу торгівельних систем Coinbase
За словами Брайана Армстронга, більшість систем Coinbase впоралися з перебоєм у зоні доступності AWS так, як і було задумано. Однак інфраструктура централизованої біржі не змогла забезпечити нормальне функціонування під час інциденту.
Coinbase перевела ринки у режим «Тільки скасування» на кілька годин. Під час цього періоду користувачі могли скасовувати замовлення, але не могли відкривати угоди.
Додатково клієнти повідомили про затримки оновлення балансу та тимчасові перерви у з’єднанні. Перерва вплинула на біржу Coinbase, Prime, International та деривативи.
Армстронг сказав, що системи бірж використовують архітектури, спрямовані на низьку затримку та спільне розташування клієнтів. Однак ці системи зараз передбачають компроміси під час великих відмов інфраструктури.
Він зазначив, що Coinbase перегляне ці компроміси після відключення. Він також зазначив, що компанія бажає зменшити час простою під час майбутніх міграцій зон доступності.
Процес відновлення запущено етапами
Тим часом керівник інженерії Coinbase Роб Вітофф пояснив, як компанія відновила роботу протягом ночі. За словами Вітоффа, внутрішні системи почали відмовляти наприкінці 7 травня, що спричинило запуск аварійних процедур відновлення.
Coinbase перемістив завантаження від постраждалої інфраструктури AWS. Після цього інженери поступово відновили торгові системи, а не відкрили все одночасно.
Біржа спочатку увімкнула функцію лише скасування, перш ніж перейти в режим аукціону. Пізніше Coinbase відновила повну торгівлю після завершення додаткових перевірок продукту.
Вітофф підтвердив, що клієнти тимчасово втратили доступ до акаунтів та функцій торгівлі. Він додав, що сповільнені внутрішні системи повідомлень також уповільнили синхронізацію балансів.
Тиск з боку прибутків посилює занепокоєння щодо інфраструктури
Варто зазначити, що відмова від роботи відбулася всього через декілька хвилин після того, як Coinbase опублікувала слабкі, ніж очікувалося, фінансові результати за перший квартал. Компанія також оголосила про плани скоротити штат на 14%.
Незважаючи на ці розробки, Coinbase повідомила про частку ринку криптовалютних угод у 8,6% за квартал. Дохід від роздрібних деривативів також перевищив 200 мільйонів доларів щорічно.
AWS пізніше підтвердила, що перебої виникли через зростання температури всередині центру обробки даних у північній Вірджинії. Компанія повідомила, що під час відновлення збільшила потужність охолодження та перенаправила трафік.