- Сбой охлаждения AWS вынудил Coinbase перейти в режим «только отмена», что нарушило торговлю, балансы и доступ к аккаунтам.
- Coinbase постепенно восстановил услуги после переноса рабочих нагрузок с затронутых систем инфраструктуры AWS.
- Отказ увеличил давление после слабых результатов, что побудило пересмотреть архитектуру биржи и подход к обработке сбоев.
Coinbase приостановила часть своей торговой платформы 8 мая после сбоя в системе охлаждения центра обработки данных AWS, который нарушил критическую инфраструктуру биржи. По словам генерального директора Coinbase Брайана Армстронга, несколько чиллеров вышли из строя внутри объекта AWS, вызвав перегрев, который повлиял на доступ к торговле, отображение балансов и исполнение ордеров. Простой вынудил Coinbase пересмотреть, как её биржа справляется с сбоями инфраструктуры в условиях высокой волатильности рынка.
Сбой AWS нарушает торговые системы Coinbase
Согласно Брайану Армстронгу, большинство систем Coinbase справились с сбоем в зоне доступности AWS согласно проекту. Однако централизованная инфраструктура биржи не смогла поддерживать нормальную работу во время инцидента.
Coinbase перевела рынки в режим «Только отмена» на несколько часов. В этот период пользователи могли отменять ордера, но не могли открывать сделки.
Кроме того, клиенты сообщили о задержках обновления балансов и временных сбоях подключения. Сбой затронул биржу Coinbase, Prime, International и деривативы.
Армстронг сказал, что системы бирж используют архитектуры, ориентированные на низкую задержку и совместное размещение клиентов. Однако эти системы в настоящее время предполагают компромиссы при крупных сбоях инфраструктуры.
Он заявил, что Coinbase пересмотрит эти компромиссы после отключения. Он также отметил, что компания стремится сократить время простоя во время будущих миграций зон доступности.
Процесс восстановления внедряется поэтапно
В то же время ведущий инженер Coinbase Роб Витофф объяснил, как компания восстановила работу сервисов ночью. Согласно Витоффу, внутренние системы начали выходить из строя поздно 7 мая, что вызвало процедуры аварийного восстановления.
Coinbase затем переместил рабочие нагрузки с затронутой инфраструктуры AWS. После этого инженеры постепенно восстановили торговые системы, вместо того чтобы включать всё сразу.
Биржа сначала включила функцию только отмены, прежде чем перейти в режим аукциона. Позже Coinbase восстановила полную торговлю после завершения дополнительных проверок продукта.
Витофф подтвердил, что клиенты временно потеряли доступ к аккаунтам и функциям торговли. Он добавил, что задержки в внутренних системах обмена сообщениями также замедлили синхронизацию балансов.
Давление с прибылью усиливает опасения по поводу инфраструктуры
Заметно, что сбой произошёл вскоре после того, как Coinbase опубликовала более слабые, чем ожидалось, результаты за первый квартал. Компания также объявила о планах сократить штат на 14%.
Несмотря на эти изменения, Coinbase сообщила о доле рынка криптоторговли в 8,6% за квартал. Доход от розничных деривативов также превысил 200 миллионов долларов в год.
AWS позже подтвердила, что сбой был вызван ростом температуры внутри центра обработки данных в северной Вирджинии. Компания сообщила, что увеличила мощность охлаждения и перенаправила трафик в ходе восстановительных мероприятий.