Skebで障害の報告相次ぐ 「skeb、Herokuにブチ切れで草」
SNSでの反応をまとめました
エンプラのサポート、例えばAWSなら本番障害(ビジネスにクリティカルな影響あり)だと初動対応は15分以内と定められてるけどherokuは緩めな感じなのかな🤔
— ./NyaHo.vrc🍤 (@NyaHo_vrc) December 24, 2022
日本からのSkebへのアクセスが高速化されました。
以前は海外にサーバがあった関係で閲覧に0.3〜0.5秒かかりましたが、日本にサーバを移管した結果0.01〜0.2秒まで高速化されました！— Skeb (スケブ) (@skeb_jp) December 24, 2022
現在すべての設定が完了し、SSL証明書の反映を待っている状態です。
反映までは証明書エラーが表示される可能性がございます。
反映確認後、障害復旧をメールマガジン、記事、ツイートにてお知らせさせていただきます。— Skeb (スケブ) (@skeb_jp) December 23, 2022
現在障害によりメールマガジンの配信も叶わず、こちらの記事とTwitterのみでの告知となり申し訳ございません。
重ねてお詫び申し上げます。
(4/4)— Skeb (スケブ) (@skeb_jp) December 23, 2022
現在Skebのデータベースとデータを新しいシステムに移管しておりますが、データ容量が莫大であり、深夜までお時間をいただく可能性が出てまいりました。
本日12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。
申し訳ございません。— Skeb (スケブ) (@skeb_jp) December 23, 2022
skeb、Herokuにブチ切れで草 時系列見ると対応が迅速すぎて素晴らしい…
— 舟波 (@hakonatunakann) December 24, 2022
今回の障害はDDoS攻撃やハッキング等の第三者の攻撃が原因ではございませんのでご安心ください。
サーバの管理会社に対して日本代理店を通して不具合の原因を問い合わせておりましたが、日本代理店より管理会社より返信がない旨の連絡が昨晩ございました。
(1/2)— Skeb (スケブ) (@skeb_jp) December 23, 2022
メールマガジンの配信システムも障害で停止していたことから、納品期限延長の告知がTwitterと記事のみとなってしまい、大きく混乱を招く事態となってしまいました。
今後メールマガジンの配信は外部のサービスの利用も検討してまいります。— Skeb (スケブ) (@skeb_jp) December 24, 2022
日時: 12月23日12時22分〜12月24日7時00分 (JST)
ダウンタイム: 18時間38分
内容: https://t.co/njtGbsP5Lbにアクセスできない不具合
原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
5. Skebが利用不可能となる事例は、サービスリリース日である2018年11月30日に発生したアクセス過多による障害を除き、事実上今回が初めての大規模障害となりました。
クリスマスを目前に納品タイミングを調整されていたクリエイターの方々もいらっしゃいましたが、
(続く)— Skeb (スケブ) (@skeb_jp) December 24, 2022
12月23日12時22分より発生中の障害につきましてhttps://t.co/NAT6LPpi58
— Skeb (スケブ) (@skeb_jp) December 23, 2022
本日12月23日12時22分よりSkebに接続できない障害が発生しており、みなさまには大変ご迷惑をお掛けしております。
原因がSkebのサーバを設置している海外のクラウドサービスのスケブ社のアカウントに何らかの問題が発生していることまでは既に特定できております。
(1/4)— Skeb (スケブ) (@skeb_jp) December 23, 2022
データベースの展開が完了し、現在ルーティング・フロントエンドサーバの復元を行なっています。お待たせしている皆様、もうしばらくお待ちください！
— Skeb (スケブ) (@skeb_jp) December 23, 2022
現在サーバの準備が全て完了し、これからCDNのセットアップに入ります。全体の90%の工程は完了しました！
順調に行けばまもなくご利用いただけるようになります。— Skeb (スケブ) (@skeb_jp) December 23, 2022
Skebのアクロバティック障害対応すっげえ…Heroku…
— スギタシュウト (@__s_m0nkey) December 24, 2022
> 今回の障害で1,500万円相当の取引の機会損失が発生しました。しかしながら、12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。
— nanashi d('ω')b🕊️ (@tako774) December 24, 2022
> しかしながら、12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。
言っていけ— ユーン🍆💉💉💉🦠💉🦠 (@euxn23) December 24, 2022
判断も早いし対応も爆速。私だったらとりあえずHerokuに問い合わせてなんか反応あるまで放置しちゃうわ……
— 笑うヤカン (@l_kettle) December 24, 2022
Skebのページが閲覧できない状態が続きご迷惑をお掛けします。
もしリクエスト本文をご確認になりたい場合は、リクエスト受信時のメールに本文が記載されております。現在新サーバへの移管作業は順調に進んでおり、30TB以上の納品データと100GB以上のデータベースを新サーバへ展開中です。
— Skeb (スケブ) (@skeb_jp) December 23, 2022
>12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。
一事が万事
— ken (@diggy__k) December 24, 2022
この度はみなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。
本障害につきまして詳細を下記の記事にてご報告させていただきます。https://t.co/ju7fWsdXDu(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
まだSSL証明書が完全に反映されていないようでご迷惑をお掛けいたします。
今回のクラウドサービスの移管に併せ、今まで海外にあったSkebのサーバ群は日本国内に移動するため、日本からのアクセスが大幅に高速化します。
— Skeb (スケブ) (@skeb_jp) December 24, 2022
Heroku どうした、ってのと障害対応のスピード感がすごい。
実作業も意思決定も。— su-kun1899 (@su_kun_1899) December 24, 2022
"しかしながら、12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。"
Herokuさん今後どうするんだろう
— ぷーじ🍥 (@yug1224) December 24, 2022
その他
1. Herokuの制限によって海外に設置されていたSkebのサーバが、移管によって日本国内に設置されることになりました。日本国内からのアクセスが大幅に高速化されます。(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
少なくともHerokuのイメージは超絶悪くなるな
今後どういう対応するんだろ— まろみ💌 (@malo_yaka) December 24, 2022
担当部門に調査を依頼しておりますが、担当部門が海外かつ年末ということもあり、返信に時間を要することが予想されています。担当部門からの返信を待つ時間を考えた結果、この度Skebの全システムとサーバを別のクラウドサービスに移管することにいたしました。
(2/4)— Skeb (スケブ) (@skeb_jp) December 23, 2022
【復旧】12月23日、24日に発生しました障害に関するご報告https://t.co/ju7fWsdXDu
・12月26日07時00分まで環境によってはプライバシーに関する警告が表示される場合がございます。
・12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。— Skeb (スケブ) (@skeb_jp) December 24, 2022
"12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です" 今後 Heroku 使う企業が居なくなりそうなレベルでダメだな … 。
— V (@voluntas) December 24, 2022
解決: Herokuの一切の利用を中止し、すべてのサーバとシステムを別のクラウドサービスに移管したことで復旧。
お客さまへの対応: 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分まで延長。(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
3. 今回の障害を受けて、深夜残業および休日出勤による法定割増賃金に加え「障害対応手当」という社内制度を新設しました。
復旧に向けて夜間作業にあたっていたエンジニア4名に対し、1人あたり3万円のAmazonギフト券を夜間直ちに支給しました。(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
Herokuの対応はひどいな。対応というか、何も対応していないんだけども。
— うらがみ⛄ (@backpaper0) December 24, 2022
> 12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。
— み (@tominn) December 24, 2022
1日未満で別クラウドで立ち上げることができ、その後問題なく稼働させたSkebエンジニアは賞賛。
Herokuのエンタープライズ版の対応には疑問が…
とはいえ、1クラウドサービスが落ちることはあり得るので冗長化しておくことは必要。（たぶん今後やっていくことでしょう— おれたま (@AHA_oretama) December 24, 2022
障害対応記事読んだけど中々面白かった。開発者が任意のOS使用していることが迅速な復旧につながったとか。
ていうかHerokuって名前出しちゃうんだ！？と思ったけどHerokuが悪いけど原因不明のまま放置されてSkebが怒ってるんだな。— 神楽いづち＠スマホ対応 (@phagp) December 24, 2022
2. スケブ社ではエンジニアに対して開発環境の指定を行わず、各々がWindows、Mac、Ubuntuといった好みのOSで開発しています。
どのような環境でも開発ができるように、Skebのシステムをオフラインの仮想環境で動作するコンテナイメージ化していたことが今回の早期復旧につながりました。(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
お客さまの環境によってはプライバシーに関する警告が12月26日7時まで表示される場合がございます。
古いドメインの情報がキャッシュされていることが原因で、上記の時間までお待ちいただくか、Google Public DNS等のDNSサービスをお使いいただければ幸いです。https://t.co/CT6fbFbhIz(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
しかしこんな迅速な障害対応ができるのに何故 Heroku を使っていたんだろう
— hue (@vvirn) December 24, 2022
>12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。
いいぞ。もっと言え。
— 猫乃 政宗 (@Nekono_Masamune) December 24, 2022
現在Skebのデータベースとデータを新しいシステムに移管しておりますが、データ容量が莫大であり、深夜までお時間をいただく可能性が出てまいりました。
本日12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。
申し訳ございません。— Skeb (スケブ) (@skeb_jp) December 23, 2022
skeb社のheroku障害対応のやつ、記者会見みたいなエントリだった
— 🙂 (@ngsw) December 24, 2022
年末であることからその状況を事前に予測し、昨日の昼ごろより別のクラウドサービスへの移管作業を進めております。
全エンジニアが総動員で対応に当たっており、問題が発生しなければ本日午前中に完全復旧する見込みです。
この度はご迷惑をお掛けして申し訳ございません。
(2/2)— Skeb (スケブ) (@skeb_jp) December 23, 2022
Herokuの大元、Salesforceのインシデント対応に良いイメージがない
— John Bull (@kcirevam2) December 24, 2022
現在順調に移管作業が進行しており、早ければ本日中、遅くとも明日中に復旧できる見込みです。
現在発生している障害が本日12月23日18時まで継続した場合、本日納品期限のリクエストは納品期限を1日延長させていただきます。
(3/4)— Skeb (スケブ) (@skeb_jp) December 23, 2022
Herokuはエンプラ入っててもこんな対応なのか。
— ちゃむ (@charmstrawberry) December 24, 2022
"12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。"
の部分に静かな憤怒と諦観が滲み出ている
— 逆鱗 (@vopordna) December 24, 2022
スケブの対応の速さが凄いなというのとHeroku何やってんだというのと
— 1️⃣9️⃣ (@itikyu_) December 24, 2022
タイムラインに流れてきた Heroku 障害対応の風景がどうしても高速のパーキングエリアにひもづけられてしまうのはある種のトラウマだろうか
— Hiroshi Sakai (@ziguzagu) December 24, 2022
Skebの障害対応の記事読んだけど印象いいな herokuに静かにブチギレてるとことかも読み応えある
— いむはた (@wat_shun) December 24, 2022
現在Skebのデータベースとデータを新しいシステムに移管しておりますが、データ容量が莫大であり、深夜までお時間をいただく可能性が出てまいりました。
本日12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。
申し訳ございません。— Skeb (スケブ) (@skeb_jp) December 23, 2022
4. Skebでは月間約5億円の取引があり、今回の障害で1,500万円相当の取引の機会損失が発生しました。しかしながら12月24日現在もHerokuから応答はなく詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらずこのような対応は大変遺憾です。
(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
ただいまよりドメインの切り替え作業を開始するため、しばらくの間すべてのページがご覧いただけなくなります。ご了承ください。
— Skeb (スケブ) (@skeb_jp) December 23, 2022
12月23日12時よりhttps://t.co/njtGbsP5Lbにアクセスできない大規模な発生が障害しておりましたが、12月24日7時に復旧いたしました。
12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。
(続く)
— Skeb (スケブ) (@skeb_jp) December 24, 2022
