イベントレポート：カジュアル座談会｢お酒で流そう!!システム運用のツラみ｣

先日の2/22(水)､こんなイベントを開催しました!!

題して

カジュアル座談会｢お酒で流そう!!システム運用のツラみ｣

システムは作っている時間より､運用している時間の方が圧倒的に長い割に､なぜか重要視してくれなかったり､365日気が休まる日がなかったりと報われないとこが多いのがシステム運用です｡

普段は吐き出すことのできないシステム運用のつらかった事など､座談会という形式で､吐き出してスッキリしてもらおうという企画なのです｡

２つのテーマで座談会!

ABEJAではIoTデバイスやAI解析アプリケーションを数千台分を常時運用しています｡

弊社がディープラーニングに着手した2012年は､世界でもあまり前例がない時代で､システム運用のノウハウはほぼ皆無でした｡

繰り返したトライ＆エラーのノウハウや｢こうすれば失敗を未然に防ぐことができる｣を皆さまに共有し､共に技術を一歩成長させるコミュニティを目指しています｡

今回､2つのテーマを設定し､参加者の皆さまには事前に｢ネタ｣を用意していただきました｡

【テーマ①】涙なくしては語れない失敗談/苦労話 

システム運用には涙はつきものです｡"ヒヤリ･ハット"という言葉があるくらい､些細なミスが大きな損害につながってしまうことも多々あります｡

例えば､これ｡エンジニアが見れば､鳥肌もののコマンドですね｡

鳥肌者の破壊コマンドLevel1

sudo rm -rf /

そして今回のイベントで上がったテーマ①の話題がこちらです｡

・アラートメールが来ないと思っていたら､アラートが多すぎてメールサーバが落ちているだけだった｡気が付いたときには顔面蒼白です

・本番と開発サーバでタイムゾーンの設定が違い､バッチが9時間ズレてしまった｡

・IPアドレスがバッティングしてしまい､機器への疎通ができなくなってしまった｡

・SSL証明書の期限が切れていた｡しかし､2日くらい気が付かず｡｡｡

・若手の頃､案件がRubyからJavaに移り､コーディングレベルではしっかりしていたものの､運用フェーズになるとFullGCを連発｡若手なので､ただただFullGCを知らなかっただけのミス｡

【テーマ②】同じ轍は踏ませない! システム運用で工夫してよかったこと 

ヒヤリハットも同じ思想から生まれたことばですが､テーマ①でも出たように｢知っておけば回避できた｣｢こんな失敗はつきものです｣と言った､身近な体験から未来の失敗をなくしていきたいという思いのもと､テーマを設定しました｡

テーマ②で上がった話題がこちらです｡

・人はミスする前提のもとに､インフラもデプロイもコード管理している｡デプロイ周りの事故は年間０件です｡

・開発者にインフラ設計を任せ､インフラ担当者は開発者からのヒアリングをもとに構築していく｡

・小規模開発でもログ設計を一番初めに行う｡

・運用で使うコマンドをDocker化してしまう｡

・本番とステージングでログインメッセージを出し分けて､ミスをなくした話

イベントを終えて

どれも”あるある"といえば”あるある"なのですが､｢知っていれば回避できるミスだった｣と参加者の皆さんが口をそろえて悔しがっていました｡

銀の弾丸はないものの､｢いかに人の手を介さないか｣｢共有することの大切さ｣がどれだけ必要であるかを理解したディスカッションだったと思います｡

▲今回ブレストした付箋です｡３分でかなりの量を書くことができました!

次回のイベント情報

ABEJAでは月に一度のペースで､最先端テクノロジーを題材にしたイベントを開催しております｡イベントの最新情報はこちらから確認ご確認ください!

https://abeja-innovation-meetup.connpass.com/

▼ABEJAではIoTデバイスを始めとした大規模システム解析基盤を構築する仲間を募集しています

Infra as CodeやDocker､DevOpsに興味がある方/新たに挑戦したい方､ぜひお気軽にお声掛けください!

https://www.wantedly.com/projects/87920

ABEJAの最新情報が知りたい方はWantedlyフォローをお願いします｡