より高品質なシステム運用に向けた体制の裏側

sonar ATSは近年多くのお客様にご利用いただくようになりました。しかしながら利用者が多いほど、システムとしては不安定になりやすく、安定性を維持するための取り組みが重要となります。そうしたなかsonar ATSでは品質向上のための専門チームを2021年に設立。開発メンバーの20％にあたる7名のスタッフが、お客様から寄せられるお問い合わせに迅速かつ的確に対応できるよう努めています。今回はCREチームマネージャーの越川と、エンジニアから寄せられる技術課題に答える技術研究チームの森本の2人が、sonar ATSがお客様からの信頼性確保に向けて注力する背景について語ります。
※CRE：「Customer Reliability Engineering」の略で、日本語では「顧客信頼性エンジニアリング」

ー品質向上に向けた取り組みに注力しはじめた背景を教えてください。

越川おかげさまでsonar ATSのご利用は急拡大しており、日本を代表する大手企業のお客様にも多くご利用いただけるようになりました。しかし、サービスの急拡大を受け、これまでのシステム開発や運用では限界に近づきつつありました。多くのお客様に採用のインフラとしてご利用いただいている以上、不具合の未然の防止、発生してしまった場合のスピーディな対策は必要不可欠です。そこで不具合の発生リスクが高まることに先んじて、2020年ごろから品質を担保できるよう、取り組みを強化し、体制を刷新しています。

ー品質を高める活動としてどのようなことに取り組んでいますか。

越川まず、品質担保にあたる専門のチームとして「CREチーム」を2021年に設立しました。「CRE」は「Customer Reliability Engineering」の略で、日本語では「顧客信頼性エンジニアリング」と訳されます。お客様から寄せられる不安や要望を、技術的な立場から解消することで、お客様からの信頼性を保つことを目指す取り組みです。2016年にGoogleが提唱した比較的新しい概念で、日本企業でも近年浸透してきています。

CREチームでは、お客様からお問い合わせいただいた内容に対して、原因を調査し、その結果を迅速に報告。さらに必要に応じてシステムの改修にも取り組みます。CREチームには、開発メンバー全体の約20％にあたる7名（エンジニア5名、ディレクター2名）があてられています。

CREとしての品質担保のために、対応のスピードと件数をKPIに設定し、対応するようにしています。お問い合わせ対応は、問い合わせ内容の再現確認や技術的な原因調査、影響範囲の特定などの工数がかかるため、どうしてもある程度の時間を要してしまいます。以前はお問い合わせからご返答までに1週間ほど費やしていました。これを現在では平均2.2日で回答できるようになり、従来の1/3にまで短縮し、スピードアップを実現しました。

お問い合わせ対応の運用方法から変更することで、品質向上や工数削減にも取り組んでいます。頻繁にお問い合わせのある内容は、一時的な対応策をFAQとして整理しつつ、再発防止のために別途根本的な改修を行うようにしています。また、調査結果も適宜記録してタグ付けを行い、類似のお問い合わせがあったときに、他のメンバーでもすぐに内容を把握できるようにしました。

さらにチームメンバーで情報を共有する会議を毎日実施。その日あったお問い合わせの内容をケーススタディとして扱い、調査結果や調査方法、改善策や潜在的な課題まで洗い出すようにしています。一見すると非効率に見える取り組みですが、チーム全体として知見を高めることで、より迅速かつ的確に対応できる運用体制を整えています。

ーどのように体制を整えていったのでしょうか。

越川CREチームが設立されてまず取り組んだのが、お問い合わせ対応の改善でした。それに加えて過去に発生したインシデントの分析にも取り組みました。sonar ATSは採用のインフラを謳っている以上、インシデントを減らすことは喫緊の課題でした。これまでテックリードを中心とする少数熟練のエンジニアで行ってきた品質改善の取り組みを、開発エンジニア全体で取り組むものとして位置付ける必要があったのです。

そこで、サービスレベル目標（SLO）を設定し、お客様に対して満たすべき品質水準（SLA）を遵守できるよう、仕組みづくりに取り組みました。SLOにはMTBF（平均故障間隔）とMTTR（平均修復時間）の2つの指標を採用しました。

MTBF（平均故障間隔）は、一般的に工業分野で用いられる指標で、故障が発生するまでの平均時間を指します。この間隔が長いほど故障が少ないことになるので、より品質を保てているといえます。MTBFをシステムで利用することは一般的ではありませんが、sonar ATSでは平均で1ヶ月に1回未満となるよう設定しました。

一方MTTRは、インシデントが発生してからシステムの復旧までにかかる時間です。これがより短時間になるほど品質が保てているといえます。sonar ATSでは、お客様への影響を最小限に抑えるための目標時間を12時間と設定しました。

一般的にはサーバーやネットワーク、ストレージといった領域ごとの稼働率などを細かく設定するケースが多いですが、細かな技術的な指標を設定するとそれだけで時間がかかってしまいます。チーム発足後に、素早くお客様に価値を実感していただけるように、まずは「故障を減らす」、「早急に復旧する」というシンプルな目標を設定することで、開発エンジニア全体でスピーディーに信頼性向上に向けて取り組んだのです。

ー体制が整うまではどういった状況だったのでしょうか。

森本不具合を未然に防ぐ取り組みは十分とはいえませんでした。sonar ATSは機能数が多く、動作確認には自動テストを採用しています。ところがバグやシステムダウンがなかなか抑えきれない状況で、限界が近づいていました。自動テストとはいえ、テストの準備やメンテナンスには工数がかかってしまいます。開発のスピードを落とせないなか、従来の運用体制では十分な対応ができていなかったのです。

そこで、テスト運用の体制改善に着手をしています。まずノーコードでテストを作成できるサービスを2022年に導入し、コストを削減しながらテストを実施し活用できるようになりました。今後も不具合を未然に防ぐ取り組みを積極的に行い、体制を強化していく予定です。

越川お問い合わせ対応については、以前は件数が少なかったことに加え、新機能の追加を優先させる段階だったので、基本的に私が1人で対応し、緊急度の高い内容に限定して対応して取り組んでいました。、対応するスタッフがシステムへの理解度が高くないと、余計なコストもかかってしまいます。調査には長年システムに携わることで得られる経験やノウハウが必要なため、最古参である私自身が対応することが最適だったのです。

ですが、いまではCREチームが組成されて、チームのメンバーがしっかり対応してくれるようになったので、対応できるお問い合わせも増えましたし、積極的な品質改善に向けてできることが広がりました。

ー信頼性にこだわる文化はどのように醸成されたのでしょうか。

森本これは私の個人的な考えですが、自分がシステムに携わる以上、自分が納得のいくシステムにしたい、というのが技術者としての心情だと思います。しかし、現状ではまだ使いにくい箇所もあり、技術者として満足していいレベルではないと感じています。

私は、新卒でインフォデックスに入社しましたが、採用活動のときには利用者としてsonar ATSを使っていました。ですが正直なところ使いにくさを感じていたのです。一方で、sonar ATSは採用フローを組んでステップで自動化ができるため、自由度が高い分、システムとして技術的な面白さも感じています。

執行役員の佐藤がいうように「シェアNo.1」を目指せるポテンシャルはあると思います。ですが、現状はまだまだそのレベルには到達していないので、まずは自分自身が納得できるレベルのシステムにまで改善していきたいのです。

システムを提供している以上、お客様に長くご利用いただけるように努めることが重要です。利用するシステムで不満が解消されたり、要望が採用されたりすると、そのシステムに対して好意的に感じてもらえます。システムがどんどん改善され使い勝手が良くなるという体験を、お客様に提供したい。そういったものが「良いシステム」なのだと思います。

越川お問い合わせをして、すぐに返答がもらえる。あるいは機能が改善する。そういった体験を通して、お客様にはよりsonar ATSのファンになっていただきたいのです。レスポンスを早くし、数多くのお問い合わせに応え、信頼性への基盤を整えることで、お客様に貢献したい。そうした姿勢はビジネス的にも欠かせません。こうした取り組みに挑むことこそが、技術者がシステムメーカーで働く上での醍醐味だと思います。日本を代表する大手企業をはじめ、多くのお客様にご利用いただけるようになった今、「信頼性の確保は重要な要素だ」と経営陣からもよく言われます。これからもお客様からの期待に応えるためにも、よりその取り組みを強化していきたいと思います。