Pay-Ya NEWS.

2022年3月18日8:00

ルールが継続して改善され続ける
フィードバックループを構成

このようなカード不正利用に対して、ヤフーがどのような取り組みをしてきたのか。本題に入ってまいりたいと思います。

ヤフーではAIを活用した不正検知システムを使って不正対策をしておりますが、特徴的なポイントが3つあります。システムと人の両軸で行う判定フローであること、審査・分析・開発が三位一体の体制であること、そして、ルールと機械学習が融合した不正検知システムであることです。

不正検知の方法は、システムによる判定と、人による判定の両方を組み合わせた判定フローになっています。システムは独自開発によるもので、すべてのトランザクションがこれによって判定されます。判定は基本的にルールベースで行われ、ルールは専用のWebツールで管理しています。人による判定では、システムで判定しきれなかったものを、目視によってチェックしています。専門の審査チームにより、24時間365日体制で運用されています。

システムは外部ソリューションを使わずに独自で開発しました。独自開発のメリットは、まず、システム利用料がゼロだということです。外部ソリューションを使うと、月額使用料やトランザクションフィーが発生しますが、自社開発の場合は開発費のみで利用できます。また、仕様変更に柔軟に対応できることや、ヤフーの各サービスで蓄積されたデータが横断的に活用できるといったメリットがあります。

システム構成の概要を説明します。ルール管理者はWebツールを使ってルールを登録します。登録されたルールは、Cassandraのルールデータベースに蓄積されます。判定リクエストがきたら、判定APIがルールデータベースを参照し、判定結果を返します。ここで判定しきれないものは、審査チームにエスカレーションされ、審査チームが人の目により判定します。判定APIの判定結果のログや、審査チームの審査結果のログは、データウェアハウスに蓄積されます。蓄積されたデータをレポート化することで、ルール管理者がレポートを参照して分析して、またルールの改善に活かすことができます。このように、ルールが継続的に改善されるフィードバックループが構築されています。

判定に使うルールについて補足いたします。判定ルールは条件と閾値で構成されていて、複数の条件をAND、ORで組み合わせていきます。たとえば、決済金額が1万円以上で、商品名に「パソコン」という文字列が入る、といったルールを作ったりできます。

また不正検知システムを中心に、先ほどのフィードバックループを素早く回せる三位一体の組織体制が整っています。日々の決済トランザクションを見ている審査チーム。こちらでは日々の不正状況を把握しています。判定結果、審査結果を分析して具体的な不正対策を検討したり、ルールの改善を行う分析チーム。そして、不正検知システムの開発と、このあと説明させていただく機械学習モデルの作成などを行う開発チーム。これらはすべて社員で構成されており、密に連携をとることで、日々変化する不正状況に対応しています。

ルールベースと機械学習の融合によって
互いの弱みを補完しシステムを強化

ヤフーの不正検知システムは基本的にルールベースの判定システムだとお話ししてきました。しかしAIを活用しているので、これに加えて機械学習を採り入れています。どのように取り組んでいるのかをお話しする前に、ここでいったん、ルールと機械学習の違いについて触れたいと思います。

ルールベース判定の特徴は、判定理由が明確であること、即時修正が可能であること、細かい調整が可能であることがメリットとして挙げられます。たとえば、決済金額が1万円以上というルールを作っていても、不正状況を見ながら9,000円や1万1,000円に即座に修正することが可能です。ですが一方で、ルールを人手で作るため手間がかかるということと、不正状況に合わせて常にルールを更新し続けていくというメンテナンスの難しさがあります。

では機械学習はどうでしょうか。精度の高い判定を行えることや、モデルを自動的に作成して更新し、傾向の変化に対応していけるというメリットがあります。一方、デメリットもあります。ルールは即座に調整できますが、機械学習の場合はモデルの再学習が必要なため即座に修正・調整することができません。またディープラーニングのような複雑なモデルを使うと、モデルの説明性の担保が難しくなります。システム面でも、機械学習のパイプラインを組み込むことで、システムが複雑化してしまいます。

また、ルールと機械学習の両者を比較する上では、不正判定特有の課題を考慮する必要があります。1つ目の課題は、偽陽性判定（False Positive：誤検知）を極力抑えるということです。正常な取引を誤って不正と判定してしまうと、お客様に迷惑をかけてしまうので、こういったことは極力避ける必要があります。2つ目は、高い説明性が求められるということです。なぜ不正と判断したのか、どういう特徴のある取引を不正あるいは正常と判断しているのかを、把握しておく必要があります。3つ目は、すべての判定を機械学習モデル任せることは難しく、ビジネスのドメインルールに基づいたルールベースの判定が必要不可欠であるということです。たとえば、規約違反や、過去の不正の履歴の照合などが、こういったルールにあたります。

ここまで見てきたルールと機械学習の特性をチャートにしてみると、システム簡潔性、説明性、調整可能、即時性といったところではルールが要件を満たしていますが、精度や自動化の面では要件を満たせません。ところがこここそが機械学習が得意とするところですので、ルールベースの弱点を補うことができます。ルールベースの検知システムに、機械学習を適用することにいたしました。それがルールと機械学習の融合です。

既存のワークフローに影響を与えずに
機械学習を組み込んで検知精度を向上

では、ルールと機械学習をどのように融合したのか、ルールベースの不正検知システムに、どのように機械学習を適用したのか。その方法をご紹介します。

方法の1つ目は、機械学習モデルの判定スコアを、ルールの1条件として組み込むことです。まず過去の不正データをもとに機械学習モデルを作成し、決済トランザクションをスコアリングします。ルールのほうではこのスコアの閾値がいくつ以上だったらどうする、といったルールを作成し、判定します。この方法では、既存のルールベースの体系の中に、モデルの結果を扱うことができます。また、スコアの閾値を自由に調整できますし、スコアとほかの条件を組み合わせたルールも作成できます。これにより、即時性や調整可能といったルールベースのメリットを、機械学習モデルにも生かすことができます。

2つ目の機械学習の適用方法について説明します。それはルール自体を機械学習で自動生成するというものです。過去の不正データをもとに、決定木モデル（ディシジョンツリー）を使います。決定木モデルは機械学習の手法の1つです。決定木によって、正常決済の確率が高いノード、不正決済の確率が高いノードが検出されます。特に確率の高いノードも明らかになります。このルートをルールに採用します。各分岐条件は、ある値がいくつ以上だったら、という内容になっていますので、そのままルールに置き換えることが可能です。ルールに変換した上で、ルールデータベースに登録します。この方法の特徴は、アウトプットがそのままルールになり、自動でルールを作成・更新できることです。決定木というシンプルなアルゴリズムで、少ない計算リソースでモデリングが可能なことと、ツリー全体ではなく部分的に採用することで、高い適合率を実現しています。

ではもともとのルールベースのシステムに機械学習を組み込んだあとのシステム構成図を見ていきます。注目していただきたいのは、既存の判定フローのフィードバックサイクルには影響を与えず、機械学習モデルがルールベースに組み込まれているという点です。審査チームやルール管理者の運用は変わらないという点が、新たに機械学習を組み込む上で重要なポイントになります。

決済時以外にも、カード不正利用を防止する対策をしております。まず、Yahoo!JAPAN ID新規取得時の対策です。2020年7月から、ヤフーではYahoo!JAPAN IDの取得には携帯電話番号が必須となりました。以前はメールアドレスがあればIDが取得できましたので、不正者が大量にIDを取得することがありました。携帯電話番号を必須としたことで、大量のID取得は不可能になりました。

カード第三者利用のところでご説明したアカウント乗っ取りに対する対策も強化しています。最近は、メールやSNSなどで本文のリンクをクリックすると本物そっくりの偽サイトに誘導され、アカウント情報が盗み取られるフィッシング詐欺が多発していますが、こういった被害に遭わないためにも、ヤフーでは生体認証によるログインや、SMS認証によるログインなどパスワードを使わないログイン方法、また、ワンタイムパスワードによる二要素認証のログイン方法を推奨しています。また、乗っ取りによるログインを検知する機能も強化し、日々改善を重ねています。

加えて2020年2月からは定期的に、長い間利用されていないYahoo! JAPAN IDの利用停止措置を行っています。利用がなく放置されているIDは不正アクセスを受けても気づきにくく、不正者に悪用される危険性があるからです。

これからもより多くの人に「Yahoo!ショッピング」や「ヤフオク!」で安心してお買物を楽しんでいただけるよう、不正検知の向上に努めてまいります。

※本記事は、2022年2月10日開催の「ペイメントカード・セキュリティフォーラム2022」のヤフー株式会社の講演の採録に加筆・修正を加えたものとなる。

⇒⇒前に戻る

The post ヤフーのコマースサービスにおけるクレジットカード不正利用対策の取り組み（下） first appeared on ペイメントナビ.