Pay-Ya NEWS.

2022年3月17日8:00

AIの判定に人の知見を加味して
特異なケースを見逃さず検知精度を向上

AIモデルを活用した運用事例をご紹介します。スコアが高い取引ほど不正の懸念が高く、件数は少なくなります。高スコア帯においては、不正検知システムで自動的に取引を拒否することを可能にしています。中スコア帯では、ルールの閾値を若干下げて、そこに従来から使ってきた担当者のルール条件を掛け合わせて、不正検知の精度を上げていきます。低スコア帯では、中スコア帯と同じように人手によるルール条件を掛け合わせて精度を上げる、あるいは、検知から除外して真正利用阻害を軽減し、効率化を図るという運用をしています。

担当者のルール条件の掛け合わせと言いましたが、具体的にはたとえば、スコアが400点以上であれば自動的に拒否、スコア100点以上であれば加盟店Aでは拒否、スコア50点以上であれば加盟店Aでかつ購入金額3万円以上の場合に拒否といった条件を付けるというイメージです。

次に、スコアモデルを実際に運用していく上で、われわれが重要だと感じているポイントについてお話しします。1つ目は、学習データとなる不正データの安定した提供です。判明した不正データは、遅滞なく連携することが肝要です。実務的には、懸念される取引を見つけた場合に、迅速に利用確認を行って、その結果をすぐに登録するということです。登録が遅れてしまったり、ため込んでしまったりということになると、安定した学習データの提供ができません。つまるところスコアリングが安定しないということになってしまいます。

2つ目は、誤検知割合の許容範囲を明確にするということです。不正検知にかかわるメンバーの間で、何パーセントまで誤検知を許容するのかの合意ができているということが、非常に大事だと思います。精度を100パーセントにすることは不可能です。1つ1つの判定に一喜一憂するのではなく、全体として許容する範囲内にきちんと収まっているかどうか、そのバランスをチェックするという意識を持って運用することが、持続的な運用のために重要だと考えています。

3つ目が、スコアモデル特性の理解です。2つ目ともリンクしますが、スコアリングが100パーセントの精度を上げるということが目的なのではなくて、大量の取引データの中から一定の割合で不正を捕捉することが目的です。言い換えれば、一定の範囲内にありさえすればいいと割り切ってしまうということです。ただし、人間の感覚として、阻害してほしくない特異なケース、明らかにおかしい異常なケースは、従来通り人の手によって補正したり補足したりする必要があると思っています。最初からそういう特異なものも含めて自動的に調整できればいいのですが、とがったところにも照準を合わせてしまうと全体のバランスが崩れてしまう可能性がありますので、特異なケースが現れたときに人が補正するというやり方のほうが今の時点ではうまくいくのではないかと思っています。

わかりやすいスコアの設定で運用が容易に
不正被害金額は約6割に減少

続きまして、導入の効果です。スコアの活用によって、定性的な効果としては、まず、検知条件の記述が簡単になりました。今まで、パターン化が困難、あるいは、見つかってもそれをどう記述すればいいかと頭を悩ませてきたものを、どの加盟店の、いくら以上といった簡易なルールで検証することが可能になりました。2つ目もこれと関連しますが、検知条件の設定がシンプルになったことで、スコアの閾値を上げ下げすることで容易に影響の度合いをコントロールすることが可能になりました。3つ目は検知条件のメンテナンスの負荷軽減です。ルールのスコアのモデル自体に、常に最新の不正データの学習が反映されるので、検知の精度を高く維持することができます。そのため、スコアと簡易的な条件を掛け合わせるといったざっくりした分析でも、一定レベルの精度が保たれるという利点があります。