画像処理技術の改善によるレシート内データの効率的な取り込みと識別を実現

キャッシュバック提供アプリ『CASHb』の画像処理技術改善

『CASHb』アプリは、キャッシュビーが提供するレシート内の購買データを収集する日本初のキャッシュバックサービス。食品・日用品などの消費財メーカーに新たなダイレクトマーケティングの機会を創出。キャッシュビーのパートナー会社であるキャッシュビーデータは、ユーザーが送付したレシート画像から生活者購買データを取得・活用し、B2C企業にデータを活用する機会を提供しています。

モンスターラボは、レシート画像データを効率的に取り込み、有効データとして活用するための画像処理技術の改善を担当しました。

課題

AIやビッグデータなどのデジタル技術が進展していく社会情勢を鑑み、キャッシュビーデータは情報資産の価値が増すと推測。日本のビジネスにおけるデータ利活用を世界水準にし、新たな価値を持ったデータビジネスを創造することが重要だと考えました。

同社はGoogleのOCRを活用し、レシート画像から購買データを収集するというビジネスにいち早く着目。しかし、画像データは集まったものの、OCRで取得したテキストをビジネスで活用できるデータに加工するには、正確なデータ収集の仕組みが必要でした。

また、これまで画像から正しくデータを読み取れなかった情報処理は人の手で行われており、それに伴う作業時間とコストの削減も課題になっていました。

精度の高い画像処理技術の開発が急務となっており、外部パートナーにはAI画像認識の専門的な知識と高いアプリ開発の知見が求められていました。

ソリューション

モンスターラボは、はじめに既存の画像認識方法を分析しました。収集したデータを実際のレシートと照らし合わせると、集まったレシート画像の質にばらつきがあり、充分にテキストを読み取れないことが判明したため、画像処理技術を改善し、AIの画像認識精度を向上させることを提案しました。

開発面では、どんな画角の画像でも認識できるように、抽出技術をリサーチしては改善を繰り返しました。特に困難を極めたのは、1行ごとの文字認識でした。写真の画角によってレシートに記載された文字が1行として認識されないため、経験豊富なAIエンジニアをアサインし、文字情報の抽出方法をリサーチしました。

さらに、収集した文字データを意味解析し小売業界のマーケティングデータとして活用するために、自然言語処理のAIエンジン開発にも着手。これには、レシートに記載されている文字を抽出したのち、記載されていた商品名にもっとも近い商品名をJANコードに照らし合わせて商品を判別する方法を採用しました。

結果

画像処理技術の改善により、精度よく抽出・分析を行うことが可能になったことで、これまで人の手に頼っていた確認作業を大幅に削減でき、業務効率化に繋がりました。

また、自然言語処理によって収集した文字データの意味解析をすることで、データの付加価値を向上させ、マーケティングなどで活用できるデータを収集することにも成功しました。

現在はさらに多くのデータを収集し、精度を上げるための学習を行うフェーズへと移行しています。

■関連リンク

公式サイト➡︎キャッシュビーデータ株式会社

画像処理技術の改善によるレシート内データの効率的な取り込みと識別を実現

画像処理技術の改善によるレシート内データの効率的な取り込みと識別を実現

映像学習の先駆けとなったサービスに企画から参画し、オンライン学習の普及に貢献

美術館の公式アプリのUXを改善し、来場客の美術鑑賞体験を向上

店舗側から情報発信できる口コミアプリの追加機能

映像学習の先駆けとなったサービスに企画から参画し、オンライン学習の普及に貢献

美術館の公式アプリのUXを改善し、来場客の美術鑑賞体験を向上

店舗側から情報発信できる口コミアプリの追加機能

画像処理技術の改善によるレシート内データの効率的な取り込みと識別を実現

画像処理技術の改善によるレシート内データの効率的な取り込みと識別を実現

映像学習の先駆けとなったサービスに企画から参画し、 オンライン学習の普及に貢献

美術館の公式アプリのUXを改善し、来場客の美術鑑賞体験を向上

店舗側から情報発信できる口コミアプリの追加機能

映像学習の先駆けとなったサービスに企画から参画し、 オンライン学習の普及に貢献

美術館の公式アプリのUXを改善し、来場客の美術鑑賞体験を向上

店舗側から情報発信できる口コミアプリの追加機能

映像学習の先駆けとなったサービスに企画から参画し、オンライン学習の普及に貢献

映像学習の先駆けとなったサービスに企画から参画し、オンライン学習の普及に貢献