大量データの集計について

清水と申します。
いつもお世話になっております。

現在、Aアプリ(約25万件)とBアプリ(約25万件)が存在し、
その両アプリから全データを取得し、集計をする必要があります。

その際に、両アプリからデータを取得するため、取得APIの使用回数が
とても多くなってしまい、とても現実的とは思えません。

何か、回避方法等がございましたら、ご教授頂けないでしょうか。

また、集計するに当たり、データを取得して集計してということを
クライアントで行うのは、難しいとも考えておりますが、
何か良い方法はありますでしょうか。

質問が複数にわたってしまい、大変申し訳ございませんが、
ご教授頂けると幸いです。

両アプリからデータを取得するため、取得APIの使用回数がとても多くなってしまい、とても現実的とは思えません。

レコード取得は1リクエストあたり最大100件なので、RestApiを使う以上避けれなそうですね。

集計するに当たり、データを取得して集計してということをクライアントで行うのは、難しいとも考えておりますが、何か良い方法はありますでしょうか。

Java、コマンドラインツールなどの外部プログラムから実行することで、ブラウザで実行するよりは扱いやすくはなるかと思います。

https://cybozudev.zendesk.com/hc/ja/categories/200182110

今回の場合はCSVで出力(標準機能)して、Excelで集計するのが手間が少くて済む気がします。

今後も考えると、集計アプリを1つ作成して、A・Bアプリの更新時に集計アプリに最新の集計情報を登録する仕組みにする事で、全集計をなくす事ができないでしょうか。

カキ氷様

ご返事頂き、ありがとうございます。

Java、コマンドラインツールなどの外部プログラムから実行することで、
ブラウザで実行するよりは扱いやすくはなるかと思います。

仰る通り、Javaやコマンドラインツールなどの外部プログラムにて
バッチ処理を行うと、幾分処理は軽くなると想像しております。

しかし、今回、パソコンとiPadを対象としてPGを作成しているため、
出来る限りはブラウザで対応したいと考えています。

今回の場合はCSVで出力(標準機能)して、
Excelで集計するのが手間が少くて済む気がします。

確かに上記の方法が一番手間が少なく済みそうです。
しかし、この仕様を納得して頂けるかが微妙です。。

今後も考えると、集計アプリを1つ作成して、
A・Bアプリの更新時に集計アプリに最新の集計情報を
登録する仕組みにする事で、全集計をなくす事ができないでしょうか。

現在はA・Bアプリとも約25万件を想定しておりますが、
今後どんどん増えていきます。
上記の仕組みも検討していきたいと思います。