例えば500件のレコードが既に登録されていたとして、そこにAPIで外部から300件のデータを流し込みたいとします。
300件のデータのうち200件は既存レコードの更新で100件は追加分としたときの効率の良い追加または更新の処理の作り方を考えています。
300件のデータの中でどれが更新分でどれが追加分かが予め判別できていない場合は以下の流れで処理を作っています。
- 既に登録されているレコードを全て取得する
- 取得した500件とデータ300件を突合して更新分と追加分にデータを仕分けする
- 200件のデータを更新する
- 100件のデータを追加する
APIを使って一度にレコードの取得や更新などを行えるのは最大で100件までなので、このやり方をしてしまうと取得だけで5回、更新で2回、追加で1回で最低でも8回もリクエストしてしまいます。
1日に1アプリ1万回までしかAPIを扱えないので、少ないレコード数ならいいですが、大量のデータを扱う場合はすぐに制限に引っかかってしまうのと、処理事態も冗長的と感じているのでもっと効率のいいやり方があるのではないかと考えています。
しかしWebで検索してみましたが、いい情報を見つけることができませんでした。
皆さんがどのようにされているか、ぜひ教えていただけないでしょうか。