これ、アクション元のJavaScriptに書こうとしているから大変なんだと思います。
- アクション先アプリのカスタマイズ JavaScriptで処理する
- アプリアクション経由で新規作成された場合を判定する
(URLを判定するのが良いと思います) - アプリアクション経由で新規作成された場合のみ他のレコードを検索してエラーにする
(新規作成のイベントはキャンセルできないから、強引に window.history.back() とかでもいいかも?)
そしてもっとシンプルな方法もありそうです。
- アクション先に重複不可のフィールドを定義する
- アクションで開かれた時に重複不可のフィールドにはキーとなる情報がコピーされるようにアクションを定義する
- 保存する時、kintone標準の機能でエラーになる