GASのUrlfetchAppのHTTPリクエストの制限事項(URL長やリクエスト数の上限)

2022年2月13日

Google Apps Script(GAS)でウェブスクレイピングする際にはUrlfetchApp.fetchメソッドを利用します。

このHTTPリクエストには、リクエスト回数やURL長に制限事項があるので紹介します。

GASのスクレイピングにUrlfetchApp

Google Apps Script(GAS)では、ウェブページのスクレイピングやAPI通信がよく利用されます。

GASによるスクレイピングやAPIリクエストには、UrlFetchAppクラスを使用します。

UrlFetchAppクラスにはfetchメソッドが用意されていて、URLにフェッチするリクエストが実行可能です。

GASはサーバーレスのスクリプトサービスで、トリガーによる日次・週次・月次といったスケジュール登録ができます。

そのため、UrlFetchApp.fetchを活用したスクレイピングやAPI通信を行うGASスクリプトは色々なシーンで活用されています。

とても便利なGoogle Apps Script(GAS)のUrlFetchApp.fetchですが、制限事項も設けられています。

下記はGoogle公式のリファレンスで、GASの制限事項をまとめたページです。

GASの実行ユーザーには、無料のGoogleアカウントのユーザーと、有償版のGoogle Workspaceのユーザーの2種類があります。

UrlFetchApp.fetchを使った、URLへのリクエスト実行回数は、赤枠のように上限が設けられています。

そのため、通常のGoogleアカウントでは、GASのURLフェッチは1日に2万回以上は実行できません。

なお、Google Apps Script(GAS)のUrlFetchApp.fetchには実行回数以外にも、制限事項があります。

UrlFetchApp.fetchのHTTP/GETによる翻訳を行うAPIリクエストを実行した際に、以下のエラーが実行ログに出力されました。

エラー　Exception: Limit Exceeded: URLFetch URL Length.

このエラーはHTTP/GETのリクエストでURL長の上限を超えた場合にエラーが表示されます。

GASのUrlFetchApp.fetchのURL長が2KBよりも大きい長さだとエラーで実行不可能になります。

UrlFetchApp.fetchの引数に指定したURL長の上限超過は、通常のウェブサイトのスクレイピングではまず発生しません。

しかし、APIのリクエストを行う際、パラメータに大きな値を付与するとURL長が2KBを超えることがあります。

URL長以外にも、Google Apps Script(GAS)におけるHTTPリクエスト(UrlFetchApp.fetch)には制限事項があります。

HTTP通信におけるレスポンス結果のサイズや、ヘッダーの個数、HTTP/POSTの通信サイズなどの制限があります。

GASのHTTPリクエスト関連の制限事項は、URLフェッチの実行回数も含めると、以下の表の6種類です。