GASでスクレイピングする方法！Parserライブラリを利用した手順を解説

2021年1月4日2023年1月8日

Google Apps Script(GAS)はサーバーレス環境で、Webページのスクレイピングするのに便利です。

そこで、GASのParserライブラリを使ったスクレイピング方法について解説します。

1. GASはスクレイピングに便利な環境
2. GASによるスクレイピング手順
3. ライブラリにはParserとparserの2種類
4. GASでスクレイピングは1回で抽出できないケースも
5. Javascriptの動的なWebページは抽出ができない
6. Javascriptで書かれたWebページをスクレイピングする方法
7. まとめ・終わりに

GASはスクレイピングに便利な環境

Google Apps Script(GAS) はWebページの情報をスクレイピングするのにとても便利です。

GASはサーバーレス環境なので、スクレイピングするために必要となるインフラ構築が必要ありません。

GASのスクリプトエディタ上でトリガー実行によるスケジュール登録もできます。

1日1回に実行
2時間ごとに実行
毎週○曜日に実行

といった形式で端末をオフの状態でもスクレイピングが実行可能です。

さらにGASは無料で利用できるので、スクレイピング環境がタダで構築できます。

スクレイピングでよく用いられるpythonなどは環境構築が手間だったり、実行環境を整えるのに費用がかかることも多いです。

そうした点からGASはスクレイピング環境の構築しやすさと費用がかからないという点で大きなメリットがあります。

GASによるスクレイピング手順

Google Apps Script(GAS)でWebサイトをスクレイピングする方法について解説します。

GASでスクレイピングを行う手順として以下の3つを行います。

Parserライブラリ追加
スクレイピングのサンプルコード
トリガー実行でスケジュール登録

①Parserライブラリを追加

GASでは標準機能のメソッドだけでもスクレイピング可能ですが、HTMLデータから抽出するのが面倒です。

そこでライブラリを利用してスクレイピングを行うのがGASでは一般的です。

GASでスクレイピングするライブラリとして、「Parser」を追加します。

１．GASスクリプトエディタのエディタ画面で、ライブラリの＋マークをクリックします。

２．ライブラリの追加で、スクリプトID入力欄に「1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw」を入力し、検索をクリックします。

GASのライブラリ追加画面で、ParserのスクリプトIDを入力し検索ボタンをクリックする

３．Parserライブラリがヒットするので、バージョンを最新のもの(現時点では8)を選択し、追加ボタンをクリックします。

Parserライブラリのバージョンを選択した上で、追加ボタンをクリックして、ライブラリ追加を行う

以上で、ParserライブラリのGASプロジェクトへの導入が可能です。

②スクレイピングのサンプルコード

Parserライブラリの追加したことで、スクレイピングに便利なメソッドが利用できるようになりました。

GASのParserライブラリによるスクレイピングのサンプルコードを紹介します。

今回のサンプルコードではLivedoorニュースにある主要ニュース11本の見出しを取得してみます。

Google Apps Script(GAS)でParserライブラリを使用したスクレイピングのサンプルコード

function myFunction() {
  //スクレイピングしたいWebページのURLを変数で定義する
  let url = "https://news.livedoor.com/";
  //URLに対しフェッチを行ってHTMLデータを取得する
  let html = UrlFetchApp.fetch(url).getContentText("EUC-JP");
  //Parserライブラリを使用して条件を満たしたHTML要素を抽出する
  let newsList = Parser.data(html)
    .from("トップ/主要/トピックス/詳細']);\">")
    .to("</a>")
    .iterate();
  //ログ出力でスクレイピング結果を表示する
  console.log(newsList);
}

まずGAS標準クラスのUrlFetchAppのfetchメソッドを利用してWebページのHTMLデータを取得します。

取得時にgetContentTextでテキストデータ化しますが、HTMLデータの文字コードを引数に指定します。

そしてParserライブラリで利用できるようになった、Parser.dataメソッドで抽出したい条件に従ってHTML要素を取り出します。

fromとtoで指定した要素に挟まれたデータを取得しますが、要素が1個の場合はbulid()、要素が複数個ある場合はiterate()を使います。