GASでGmailの売上情報をスクレイピング１－農家のGAS(3)

2022年12月2日

前回までに、どのようにしてGmailの売上情報をスクレイピングするかの方向性は決まりました。

今回は実際にプログラミングしていきます。

なお、「GASの始め方」みたいな部分は、インターネットにいくらでも情報があるので、省略です。

GmailをGASでスクレイピング。実例

まず、届くメールはこんな感じです。
（本来のメールを、ブログ用に修正してますが）

これから必要な情報をスクレイピングする為に、以下のようにプログラミングしました。



function myFunction() {
  // 検索条件に該当するスレッド一覧を取得
  var threads = GmailApp.search('subject:ストア売上情報 -時 -label:処理済み');
  // 12時・17時・22時の売上情報メールと、処理済みラベル付きは除外

  // ↓スレッドを一つずつ取り出す
  threads.forEach(function(thread) { //※1
    // ↓スレッド内のメール一覧を取得
    var messages = thread.getMessages();
    // ↓メールを一つずつ取り出す
    messages.forEach(function(message) { //※2
      var body = message.getPlainBody(); // メール本文を取得
      var sub = message.getSubject(); // 件名を取得
      var sub = sub.toString().replace("ストア売上情報",""); //件名から日付だけを残す
      // ↓書き込むシートを取得
      var sheet = SpreadsheetApp.getActive().getSheetByName('在庫管理');
      // ↓確認の為、メール本文のみ表示
      console.log(body)

      // ↓売上メール上での記載順は、売れた順番関係なしに"店舗Ａ"・"店舗Ｂ"・"店舗Ｃ"・"店舗Ｄ"の為、配列もその順番
      var tenpomei = ["店舗Ａ", "店舗Ｂ", "店舗Ｃ", "店舗Ｄ"]
      var tenpo = {}; //tenpomei配列の各店舗が、メール本文の何文字目か。存在しない場合は-1
      var zentenposuu = tenpomei.length; //店舗名配列内に、何店舗入っているかの数
      var tenposuu=0; //今回メール内に、何店舗入っているかの数
      var kakuuriage = {}; //各店舗の売上情報
      //↓ ここから各店舗売上情報文書内
      var yasaimei = ["野菜１", "野菜２","野菜３", "その他"]; 
      var yasai = {}; //yasaimei配列の各野菜が、売上情報の何文字目か。存在しない場合は-1（その他は例外）
      var zenyasaisuu = yasaimei.length; //野菜名配列内に、いくつの野菜が入っているかの数
      var yasaisuu=0; //今回売上情報内に、何個の野菜名が入っているかの数
      var kakuyasai = {}; //各野菜の情報
      var kingakuiti = {}; //kakuyasai配列内で、"金額"が何文字目か。
      var suuryou = {}; //kakuyasai配列内で、実際の数量
      var kingaku = {}; //kakuyasai配列内で、実際の金額
      var syouhin = 0;
      var uriage = {}; //売上情報を最後にまとめた配列

      //店舗の数だけ処理を行う
      for(let i=0; i<zentenposuu; i++){ //※3
        tenpo[i] = body.indexOf(tenpomei[i]); //tenpomei配列の各店舗が、メール本文の何文字目か。存在しない場合は-1
        if(tenpo[i] !== -1){
          tenposuu = tenposuu+1} //今回メール内に、何店舗の売上情報があるかカウントアップ
      } //※3

      for(let i=zentenposuu-1; i>=0; i--){ //*4 //※3forで、全店舗の存在の有無を確認した後に処理。
        if(tenpo[i] !== -1){
          kakuuriage[i] = body.slice(tenpo[i]) //抽出した本文から、店舗ごとの売上情報を抽出する
          body = body.substring(0,tenpo[i]) //本文から抽出した分を文末から順番に削除する。これをやる為に、この※4forはカウントダウンで行っている
        }
      } //*4
      //↑問題点として、売上メール上の記載順が毎回固定ではないorわからないと、正常に作動しない

      //↓配列内の野菜の数だけ処理を行う
      for(let j=zentenposuu-1; j>=0; j--){ //*c　jが、野菜名配列内に、いくつの野菜が入っているかの数。総数の最後から、順番に減らしていく
        yasaisuu = 0 //一周処理が終わったので、次のカウントをするために、0にリセット
        for(let i=0; i<zenyasaisuu; i++){ //*a 全野菜数だけ繰り返す
          if(tenpo[j] !== -1){ //*d //店舗◯に売上情報があるなら
            yasai[i] = kakuuriage[j].indexOf(yasaimei[i]); //今回売上情報内に、"野菜◯"が入っているかどうか
            if(yasai[i] !== -1){ //野菜◯が入っているなら
              yasaisuu = yasaisuu+1 //今回売上情報内に入っている野菜数をカウントアップ
            }
          } //*d
        } //*a
        for(let t=yasaisuu-1; t>=0; t--){ //*yc　今回売上情報内に入っている野菜数のカウントが終わったので、総数の最後から減らしていく
          syouhin = kakuuriage[j].lastIndexOf("商品") //"商品"がkakuuriage[j]内の後ろから数えて何文字目を返す
          kakuyasai[t] = kakuuriage[j].substring(syouhin,999) //kakuyasai[t]に、"商品"より後ろの文字を抽出して代入
          kakuuriage[j] = kakuuriage[j].substring(0,syouhin) //kakuuriage[j]から、代入した分の文字を削除（"商品"より前の文字を代入）
        } //*yc

        for(let i=0; i<zenyasaisuu; i++){ //*ya　全野菜数分繰り返す
          if(yasai[i] !== -1){ //*yb　各野菜◯が存在するなら
            for(let t=0; t<yasaisuu; t++){ //*ye　存在する野菜◯の数だけ繰り返す
              if(kakuyasai[t].indexOf(yasaimei[i]) !== -1){ //*yd　野菜◯の◯に入る数字がわからないので、配列の最初から順番に確認する。
                kingakuiti[t] = kakuyasai[t].lastIndexOf("金額") //金額の文字が、後ろから数えて何文字目か抽出
                kingaku[t] = kakuyasai[t].substring(kingakuiti[t],999) //"金額"より後ろの文字を抽出して代入
                kakuyasai[t] = kakuyasai[t].substring(0,kingakuiti[t]) //代入した分の文字を削除（"金額"より前の文字を代入）
                kingaku[t] = kingaku[t].replace(/[^0-9]/gi, ''); //kingaku[t]の中から、半角数字のみ抽出する（金額が何桁かわからないので）
                suuryou[t] = kakuyasai[t].replace(/[^0-9]/gi, ''); //kakuyasai[t]の中から、半角数字のみ抽出する（数量が何桁かわからないので）
                console.log(tenpomei[j]+":"+yasaimei[i]+"|　数量:"+suuryou[t]+"　金額:"+kingaku[t])
                var uriage = [sub,tenpomei[j],yasaimei[i],kingaku[t],suuryou[t]] //売上情報を配列に代入
                var lastRow = sheet.getLastRow() + 1; //スプレッドシートの最終行を取得
                sheet.appendRow(uriage); //最終行に売上情報を転記
              } //*yd
            } //*ye
          } //*yb
        } //*ya
      } //*c
    }); //※2
    thread.markRead(); //スレッドを既読にする
    // スレッドに処理済みラベルを付ける
    var label = GmailApp.getUserLabelByName('処理済み');
    thread.addLabel(label);
    }); //※1
  }

これを動かすと、スプレッドシートに売上情報が整理されて書き込まれます。

なお、ここまでたどり着くのに、一週間以上かかりました。

途中の失敗作は数知れず(笑)

さて、長くなりますが少しずつ解説していきます。

１．該当するメールを探しだし、本文と件名をそれぞれ抽出する



function myFunction() {
  // 検索条件に該当するスレッド一覧を取得
  var threads = GmailApp.search('subject:ストア売上情報 -時 -label:処理済み');
  // 12時・17時・22時の売上情報メールと、処理済みラベル付きは除外

  // ↓スレッドを一つずつ取り出す
  threads.forEach(function(thread) { //※1
    // ↓スレッド内のメール一覧を取得
    var messages = thread.getMessages();
    // ↓メールを一つずつ取り出す
    messages.forEach(function(message) { //※2
      var body = message.getPlainBody(); // メール本文を取得
      var sub = message.getSubject(); // 件名を取得
      var sub = sub.toString().replace("ストア売上情報",""); //件名から日付だけを残す
      // ↓書き込むシートを取得
      var sheet = SpreadsheetApp.getActive().getSheetByName('在庫管理');
      // ↓確認の為、メール本文のみ表示
      console.log(body)

03.
Gmail全体から、該当するタイトル(subject)が含まれるスレッドを取得する。
「-時」は、12時・17時・22時に中間報告のメールが届くが、それを除外する為。
「-label:処理済み」は、後述するが処理の終わったメールを複数回処理しない為。

06～11.
Gmailの仕様で、届くメールは全てスレッド扱いとなる。
そこで、スレッドから１通ずつ取り出す作業が必要。

12～19.
取り出したメール文章の中から、body:本文　sub:件名　をそれぞれ取得
また、件名から日付だけを取り出している。

18.
作業する際の確認用で本文をconsoleで表示している。最終的には無くても良い。

２．色々な変数を宣言する



      // ↓売上メール上での記載順は、売れた順番関係なしに"店舗Ａ"・"店舗Ｂ"・"店舗Ｃ"・"店舗Ｄ"の為、配列もその順番
      var tenpomei = ["店舗Ａ", "店舗Ｂ", "店舗Ｃ", "店舗Ｄ"]
      var tenpo = {}; //tenpomei配列の各店舗が、メール本文の何文字目か。存在しない場合は-1
      var zentenposuu = tenpomei.length; //店舗名配列内に、何店舗入っているかの数
      var tenposuu=0; //今回メール内に、何店舗入っているかの数
      var kakuuriage = {}; //各店舗の売上情報
      //↓ ここから各店舗売上情報文書内
      var yasaimei = ["野菜１", "野菜２","野菜３", "その他"]; 
      var yasai = {}; //yasaimei配列の各野菜が、売上情報の何文字目か。存在しない場合は-1（その他は例外）
      var zenyasaisuu = yasaimei.length; //野菜名配列内に、いくつの野菜が入っているかの数
      var yasaisuu=0; //今回売上情報内に、何個の野菜名が入っているかの数
      var kakuyasai = {}; //各野菜の情報
      var kingakuiti = {}; //kakuyasai配列内で、"金額"が何文字目か。
      var suuryou = {}; //kakuyasai配列内で、実際の数量
      var kingaku = {}; //kakuyasai配列内で、実際の金額
      var syouhin = 0;
      var uriage = {}; //売上情報を最後にまとめた配列

21.
出荷した店舗は合計４店舗。
売上情報メールでは、商品が売れた順番は関係無しに、「店舗Ａ」「店舗Ｂ」「店舗Ｃ」「店舗Ｄ」の順番で必ず記載される。それを利用するため、配列tenpomeiではその順番で宣言している。

22～25,28～36.
プログラム内のコメント通り。変数名は、なるべくわかりやすさを重視している。上級者はこんな事しないのかな？

27.
登録している野菜番号。１～４まであるが、普段３までしか使用していないので、解説では３まで。また、この番号を付け忘れて販売すると、「その他」として分類されてメールが届く。

３．売上情報を各店舗ごとに分割する



      //店舗の数だけ処理を行う
      for(let i=0; i<zentenposuu; i++){ //※3
        tenpo[i] = body.indexOf(tenpomei[i]); //tenpomei配列の各店舗が、メール本文の何文字目か。存在しない場合は-1
        if(tenpo[i] !== -1){
          tenposuu = tenposuu+1} //今回メール内に、何店舗の売上情報があるかカウントアップ
      } //※3

      for(let i=zentenposuu-1; i>=0; i--){ //*4 //※3forで、全店舗の存在の有無を確認した後に処理。
        if(tenpo[i] !== -1){
          kakuuriage[i] = body.slice(tenpo[i]) //抽出した本文から、店舗ごとの売上情報を抽出する
          body = body.substring(0,tenpo[i]) //本文から抽出した分を文末から順番に削除する。これをやる為に、この※4forはカウントダウンで行っている
        }
      } //*4
      //↑問題点として、売上メール上の記載順が毎回固定ではないorわからないと、正常に作動しない

売上情報を、店舗ごとに分割する。

39～43.
まず店舗数は全部で４。
39行は※3から※3までを、４回繰り返す指示。
40行で、各店舗の情報が今回のメールに含まれているかをチェック。

45～48.
各店舗の売上情報の有無を確認した後、文章を各店舗ごとに分割する。
body.slice(tenpo[i]) で、本文（body）内の各店舗の◯文字目から文末までを切り取る。
これを文末から繰り返す事で、店舗ごとの情報に分割出来る。

51.
このやり方は、毎回必ず同じ順番で売上情報が届く為に可能。
不確実な場合は別の手段が必要となる。

各店舗売上情報を、各野菜番号ごとに分割する



      //↓配列内の野菜の数だけ処理を行う
      for(let j=zentenposuu-1; j>=0; j--){ //*c　jが、野菜名配列内に、いくつの野菜が入っているかの数。総数の最後から、順番に減らしていく
        yasaisuu = 0 //一周処理が終わったので、次のカウントをするために、0にリセット
        for(let i=0; i<zenyasaisuu; i++){ //*a 全野菜数だけ繰り返す
          if(tenpo[j] !== -1){ //*d //店舗◯に売上情報があるなら
            yasai[i] = kakuuriage[j].indexOf(yasaimei[i]); //今回売上情報内に、"野菜◯"が入っているかどうか
            if(yasai[i] !== -1){ //野菜◯が入っているなら
              yasaisuu = yasaisuu+1 //今回売上情報内に入っている野菜数をカウントアップ
            }
          } //*d
        } //*a
        for(let t=yasaisuu-1; t>=0; t--){ //*yc　今回売上情報内に入っている野菜数のカウントが終わったので、総数の最後から減らしていく
          syouhin = kakuuriage[j].lastIndexOf("商品") //"商品"がkakuuriage[j]内の後ろから数えて何文字目を返す
          kakuyasai[t] = kakuuriage[j].substring(syouhin,999) //kakuyasai[t]に、"商品"より後ろの文字を抽出して代入
          kakuuriage[j] = kakuuriage[j].substring(0,syouhin) //kakuuriage[j]から、代入した分の文字を削除（"商品"より前の文字を代入）
        } //*yc

54～68.
各店舗ごとに分割した売上情報内を、さらに野菜番号ごとに分割していく。
やっている事は店舗ごとの分割と大差無し。

58～60.
各野菜番号が売上情報としていくつ入っているかカウントする。

64～68.
カウントした分だけ、情報を抜き出していく。
kakuyasai[t]に、野菜番号ごとに分割した売上情報が代入される。

各野菜番号の売上情報を、さらに金額と数量に分割しスプレッドシートに書き込む



        for(let i=0; i<zenyasaisuu; i++){ //*ya　全野菜数分繰り返す
          if(yasai[i] !== -1){ //*yb　各野菜◯が存在するなら
            for(let t=0; t<yasaisuu; t++){ //*ye　存在する野菜◯の数だけ繰り返す
              if(kakuyasai[t].indexOf(yasaimei[i]) !== -1){ //*yd　野菜◯の◯に入る数字がわからないので、配列の最初から順番に確認する。
                kingakuiti[t] = kakuyasai[t].lastIndexOf("金額") //金額の文字が、後ろから数えて何文字目か抽出
                kingaku[t] = kakuyasai[t].substring(kingakuiti[t],999) //"金額"より後ろの文字を抽出して代入
                kakuyasai[t] = kakuyasai[t].substring(0,kingakuiti[t]) //代入した分の文字を削除（"金額"より前の文字を代入）
                kingaku[t] = kingaku[t].replace(/[^0-9]/gi, ''); //kingaku[t]の中から、半角数字のみ抽出する（金額が何桁かわからないので）
                suuryou[t] = kakuyasai[t].replace(/[^0-9]/gi, ''); //kakuyasai[t]の中から、半角数字のみ抽出する（数量が何桁かわからないので）
                console.log(tenpomei[j]+":"+yasaimei[i]+"|　数量:"+suuryou[t]+"　金額:"+kingaku[t])
                var uriage = [sub,tenpomei[j],yasaimei[i],kingaku[t],suuryou[t]] //売上情報を配列に代入
                var lastRow = sheet.getLastRow() + 1; //スプレッドシートの最終行を取得
                sheet.appendRow(uriage); //最終行に売上情報を転記
              } //*yd
            } //*ye
          } //*yb
        } //*ya
      } //*c
    }); //※2
    thread.markRead(); //スレッドを既読にする
    // スレッドに処理済みラベルを付ける
    var label = GmailApp.getUserLabelByName('処理済み');
    thread.addLabel(label);
    }); //※1
  }