## ポイント
- Modelを定義しよう([GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py](https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py))
- Firebaseの設定ファイルを切り出そう

## Firebaseファイルの切り出し

```lib/firebase.py
import firebase_admin
from firebase_admin import credentials, firestore

# HACK: 下記環境変数を設定しないとエラーになる
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = './serviceAccount.json'

cred = credentials.Certificate('./serviceAccount.json')
firebase_admin.initialize_app(cred)

db = firestore.Client()
```

```py
from lib.firebase import db
```

## FireStoreに存在チェックについて

SQLでいうところの、ユニーク制限についても気になるところ。また、できないのであれば頻繁にデータパッチを行うことになるので、まとめていきたい。

![FireStore Relation](//images.contentful.com/0jyj5pjwic68/3xF6fsGtXvoIRHz1tAQXxA/b843ff33abe28d7da63e0b7eb51e93fc/_____________________.svg)

### 存在チェック 基本形
```py
doc_ref = db.collection(u'articles').document(doc_id)
doc = doc_ref.get()

if doc.exists:
  logging.info(Found)
else:
  logging.info(Not Found)
```

### 存在チェック limit() etc

もっと良い方法がないか考え中

```py
websites_ref = db.collection(u'websites').where(u'url', u'==', website_url).limit(1)
website_docs = websites_ref.stream()

# HACK: Generator型のempty checkがあれば、そちらで条件式を書く
is_website = False
for website_doc in website_docs:
    if website_doc.exists:
        is_website = True
```

## 追加

```py
website_ref = db.collection(u'websites').document()
website_ref.set({
    u'url': website_url,
})

doc_ref = db.collection(u'articles').document()
doc_ref.set({
    u'website_id': website_ref,
})
```

## 参考
- [Cloud Firestore を使ってみる](https://firebase.google.com/docs/firestore/quickstart)
- [Cloud Firestore でデータを取得する](https://firebase.google.com/docs/firestore/query-data/get-data)
- [GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py](https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py)


Python

PythonとFireStoreの接続

<h2>ポイント</h2>
<ul>
<li>Modelを定義しよう(<a href="https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/fires...

Scrapy Cloud はあらかじめ、デプロイできる`env`とファイルが決まっています。
しかしながら、今回はFireStoreを`pipelines.py`で使用する必要があり、それを回避する方法を見つけました。

`credentials.Certificate()`は、dictでも渡すことができますが、`GOOGLE_APPLICATION_CREDENTIALS`の環境変数でエラーが発生してしまうので、pathを渡す必要があります。設定できる環境変数は[Settings — Scrapy 2.5.0 documentation](https://docs.scrapy.org/en/latest/topics/settings.html)に記載されています。

## ステップ1 デプロイ時にserviceAccount.jsonの生成

```crawler/__init__.py
import os

path = "{}/serviceAccount.json".format(os.getcwd())

credentials_content = '''
    ESCAPED_SERVICE_ACCOUT_JSON
'''

with open(path, "w") as text_file:
    text_file.write(credentials_content)

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = path
```

## ステップ2 serviceAccount.json　のエスケープ&ペースト

```py
credentials_content = '''
    ESCAPED_SERVICE_ACCOUT_JSON
'''
```

の`ESCAPED_SERVICE_ACCOUT_JSON`に

https://www.freeformatter.com/json-escape.html

でエスケープした`serviceAccount.json`の中身をそのまま貼り付けます。

## ステップ3 path の import

```crawler/models.py
import firebase_admin
from firebase_admin import credentials, firestore

from crawler import path

cred = credentials.Certificate(path)
firebase_admin.initialize_app(cred)

db = firestore.Client()
```

Scrapy Cloudは、`models.py`もデプロイできます。ここで、FireStoreのモデルを定義し、`pipelines.py`に渡しています。[A Minimalist End-to-End Scrapy Tutorial (Part III)](https://medium.com/@acowpy/scraping-files-images-using-scrapy-scrapinghub-and-google-cloud-storage-c7da9f9ac302)を参考にしました。

## Scrapy Cloud にデプロイ

```sh
poetry add shub
shub login
# API key: xxxxxx
shub deploy xxxxxx
```

## 最後に

結構無理やりデプロイしたので、良い方法とは言えないかもしれないです。実際に.envに定義できないので、使い勝手には欠けます。

やはり、公式にサポートされているS3に出力し、あとでデータクレンジングやDBへの保存を行うのが良いでしょう。

## 参考
- [Scrapy Cloud - Storing Results in Google Cloud Storage](https://jansonh.github.io/scrapinghub-gcs/)
- [A Minimalist End-to-End Scrapy Tutorial (Part III)](https://medium.com/@acowpy/scraping-files-images-using-scrapy-scrapinghub-and-google-cloud-storage-c7da9f9ac302)
- [Settings — Scrapy 2.5.0 documentation](https://docs.scrapy.org/en/latest/topics/settings.html)

Zyte

Scraping Cloud × FireStore serviceAccout.json をデプロイする

## 参考
- [Python Playground](https://www.programming-hero.com/code-playground/python/index.html)

## 配列

```py
list = ['A', 'B', 'C']
print(list[0]) # 'A'
```

## dict

```py
d = {'k1': 1, 'k2': 2, 'k3': 3}
print(d) # {'k1': 1, 'k2': 2, 'k3': 3}
print(d['k1']) # 1
```

## 型出力

```py
docs = websites_ref.stream()
print(type(docs)) # <class 'generator'>
```

NOTE: イテレータとジェネレータが存在する。

## 条件式 or

```py
og_description = "A"
description = "B"
answer = og_description or description or ""
print(answer) # "A"

og_description = ""
description = "B"
answer = og_description or description
print(answer) # "B"

og_description = None
description = "B"
answer = og_description or description
print(answer) # "B"

og_description = None
description = None
answer = og_description or description
print(answer) # None

og_description = None
description = None
answer = og_description or description or ""
print(answer) # ""
```

## 条件式 not

```py
if not is_existed:
```

## 三項演算子

```py
a = {True時の処理} if {条件式} else {False時の処理}
```

## URL取得

```py
from urllib.parse import urlparse
parsed_url = urlparse("https://nishimura.club/")
article_id = hash_text(parsed_url.geturl()) 
```

## import

```py
from urllib.request import urlopen
from urllib.parse import urlparse
```

- https://docs.python.org/ja/3/howto/urllib2.html

Python の基本構文

## 要件
- Dokcerを使用して、Scrapy環境を作ること。
- 指定したURLから、記事(コンテンツ)を取得できること。
- robots.txtからsitemap.xmlを取得する
- 相手サーバの負荷の考慮や法律を守ること。
- サーバにデプロイして、定期実行すること。
- 収集したデータは、クレンジングし、FireStoreに保存すること。

## 概要
### Spider
クロール対象のサイトへのリクエスト、レスポンスのパース処理を記述します
どのようにサイトを辿って、ページの内容をどうパースするかのロジックが Spider に書かれます

### Items
クロール対象のデータから抽出したいデータ構造を記述するモデルのようなものです
目的に応じて自由な構造を定義できます
Items は Spider で生成され Pipeline に渡されます

### Pipeline
Spider より渡された Items に対する処理を記述します
DB への保存、ファイル出力など目的に応じて自由に処理を記述できます

## ログ確認
```
import logging
logging.error("Some error")
```

## 最初にやったほうが良いこと
- [Scrapyチュートリアル](https://doc-ja-scrapy.readthedocs.io/ja/latest/intro/tutorial.html)

```
scrapy startproject tutorial
```

- 新しいScrapyプロジェクトの作成
- スパイダー(spider) を作成してサイトをクロールし、データを抽出します。
- コマンドラインを使用してスクレイピングされたデータをエクスポートする。
- **再帰的にリンクをたどるようにスパイダーを変更する。**
- スパイダー引数の使用

## 処理の順番
- 1.ドメインの`robots.txt`を見つける
- 2.`robots.txt`から`sitemap.xml`を見つける
- 3.`sitemap.xml`から各コンテンツページに行く
- 4.コンテンツページの`metatag`を取得する
- 5.`metatag`をクレンジングし、　itemsに変換する
- 6.itemsをpipelineに渡し、FireStoreに保存する(Websiteがない場合は、Websiteも登録する)

## Spiderの実行
Pythonファイルの実行または、CLIの実行どちらからでも実行できる。

```sh
scrapy crawl {SPIDER_NAME} # 実行
scrapy crawl {SPIDER_NAME} -o results/example.csv # 実行 & csv出力
```

## Scrapyの中でBeautifulSoupを使う
- [Leveraging Beautifulsoup within Scrapy](https://stackoverflow.com/questions/48086330/leveraging-beautifulsoup-within-scrapy)

```python
from bs4 import BeautifulSoup

class WebsiteSpider(scrapy.Spider):
    def parse(self, response):
        # BeautifulSoupを使う
        soup = BeautifulSoup(response.body, "lxml") 
        ...
```

## Metaタグの取得
```python
print(response.xpath("//meta").extract())
```

```python
def parse(self, response):
    soup = BeautifulSoup(response.body, "lxml") 

    # MetaTagの取得
    # Normal
    description = soup.find("meta",  { "name": "description" })
    title = soup.find("title").string # タグの中身を取る
    url = response.url
    print("description: %s" % (description['content']))
    print("title: %s" % (title))
    print("url: %s" % (url))

    # OGP
    og_description = soup.find("meta",  { "property": "og:description" })
    og_title = soup.find("meta",  { "property": "og:title" })
    og_url = soup.find("meta",  { "property": "og:url" })
    og_image_url = soup.find('meta', { 'property': 'og:image' })
    print("og_description: %s" % (og_description['content']))
    print("og_title: %s" % (og_title['content']))
    print("og_url: %s" % (og_url['content']))
    print("og_image_url: %s" % (og_image_url['content']))
```

## エラー
```
ERROR: Spider error processing
```

どこかnullだったりで落ちている。

## Itemsの出力
```spider.py
article = ArticleItem()
article['description'] = description
article['title'] = title
article['url'] = url
article['image_url'] = og_image_url
print("article: %s" % (article))
yield article
```

```pipeline.py
class ArticlePipeline(object):
    file = None

    def process_item(self, item, spider):
        print(item)
        return item
```

NOTE1: 定義したfield以外を代入すると、エラーになります。(当たり前)

NOTE2: ちなみに、クロールが長かった場合、途中で終了しても、出力設定をしていた場合、出力される。

## FireStoreとの接続
- [FirebaseでCloud Firestoreをつかってみよう　その１　データの挿入](https://peaceandwhisky.hatenablog.com/entry/2017/12/31/045314)

```py
import scrapy
import firebase_admin
from firebase_admin import credentials, firestore
# import logging

# Hack: 下記環境変数を設定しないとエラーになる
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = './serviceAccount.json'
# 値のバリデーションチェック

class ValidationPipeline(object):
    print('ValidationPipeline: Activate')

    def process_item(self, item: scrapy.Item, spider: scrapy.Spider):
        if item['title'] is None or item['title'] == '':
            raise scrapy.exceptions.DropItem('Missing value: title')

        if item['url'] is None or item['url'] == '':
            raise scrapy.exceptions.DropItem('Missing value: url')

        return item

class ArticlePipeline(object):
    file = None

    def __init__(self):
        cred = credentials.Certificate('./serviceAccount.json')
        firebase_admin.initialize_app(cred)

    def open_spider(self, spider: scrapy.Spider):
        print('ArticlePipeline.open_spider: Activate')

    def close_spider(self, spider: scrapy.Spider):
        print('ArticlePipeline.close_spider: Activate')

    def process_item(self, item: scrapy.Item, spider: scrapy.Spider):
        print(item['title'])
        db = firestore.Client()

        # NOTE: document() 指定なしだとランダムにIDが生成される
        doc_ref = db.collection(u'articles').document()
        doc_ref.set({
            u'description': item['description'],
            u'image_url': item['image_url'],
            u'title': item['title'],
            u'url': item['url'],
        })
        return item
```

## ValidationPipeline

- `None`: dictのkeyがない場合、終了
- `''`: 空文字の場合、終了

Pythonで、Noneは、nullと同じ使われた方をする

```pipelines.py
class ValidationPipeline(object):
    def process_item(self, item: scrapy.Item, spider: scrapy.Spider):
        if item['description'] is None:
            raise scrapy.exceptions.DropItem('Missing value: description')

        if item['title'] is None or item['title'] == '':
            raise scrapy.exceptions.DropItem('Missing value: title')

        if item['url'] is None or item['url'] == '':
            raise scrapy.exceptions.DropItem('Missing value: url')

        if item['image_url'] is None:
            raise scrapy.exceptions.DropItem('Missing value: image_url')

        return item
```

```settings.py
ITEM_PIPELINES = {
    'crawler.pipelines.ValidationPipeline': 100,
    'crawler.pipelines.ArticlePipeline': 300,
}
```

設定する数字で、実行順番の制御を行っているよう。

## 参考
- [Scrapy 1.2 ドキュメント](https://scrapy-ja.readthedocs.io/ja/latest/)
- [アーキテクチャの概要 - Scrapy](https://scrapy-ja.readthedocs.io/ja/latest/topics/architecture.html)
- [Scrapy Note](https://sugiaki1989.gitbook.io/scrapy-note/)
- [Python, Scrapyの使い方（Webクローリング、スクレイピング）](https://note.nkmk.me/python-scrapy-tutorial/)
- [10分で理解する Scrapy](https://qiita.com/Chanmoro/items/f4df85eb73b18d902739)
- [Logging in Scrapy](https://stackoverflow.com/questions/38413829/logging-in-scrapy)
- [BeautifulSoupを使って、ブログ記事の情報をいろいろ絞り込んでみた](https://dev.classmethod.jp/articles/filtering-blog-article-using-beautifulsoup/)
- [Scrapyでサイトマップからスクレイピング](https://imabari.hateblo.jp/entry/2018/12/01/155452)
- [Scrapyでけ日記をクローリングする (2. PipelineでPostgreSQLに保存する)](https://ohke.hateblo.jp/entry/2018/07/07/230000)

Scrapyを使用したクローラ開発概要

## 基本形
Pythonの標準ライブラリでURLを扱うクラスが用意されています。

```python
from urllib.parse import urlparse

parsed_url = urlparse('https://nishimura.club/article')
print(parsed_url)
# ParseResult(scheme='https', netloc='nishimura.club', path='/article', params='', query='', fragment='')
```

## ドメイン + プロトコル

```python
parsed_url = urlparse('https://nishimura.club/article')
url = "%s://%s" % (parsed_url.scheme, parsed_url.netloc)
print(url)
# https://nishimura.club
```

## 参考
- [urllib.parse --- URL を解析して構成要素にする](https://docs.python.org/ja/3/library/urllib.parse.html#module-urllib.parse)

Python で ドメインの取得(URL操作)

Pythonで軽めにLinterを設定したい

## インストール
```
pip3 install flake8 autopep8
```

## VSCode設定

不要な設定もあるかも

```json
{
  "python.linting.enabled": true, // 文法チェックを行う
  "python.linting.pylintEnabled": false, // pylint は使わない
  "python.linting.pycodestyleEnabled": false,  // pep8 は使わない
  "python.linting.flake8Enabled": true,
  "python.linting.flake8Args": [
    "--ignore=W293, W504, E501",
    "--max-line-length=160",
  ],
  "python.formatting.provider": "autopep8", // 自動整形に autopep8 を使う
  "python.formatting.autopep8Args": [ // autopep8 の設定
    "--ignore=E111, E114, E402, E501"
  ],
  "[python]": {
    "editor.formatOnSave": true, // 保存時に自動整形を行う
    "editor.formatOnPaste": false, // ペースト時に自動整形を行わない
    "editor.formatOnType": false, // 入力後に自動整形を行わない
  },
}
```

## 実行

```
flake8 # 対象ファイルの確認
autopep8 -i {ファイルディレクトリ} # 自動修正
```

Python の Linter 設定

```lib/const.py
A = 'A'
```

```
from lib.const import A
```

PythonとFireStoreの接続

ポイント

Firebaseファイルの切り出し

FireStoreに存在チェックについて

存在チェック基本形

存在チェック limit() etc

追加

参考

Related

Tags

Share

Table of Contents

PythonとFireStoreの接続

ポイント

Firebaseファイルの切り出し

FireStoreに存在チェックについて

存在チェック 基本形

存在チェック limit() etc

追加

参考

Related

Tags

Share

Table of Contents

存在チェック基本形