DEV Community: Shootacean

指定したURLのHTTPステータスを一括でチェックするPythonスクリプト

Shootacean — Thu, 27 May 2021 14:35:14 +0000

こんにちは。shootaceanです。

CSVファイルに定義したURLを元にGETリクエストを行い、レスポンスのHTTPステータスをチェックするPythonスクリプトです。

運営しているWEBサービスの検証をする際に利用しました。

pandasのインストール

$ pip3 install pandas

Pythonスクリプト

host, csvFilePath, csvColumnName という変数を変更すれば、ご自身の環境に合わせることができると思います。

import urllib.request
import pandas as pd


host = "https://shootacean.com"
csvFilePath = "urls.csv"
csvColumnName = "uri"


def checkUrl(url):
    """指定したURLにGETリクエストした際のHTTPステータスをチェックする"""
    try:
        # GETリクエストをしてレスポンスを受け取る
        with urllib.request.urlopen(url) as response:
            # HTTPステータスが正常だった場合
            return True, response.code, url
    except urllib.error.HTTPError  as e:
        return False, e.code, url
    except urllib.error.URLError as e:
        if hasattr(e, 'reason'):
            return False, e.reason, url
        elif hasattr(e, 'code'):
            return False, e.code, url


if __name__ == "__main__":
    # CSVファイルを読み込む
    csv = pd.read_csv(csvFilePath)
    # CSVのレコード数分、チェックを繰り返す
    for uri in csv[csvColumnName]:
        url = host + uri
        # チェックを行う
        ok, code, url = checkUrl(url)
        if ok:
            # チェックが成功した場合
            print(code, url)
        else:
            # チェックが失敗場合
            print(code, url)

CSVレイアウト例

使うのは１カラムだけなのでレイアウトは何でも大丈夫です。
１レコード目はヘッダーとして利用します。

uri
/
/contact
/privacy-policy

参考

英文をブログURLに適した形式に変換するPythonスクリプト

Shootacean — Tue, 25 May 2021 23:54:08 +0000

Python script to convert English text to a format suitable for blog URLs

こんにちは。shootaceanです。

ブログ記事を書いた後にはURLを決める必要がありますが、
その際に活用できるPythonスクリプトを紹介します。

Pythonを実行する環境さえあればコピペだけで真似できるので、ぜひ試してみてください。

以下のPythonコードを main.py というファイル名で保存します。

import sys

def convert(title: str) -> str:
    """英文を記事URLの形式に変換する"""

    newTitle = title.lower()
    newTitle = newTitle.replace("/", "-", -1)
    newTitle = newTitle.replace(" ", "-", -1)
    newTitle = newTitle.replace("'", "", -1)
    # 他に変換したい文字がある場合は、ここに追記していく
    # newTitle = newTitle.replace("変換前の文字", "変換後の文字", -1)

    return newTitle

if __name__ == "__main__":

    # コマンドライン引数を受け取る ( sys.argv[0]はプログラム名なので使用しない )
    if (len(sys.argv) == 2):
        # 引数が1つの場合は、そのまま使用する
        title = sys.argv[1]
    else:
        # 引数が2つ以上の場合は、文字列として連結する
        title = " ".join(sys.argv[1:])

    print(convert(title))

以下のコマンドで実行できます。
実行すると変換後の文字が表示されるので、それを記事URLとして使います。

$ python3 main.py "Your Blog's Title"
your-blogs-title

$ python3 main.py Your Blog\'s Title
your-blogs-title

以上これだけです。

ブログ記事のURLを決める

という作業は今後頻繁に行っていく作業なため、早い段階で自動化した方が時間の節約になります。

プログラムとしては単純なものなので、活用していただければ嬉しいです。

この記事で試してみた例

英文をブログURLに適した形式に変換するPythonスクリプト

というブログタイトルを翻訳ツールで翻訳すると、

Python script to convert English text to a format suitable for blog URLs

となりました。
その英文をPythonスクリプトで変換してみると

$ python3 blog_title.py Python script to convert English text to a format suitable for blog URLs
python-script-to-convert-english-text-to-a-format-suitable-for-blog-urls

という感じで変換され、

python-script-to-convert-english-text-to-a-format-suitable-for-blog-urls

という記事URLとして利用できる形式になります。

変換する文字を追加したい場合

上記のPythonコード内の

他に変換したい文字がある場合は、ここに追記していく

と記載されている行へ以下のように追記していきます。

# 他に変換したい文字がある場合は、ここに追記していく
# newTitle = newTitle.replace("変換前の文字", "変換後の文字", -1)
# ダブルクォートを削除する
newTitle = newTitle.replace("\"", "", -1)

参考

AWS CLI での EC2 起動時の UnauthorizedOperation エラー

Shootacean — Mon, 02 Mar 2020 14:18:35 +0000

実行したコマンド

aws ec2 run-instances

エラー内容

An error occurred (UnauthorizedOperation) when calling the RunInstances operation: You are not authorized to perform this operation.

エラーメッセージ全体

An error occurred (UnauthorizedOperation) when calling the RunInstances operation: You are not authorized to perform this operation. Encoded authorization failure message: tpNG4Ag3__Co44EMHx-vIkiZHCEGsJXC5WKyizyBzLUqbeLeeTRqDOPoOKB7hkdIpQSxBf2TBSfDgWKLUB5Ra7XAlq1e5ctNRyxcLkvA7kDs4b1CxVah5Yo3IxafEU5KQAD2uN5sHeCwZe2sd4IJUZkOiSNv_w_dSUfOUihgQ80_CJtpb1_lB6vxKRbd7XWAmsLspeun1Q7L3rJJCS8Y0BTVKlKXPDMOIhpjc--cYLsB1MZ0ZCq178BNgFKzv747Ky4NgN4VRUywI1MYiLy9uWzeKc_wGgLM2mJ6JJB8hBvAHprbKQin_J1tuuINAnF85gvFkY6-ieBZ5slajmW69m6WbzqF3ylx50YF9bj_JMDHJtMBVFvT9jgXJz9UDJJVok_D_Lh1oH8A-dC123n9_dDAJrQmo7QZ4oTAQJmP8MBSFvjHRhAEu7Ed4GpKXZyFZPk-IFORkRACNB1a-Wdm3CaYr4-wA8Icu-0g4Vw4BTvnVPlK8Z3MXE4nuIXJivrUh6LvMgftJRqzYWAPaZnL9uM5oLmhlG4OxYQI6e01UYUqf9kanyDQtrVQipEXGnDZQA

原因

起動する EC2 にインスタンスプロファイルを設定していたが、iam:PassRole 権限が無かった。

解決方法

AWS CLIを実行するIAMユーザーのポリシーに iam:PassRole の権限を付与します。

参考

https://aws.amazon.com/jp/blogs/security/granting-permission-to-launch-ec2-instances-with-iam-roles-passrole-permission/

補足

エラーメッセージの Encoded authorization failure message: 以降に出力されている文字列はエンコードされているので、
aws sts decode-authorization-message コマンドでデコードする必要があります。

参考

https://dev.classmethod.jp/cloud/aws/sts-decode-authorization-message/

GitHub Organizations で GitHub Actions を利用しようとした際の Permission Error

Shootacean — Sun, 01 Mar 2020 15:39:48 +0000

エラー内容

Only actions in "hoge-organization" are allowed for this repository

原因

GitHubの該当リポジトリのページ > Settings > Actions > Actions Permissions を確認してください。

Enable local Actions only for this repository が選択されている場合、
3rd PartyのGitHub Actions は利用できません。

対応

以下のどちらかで対応可能です。

GitHub Actions 内の 3rd Party の Action定義を削除する
- GitHub Actions 初期テンプレートなら actions/checkout@v2 の部分
Actions Permissions を Enable local and third party Actions for this repository に変更する

PHPの include と require の違いについて

Shootacean — Sun, 01 Mar 2020 15:33:11 +0000

PHPで外部モジュールを読み込む際に利用する include, require の違いです。

include と require の使い分けまとめ

指定したモジュールが存在しない場合の挙動が異なります。

include の場合、Warning になりスルーされる。
require の場合、Fatal error となり処理が終了する。

外部モジュールを読み込んだ後の処理が、外部モジュールに依存しているかどうかによって使い分けましょう。

依存していない場合は include、依存している場合は require です。
基本的にはrequireでいいかと思います。

include と require の実際の挙動を検証してみる

以下のコードを実行して、実際の挙動を確認してみます。

<?php

include('foo');
require('bar');
echo 'Hello';

$ php index.php
Warning: include(foo): failed to open stream: No such file or directory in /Users/shootacean/github.com/shootacean/sandbox/php/include-require/index.php on line 3

Warning: include(): Failed opening 'foo' for inclusion (include_path='.:') in /Users/shootacean/github.com/shootacean/sandbox/php/include-require/index.php on line 3

Warning: require(bar): failed to open stream: No such file or directory in /Users/shootacean/github.com/shootacean/sandbox/php/include-require/index.php on line 5

Fatal error: require(): Failed opening required 'bar' (include_path='.:') in /Users/shootacean/github.com/shootacean/sandbox/php/include-require/index.php on line 5

includeでは、Warning となりますが、次の処理へ進むのでrequireが実行されます。
requireでは、Fatal error となり処理が終了するので、echo 'Hello';は実行されません。

ビジネスロジックのコアな部分の外部モジュールを利用する際などには、

requireを利用することでモジュール読み込み時点で致命的なエラーに気づくことができます。

ビュー層などの致命的な問題にならない箇所では include でいいかと思います。

以上、PHPの include と require の挙動の違いについてでした。

p5.jsの開発環境を構築する

Shootacean — Sat, 29 Feb 2020 00:00:00 +0000

この記事のゴール

p5.jsを利用したクリエイティブ・コーディングを行える開発環境を構築する。

前提環境

Mac
Visual Studio Code

構築する手順

p5.js用のプロジェクトディレクトリを作成します。

$ mkdir p5js 
$ cd p5js
$ touch index.html
$ touch sketch.js

下記のダウンロードページの下部にある p5.min.js をクリックしてダウンロードします。
https://p5js.org/download/

ダウンロードした p5.min.js をプロジェクトディレクトリに配置します。

この時点でのプロジェクトディレクトリ内はこうなっています。

$ tree
.
├── index.html
├── p5.min.js
└── sketch.js

これで p5.js を利用できるようになったので、HTMLとJavaScriptを書いていきます。

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Document</title>
</head>
<body>
    <script src="p5.min.js"></script>
    <script src="sketch.js"></script>
</body>
</html>

// sketch.js
function setup() {
    createCanvas(640, 480);
    fill(0);

    ellipse(50, 50, 100, 100);

    rect(100, 100, 100, 100);

    triangle(250, 200, 200, 300, 300, 300);
}

この状態で、Visual Studio Codeの Live Server 機能を使っていきます。

Visual Studio Code の右下に表示されている Go Live をクリックします。

すると、127.0.0.1:5500で index.htmlにアクセスできるようになります。

ブラウザで127.0.0.1:5500にアクセスし、

以下のようにページが表示されれば p5.jsの開発環境は構築完了です。

PHP標準機能でディレクトリ毎にPHPの設定変更を行う方法

Shootacean — Sat, 28 Sep 2019 14:27:42 +0000

PHP標準機能 .user.iniを利用して、ディレクトリ毎にPHP設定を変更する方法をご紹介します。

WebサーバーにApacheを利用している場合は .htaccessファイルでディレクトリ毎にPHP設定を変更することができますが、
Nginx + php-fpm を利用している場合 .htaccessファイルは使用できません。

なので.user.iniを利用します。

PHP公式ドキュメント .user.ini ファイル

検証用のNginx + php-fpm 環境をDockerで構築しています。

※ファイル内容は最後にまとめて記載していますので、ご活用してください。

例として、使用メモリ最大値memory_limitを変更してみます。

デフォルトのPHP設定を確認する

デフォルトでは、.user.iniというファイルを探すようになっていますが、変更することもできます。

.user.iniを使用していない状態の設定を確認しておきます。
左側の数値がディレクトリ毎の設定、右側の数値がphp.iniで設定している値です。

.user.iniで設定を変更する

PHP設定を変更したいディレクトリ直下に.user.iniファイルを作成します。

; .user.ini
memory_limit = 256M

再度、phpinfoを確認してみると256Mに変更されていることがわかります。

まとめ

上記のように.user.iniを利用することで、Nginx + php-fpm環境でもディレクトリ毎にPHP設定を変更することができます。

私が実際に行った例としては、

AWS上に構築した EC2 AutoScalingGroup + CodeDeploy(Blue/Green) という環境に対してCakePHPプロジェクトをデプロイする必要があり、
デプロイソースに.user.iniを含めることで、ディレクトリ毎のPHP設定変更を実現しました。

PHPファイル内でini_set()を行うよりも.user.iniを使うほうが設定の見通しがよくなるので、.user.iniを積極的に使うべきだと思います。

検証で利用したDocker構成

ディレクトリ構成

$ tree -a
.
├── code
│   ├── .user.ini
│   └── index.php
├── docker-compose.yml
└── nginx.conf

ファイル内容

./code/.user.ini

memory_limit = 256M

./code/index.php

<?php
phpinfo();

./docker-compose.yml

version: '3'
services:
  web:
    image: nginx:alpine
    ports:
      - "8080:80"
    volumes:
      - "./nginx.conf:/etc/nginx/conf.d/default.conf"
      - ./code:/code
    depends_on:
      - php
    links:
      - php
  php:
    image: php:7-fpm-alpine
    volumes:
      - ./code:/code

./nginx.conf

server {
    listen       80;
    root         /code;
    index  index.php index.html index.htm;

    location ~ \.php$ {
       fastcgi_pass   php:9000;
       fastcgi_index  index.php;
       include        fastcgi_params;
       fastcgi_param  SCRIPT_FILENAME  $document_root/$fastcgi_script_name;
    }
}

Docker起動方法

$ docker-compose up
# localhsot:8080でアクセスできます。
# ctrl + C で終了できます。

Goの標準ライブラリでWebサーバーを立ててHello, Worldする

Shootacean — Mon, 23 Sep 2019 06:26:41 +0000

Goの標準ライブラリ net/http を利用すれば、簡単にWebサーバーを実装することができます。

# goファイルを作成する
$ touch server.go

以下のような、コードを書くことでWebサーバーを実装できます。

package main

import (
    "fmt"
    "net/http"
)

func main() {
    // ルーティングを設定する
    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
        fmt.Fprintf(w, "Hello, World")
    })
    // ポート8080番でサーバーを起動する
    if err := http.ListenAndServe(":8080", nil); err != nil {
        panic(err)
    }
}

以下のコマンドを実行後、ブラウザなどで

http://localhost:8080

にアクセスすると、Hello, Worldが出力されます。

$ go run server.go

上記コマンドを実行した際とは別のターミナルセッションで、curlコマンドでアクセスしてみます

$ curl localhost:8080
Hello, World

以上、Goの標準ライブラリ net/httpでWebサーバーを建てて、Hello, Worldする手順でした。

GoでのHello, World

Shootacean — Mon, 23 Sep 2019 06:20:41 +0000

GoのインストールからHello, Worldを出力するまでの手順です。

MacにGoをインストールする

$ brew install go
$ go version
go version go1.12.7 darwin/amd64

Hello，Worldの実装

$ touch hello.go

package main

import "fmt"

func main() {
    fmt.Println("Hello, World")
}

Hello, Worldプログラムの実行

$ go run hello.go
Hello, World

CloudFormationで作成したEC2 Auto Scaling Groupスタックが削除されない？

Shootacean — Mon, 23 Sep 2019 05:17:08 +0000

CloudFormationスタックとして作成したEC2 Auto Scaling Groupが削除されなかった際に調べたことを記載します。

CFn(CloudFormation)でEC2 Auto Scaling Groupのスタックを作成して、スケーリングの検証を行った後、

作成したスタックを削除してもEC2 Auto Scaling GroupとEC2インスタンスの削除がされなかったことがありました。

結論

何もしなくても10分程度待てば削除されました。

確認したこと

スタック削除の操作後、マネジメントコンソールでEC2 Auto Scaling Groupを確認しても削除中の表示はない
維持インスタンス数、最小インスタンス数、最大インスタンス数が 0 になっていた。
EC2 Auto Scaling Groupに紐付いているEC2インスタンスの起動ステータスは動作中のまま
手動でEC2 Auto Scaling GroupとEC2インスタンスを削除すると、スタックも削除される

調査したこと

公式ドキュメントの『自動スケーリンググループの削除』では下記のように記載されていました。

Auto Scalingグループを削除する前にすべてのインスタンスを終了するには、UpdateAutoScalingGroupを呼び出して、Auto Scalingグループの最小サイズと必要な容量をゼロに設定します。
To terminate all instances before deleting the Auto Scaling group, call UpdateAutoScalingGroup and set the minimum size and desired capacity of the Auto Scaling group to zero.

今回のCFnスタック削除でのAutoScalingGroup削除では、上記の方法が取られているようです。

CFnで構成管理するまでは、

マネジメントコンソールからAuto Scaling Groupを作成する
検証
マネジメントコンソールからAutoScalingGroupを削除する
紐付いているEC2インスタンスが削除されることを確認

という手順を行っており、AutoScalingGroup削除操作の数秒後にはEC2インスタンスの削除が始まっていたので、

AutoScalingGroupを削除するとほぼ同時にEC2インスタンスも削除されるものだと思っていました。

課題や知らなかったこと

利用するサービスのドキュメントは大雑把でもいいので一通りは読んでおくべき。
設定次第で挙動は異なるし、使用するサービス毎にデフォルトの挙動が異なるのを念頭においておく必要がある。

参考

CodeDeployでAutoScalingGroupに対してデプロイした際のロールエラー

Shootacean — Mon, 23 Sep 2019 03:34:53 +0000

エラー内容

The IAM role arn:~~~ does not give you permission to perform operations in the following AWS service: AmazonAutoScaling.

解決方法

現在 CodeDeployに割り当てている IAMロールのポリシーに、以下のポリシーを追加するだけです。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole",
                "ec2:CreateTags",
                "ec2:RunInstances"
            ],
            "Resource": "*"
        }
    ]
}