DEV Community: Seizan Shimazaki

Elixirのコードレビューで出るやつ

Seizan Shimazaki — Fri, 05 Jan 2018 07:38:08 +0000

Elixir Advent Calendar 2016 の12日目です。

Elixir で開発していてコードレビューの指摘点で出たものについて、
一般的だと思うものをいくつか列挙しました。

返り値を想定している場合は _ でマッチさせず名前付ける

名前付けておいた方が読んだときにわかる。

関数定義でマッチできるならそっちで

def spam(x) do
  case x do
    :aaa ->
      :ok
    :bbb ->
      :error
  end
end

のようにやるなら、次のようにする。

def spam(:aaa) do
  :ok
end
def spam(:bbb) do
  :error
end

if より case を使う

場合分けで if を使うことは多くない。
case を使う方が良い場合が多い。

user = Repo.get(query, id)
if user != nil do
  ...
else
  ...
end

と書くなら次のようにする。

case Repo.get(query, id) do
  nil ->
    ...
  user ->
    ...
end

エラー返り値の形式が違うものは with でまとめず case ネストで

with {:ok, foo} <- spam(),
     {:ok, bar} <- ham() do
  ...
else
  :error ->
    ...
  {:error, reason} ->
    ...
end

のように spam() は :error、ham() は {:error, reason} を返すような場合、
with でまとめるとどれがどのエラー形式を返すかわからなくなってつらい。
ので普通に case ネストで書く。

case spam() do
  {:ok, foo} ->
    case ham() do
      {:ok, bar} ->
        ...
      {:error, reason} ->
        ...
    end
  :error ->
    ...
end

関数呼び出しはカッコ省略せず必ず () 付ける

統一するメリットがあるので。

再代入しない

再代入するなら基本的に別の名前を付ける。
Phoenix の conn のようなごく一部の例外は除く。
再代入の必要性は今のところ特に感じていない。

%URI{} 使おう

url_base = "https://#{host}"
url = "#{url_base}/user/#{user_id}"

とかやるなら URI を使う。(HTTPoison など URI 型で渡せる)

url = %URI{scheme: "https",
           host: host,
           path: Path.join("/user", user_id)}

String にしたければ URI.to_string() を使えばよい。

条件を満たすならリストに追加する

List や Map を作るときに条件を満たす場合は追加することがある。
例えばこんな感じ。

@spec build_spams() :: list()
def build_spams() do
  spams = base_spams()
  spams = if condition1() do
    [additional1() | spams]
  else
    spams
  end
  spams = if condition2() do
    [additional2() | spams]
  else
    spams
  end
  spams
end

要素追加する部分を関数に切り出すと見通しがよくなる場合がある。
以下のような感じ。

@spec build_spams() :: list()
def build_spams() do
  base_spams()
  |> maybe_add_spams1()
  |> maybe_add_spams2()
end

defp maybe_add_spams1() do
  if condition1() do
    [additional1() | spams]
  else
    spams
  end
end

defp maybe_add_spams2() do
  if condition2() do
    [additional2() | spams]
  else
    spams
  end
end

おまけ: credo

CI で mix credo は必ず回すようにしている。
.credo.exs は次の感じでやってる。

%{
  configs: [
    %{
      name: "default",
      files: %{
        included: ["lib/"],
        excluded: []
      },
      checks: [
        {Credo.Check.Readability.MaxLineLength, max_length: 120},
        {Credo.Check.Readability.ModuleDoc, false},
        {Credo.Check.Refactor.Nesting, false},
        {Credo.Check.Refactor.PipeChainStart, false},
      ]
    }
  ]
}

読んで良かった基礎知識の入門書

Seizan Shimazaki — Fri, 05 Jan 2018 07:35:15 +0000

とあるエンジニアの技術勉強法 (インターン学生向け) というスライドを先日 @iwashi86 が書かれていました。
インターン学生向けとありますが、新人プログラマ向けとしても素晴らしい資料だと思います。

ここでは「即、役立つわけではないが後から効いてくる」という「基礎知識」に絞って教材を紹介します。
目の前の仕事のために必要なことと並行して基礎知識を学ぶのは、長期的には良いと思います。
なお「基礎」==「簡単」というわけではなく、無理せず自分のペースで付き合うのがおすすめです。

自分で読んで、かつ、とても良いと思ったもののみを紹介するので、全分野をカバーしてはいません。
基礎にどのような分野があるかは新卒準備カレンダー2011や情報科学科カリキュラムが参考になります。

以下はどれも有名な本なので、ググれば感想なども見つかるでしょう。
気になった本、読もうと思う本については、ググるのも良いかもしれません。

アルゴリズムとデータ構造

アルゴリズムイントロダクション

これを一通り読めば基本的なことがわからないということは無くなるだろう世界標準の教科書。
どんな問題をどんな方法で解決できるのか、またどの解法が優れた方法なのか。(優れたとはどういうことか)
パターンを勉強することで、今後出会う問題が「未知の問題」ではなく「既知の問題」になるかもしれません。
その問題が解けるのか解決不能なのか、どう解けるのかを知っていると、そうでないのとは大違いです。
またコーディングの「腕立て伏せ」としても良い題材になります。
ただし分量が多いため、最初の一冊として読むと読み切るのがやや難しいかもしれません。
そこで最初の一冊の定番となるべくして書かれたのが次の...

アルゴリズムの基本

これです。
300ページ弱の本で、前半160ページで定番のソート、グラフをコンパクトに丁寧に取り上げています。
前半を終えればアルゴリズムへの親しみは十分で、入門したと言えると思います。
そのまま最後まで読むもよし、アルゴリズムイントロダクションに進むもよしです。
この本の弱点は、データ構造にはほとんど触れていないことです。
アルゴリズムを勉強して良かった、という感想があるなら、データ構造も勉強すると良いでしょう。
アルゴリズムイントロダクションではデータ構造も十分に紹介されています。

計算理論の基礎

3巻に分かれていて、まずは第1巻(オートマトンと言語) だけ読むことを目標にすると楽です。
文字列の操作という一般的な処理が、オートマトンというモデルを用いて実装できると実感できます。
特に正規表現を実装できると知るのは興味深いと思います。
コンパイラの前提知識にもなっています。

暗号技術入門第3版秘密の国のアリス

定番。
暗号は実務のあらゆるところに登場するので、プログラマの必修科目だと思います。
一例としては、webサイトを https でアクセスするときの動作を理解するためにも必要です。
どのような攻撃を想定し、どうすれば防げるかを考え学ぶことは、慎重に検討する姿勢を身につけるためにも有用かもしれません。

計算機システム

コンピュータの構成と設計

各ハードウェアがどのように協調動作してプログラムを実行するのかを理解できる世界標準の教科書。
性能とは何か、どう計算できるのか、改善するためにどのような工夫がなされているのか。
OS、コンパイラ、VM、並列プログラミング、など多くのテーマの下地になります。

はじめて読む486

CPU の仕組みが具体的に書かれています。
このへんはオペレーティングシステムと密な関係があります。
OS の概要を先に勉強すると、その処理の実装という観点を持って読みやすいかもしれません。

CPUの創りかた

(物理的に)なぜ計算機が動作するのか。
シンプルな計算機を自作することでこれを理解するための本。
その方面の仕事でなければ業務に役立つ可能性は低いと思いますが、「やっぱりそこから理解したいよね」と思う人は多いのでは。

オペレーティングシステム

オペレーティングシステムの仕組み

各論は細部まで深追いせず、分量が多くならないようにされています。
また逆に、浅すぎて事実の羅列になったりせず、仕組みを理解できるくらいには具体的に書かれています。
そのバランスによって、全体の仕組みをコンパクトに学べるのが良いところだと思います。

システムプログラミング

ふつうのLinuxプログラミング第2版

こうすれば Linuxコマンドは作れるとわかる本。
過程で Linux に慣れていくこともあり、初心者にとっての実用性も高いです。

GNU開発ツール

hello world を実装して実行する間に何が行われているかを1冊かけて理解する本。
1つのコマンドの裏で動いているコマンドや、使われるファイルの実態がどこにあるかなども解説されます。
使われるLinuxコマンドもすべて解説されるので、初心者にも優しいです。
なお現在は入手方法は公式サイトからPDF版を購入するのみなのでそちらからどうぞ。

その他プログラミング

プログラミングの基礎

これのみ「読んで良かった」ではなく「読ませて良かった」本です。
新人プログラマへの一冊という観点では最有力候補なので、含めることにしました。
プログラミングの入門書として素晴らしいと聞き、また自分も目を通して良さを感じました。
実際に新人プログラマに取り組んでもらったところ「良かった」と言っていました。
[OCaml]書評「プログラミングの基礎」もご参考に。

プログラミングHaskell

関数プログラミング言語 Haskell のベスト入門書です。
当時、自分の師匠に「プログラミングをよくできるようになるために何をすればいいか？」と聞いたら「関数プログラミングを勉強すること。Haskellでいい」と言われて読みました。
この本は洗練されていて、ポイントを本当にコンパクトに読めます。
第7章までの 70ページで関数プログラミングのエッセンスが学べるので、そこまで読むのがおすすめです。
なお Haskell を実戦で使いたい人は別途すごいHaskellたのしく学ぼう!も読むべきでしょう。

プログラミングErlang

「並行プログラミング」と言うとハイレベルに聞こえるかもしれません。
ですがこれを読むと、並行プログラミングを親しみやすいと感じるのではないかと思います。
Erlang の並行プログラミングのための強い機能群が、理解を助けてくれるでしょう。
その機能群は他の言語に輸入されてもいるため、その意味でも有意義だと思います。
関数プログラミングをあらかじめ理解しているとスムーズなので、先に上記「プログラミングHaskell」を読むと効率的かもしれません。
なお Erlang を実戦で使いたい人は別途すごいErlangゆかいに学ぼう! も読むべきでしょう。

GCP API の認証設定

Seizan Shimazaki — Fri, 05 Jan 2018 07:30:47 +0000

GCP (Google Cloud Platform) の API を使うための認証・認可は OAuth 2.0 で、
サーバーでの使い方は Using OAuth 2.0 for Server to Server Applications に書かれている。
結論としては Google Application Default Credentials (ADC) を使い、OAuth 2.0 Access Token を取得して使う。

ADC は AWS での Default Credential Provider Chain にあたる。

ADC とは

次のロジックで得られる credentials が ADC と呼ばれる。

環境変数 GOOGLE_APPLICATION_CREDENTIALS が指定されていたら、そのファイルを service account の credentials として読んで使う
gcloud auth application-default login を実行して well_known_file が作成済みであれば、それを authorized user の credentials として読んで使う
GAE (Google App Engine) 上で実行されていれば、その built-in service account を使う
GCE (Google Compute Engine) 上で実行されていれば、その build-in service account を使う
ここまで該当がなければエラーとする

well_known_file について

$ gcloud auth application-default login

を実行すると作成される。
デフォルトだと ~/.config/gcloud/application_default_credentials.json
環境変数 CLOUDSDK_CONFIG が指定されていれば $CLOUDSDK_CONFIG/application_default_credentials.json

Access Token を取得する

service account か authorized user の credentials を使う場合は、
然るべきリクエストを作ってトークンエンドポイントに POST する。
GCE の場合はメタデータサーバーに GET する。

Access Token を使って API を叩く

取得した access token を Authorization ヘッダに Bearer 形式で入れる。
Authorization: Bearer xxxx.yyyyyyyyyyyyy

使うとき

Google 的に優先度高い言語は公式ライブラリが用意されていて、マニュアル見て使えばよい。
Elixir はライブラリが無かったので作った。
https://github.com/aktsk/gcp_auth

MySQL(InnoDB) で charset を utf8mb4 にする注意点の現在

Seizan Shimazaki — Fri, 05 Jan 2018 07:23:18 +0000

絵文字に対応したいなどの理由で utf8mb4 を使う。
ただ、utf8mb4 に設定するだけだと以前は問題があった。
MySQL 5.7.9 以降では解決されたので、その話をまとめる。

charset を utf8mb4 にする

server 全体に設定するでよければ my.cnf に次を設定すればよい。

[mysqld]
character_set_server=utf8mb4
collation_server=utf8mb4_unicode_ci

database 単位で設定したければ、次を発行すればいい。

ALTER DATABASE spam CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

対応すべき問題

utf8mb4 に変えると、VARCHAR 等のカラムで、同じ文字数でも size が大きくなる。
デフォルトではこの size の上限は 767byte で、index を張ろうとして落ちるなどする。
ということが、MySQL(InnoDB) で "Index column size too large. The maximum column size is 767 bytes." いわれるときの対策、で詳しく説明されている。

以前の解決方法

innodb_large_prefix パラメータを ON にすることで、size 上限が 3072byte になり、問題なくなる。
ただしそのためには、テーブルの ROW_FORMAT を DYNAMIC (か COMPRESSED) にする必要がある。
さらにそのためには、innodb_file_format が Barracuda であることが必要。

なので実際には

innodb_large_prefix=ON
innodb_file_format=Barracuda
innodb_file_format_max=Barracuda

として、また CREATE TABLE するときに ROW_FORMAT=DYNAMIC を付けることで解決できた。

現在

innodb_file_format はデフォルトで Barracuda (5.7.7 以降)、
innodb_default_row_format はデフォルトで DYNAMIC (5.7.9 以降)
innodb_large_prefix はデフォルトで ON (5.7.7 以降)で、deprecated で、じき項目が消える予定

ということで、上記の問題を解決するために設定すべき項目は 5.7.9 以降では無くなり、解決していた。