DEV Community: Cong

MLflowでらくらくなMLライフサイクル管理：前処理・機械学習・予測API一連化

Cong — Mon, 17 Aug 2020 01:56:18 +0000

MLflow で実験のパラメータ、メトリックや学習済みモデルの記録については、情報が豊富に見つかりますが、しかし前処理と学習・予測を一連の処理としてパイプライン化する、分かりやすい簡単なサンプルが見つからなかったので、作ってみました。

よって、このサンプルでは、前処理と学習・予測のパイプライン化に重点を置きます。
また、MLflowで簡単に予測サービス(REST)を立ち上げられることについても少し触れます。

ソースコードはこちら
https://github.com/vochicong/h2o_mlflow

概要

データ: タイタニック号乗客の生存
Pandasで前処理
H2O AutoMLで機械学習
MLflow custom modelで前処理と学習・予測をつなげる 🎶
MLflow models serveで予測RESTサービス

開発環境の準備

Condaで環境作成

conda env update -f conda-dev.yml
conda env update -f h2o/conda.yaml

conda activate h2o_mlflow
python --version # Python 3.8.5 など
java -version # openjdk version "1.8.0_152-release" など

コード

main.py にコードが全部入っています。

Preproc: データ前処理のクラス
- Age, Fareの Min-Maxスケーリング
- Pandas DataFrame から H2OFrame への変換　
Learner: 機械学習のクラス
Predictor: 予測専用のクラス

前処理・機械学習・テスト予測の実行

mlflow run h2o

予測APIサービスの起動

mlflow run コマンドが数分で終わると、予測APIの起動コマンド例が出力されるので、コピーして使えます。デフォルトで5000番ポートが使われます。

MODEL=/var/folders/j5/1fzcsqzd2_j1s3_5d3qm447h0000gn/T/tmpu_840dh5/main.model

mlflow models serve -m $MODEL

予測API用Dockerイメージ

簡単に作れます

mlflow models build-docker -m $MODEL

予測APIテスト

pytest h2o/test_api.py

同じテストデータにしたして、APIを使って予測させる場合と、
main.py でモデルを直接ロードして予測させる場合とを比較して、
同じ予測結果になることを確認します

参考）APIのJSON形式

Request

{ "columns": [ "x1", "x2", "x3" ],
  "data": [
               [ 3,    2,    5 ],
               [ 1,    4,    8 ] ] }

Response（分類問題）

[ { "predict": 0, "p0": 0.7, "p1": 0.3 },
  { "predict": 1, "p0": 0.6, "p1": 0.4 } ]

speedtest CLI

Cong — Sat, 30 May 2020 01:44:03 +0000

brew tap teamookla/speedtest
brew update
brew install speedtest --force

ref: https://www.speedtest.net/apps/cli

To mount Google Cloud Shell home onto Mac

Cong — Mon, 25 Nov 2019 14:26:34 +0000

You can mount your Google Cloud Shell home onto your local filesystem in your Mac. First, install FUSE and SSHFS. Then run the command for the mounting point ~/my-cloud-shell:

bash -c "$(gcloud alpha cloud-shell get-mount-command ~/my-cloud-shell)"
ls ~/my-cloud-shell

More instructions are available at the Google Cloud Blog.

Toward GCP Data Engineer certification

Cong — Thu, 26 Sep 2019 01:31:32 +0000

I've finished an advanced course on Coursera, namely Preparing for the Google Cloud Professional Data Engineer Exam. It helped me realize many useful options for GCP storages, databases, and ETL pipelines.

Don't expect to be taught the touchstone concepts here. The purpose of them in this course is to help you evaluate your preparedness. Seek training in the technical training courses, documentation, labs, and so forth.

I didn't have enough time to learn through the corresponding specialization. One author of the specialization is @lak_gcp and he has published 2 great books that cover a lot of the details I didn't know well

For what was not clear enough, I went to the GCP solutions and Apache Hadoop docs.

Halfway toward the Google certified Data Engineer exam, I'm reviewing the course contents one more time, jotting down important concepts and ideas.

Quicker Qwiklabs for GCP

Cong — Sun, 07 Jul 2019 01:36:42 +0000

GCP Qwiklabs don't record user information between learning sessions, forcing the user to type the same Bash commands or the same Python code in Jupyter notebooks again and again.

For the Bash commands, you can save your typing by using a local GCloud SDK installation.

After starting a Qwiklabs session, on local you also login using the new GCP credential created for that session.

gcloud auth login

And then you can type the commands specified by the lab, and record the history, so that it will be much easier for you to use the same command later.

For the Jupyter notebooks, I hope that they will find a way to save my work between sessions, or alternatively initialize each learning session with more proper data.

Add a newline to Bash prompt

Cong — Sat, 15 Jun 2019 11:23:27 +0000

export PS1="$PS1\n\$ "

機械学習メモ

Cong — Thu, 06 Jun 2019 01:27:35 +0000

特に日本語と英語の用語対比

随時更新、時々整理

MiniKFでオンプレ機械学習基盤

Cong — Wed, 05 Jun 2019 23:44:14 +0000

Kubeflow とは Kubernetes ベースの本格的な機械学習基盤です。Google に強力に推進されており、GCPにはワンプッシュでデプロイできます。AWSやAzureにも当然設置可能です。

今回は MiniKFの新登場で、普段の開発マシンやオンプレサーバに簡単に本格的な機械学習基盤 Kubeflow をインストールできるようになりました。

準備

必要なもの

Vagrant
VirtualBox

Macの場合

Brewを使うと楽勝です。

brew cask install vagrant virtualbox

Virtualboxのインストールが The Installation Failed のエラーで失敗した場合は、Macの「セキュリティとプライバシ」の設定で、 "Oracle America, Inc." のソフトウェアを許可してください。

Ubuntuの場合

VirtualBoxは apt で入ります。

sudo apt install virtualbox

しかし、vagrant は apt で入るバージョンが古くて virtualbox に対応していないので、ダウンロードしてインストールしましょう。

https://releases.hashicorp.com/vagrant/2.2.4/vagrant_2.2.4_x86_64.deb

MiniKF 起動・アクセス

mkdir -p ~/w/minikf
cd ~/w/minikf
vagrant init arrikto/minikf
vagrant up

最初の up では、VMイメージのダウンロードに20分くらいかかりますが、VMの起動が終わったら次に MiniKFを起動

vagrant ssh
minikf # vagrant 内

minikfコマンドが成功したら、
Kubeflow 画面 http://10.10.10.10:8080
へアクセスできるようになります。

Macの場合

2019/06/06現在、VM内で minikf コマンドが失敗に終わりました。

An unexpected exception has occured
Line: build/bdist.linux-x86_64/egg/rok_common/cmdutils.py:936
Type: CommandExecutionError
Reason: Command `<ExtCommand `systemctl start data.mount', status=FINISHED (ret: 1), PID=12176, shell=False>' failed: 'Job for data.mount failed. See "systemctl status data.mount" and "journalctl -xe" for details.\n'

The logfile `/home/vagrant/provision.log' may contain more information on this error, including a backtrace.

*** MiniKF provisioning tool terminated. Press Enter to restart, Ctrl-C to exit...

Ubuntuなどオンプレサーバに入れた場合

MacなどからSSHトンネルを接続していきましょう。
サーバ ai.local でMiniKFを動かしていたら、

ssh -NL 8080:10.10.10.10:8080 ai.local &
open http://localhost:8080

によって Kubeflow 画面にいけます。

URL、パスワード

設定情報は本系ドキュメントで確認しましょう。

GPU

MiniKF does not currently support GPU pass-through, but it is definitely in our immediate plans

GPUはまだサポートされていないのですが、直近の開発プランに含まれているとのこと。

おわりに

以上、本番で Kubeflow の運用を考えていたら、開発時に MiniKF を使って、本番と開発の差分を小さくしておきましょう。

本記事はMediumとQiitaからのクロスポストです。

Ubuntu で日本語キーボード

Cong — Fri, 29 Mar 2019 02:13:54 +0000

Ubuntu 18.04 では比較的簡単に日本語入力の設定ができるのだが、キーボードレイアウトがUSのままだと、全角半角ボタンでIMEオンオフができなかったり、@ の場所が違ったりして使いづらいため、キーボードのレイアウトを日本語にしたい。

コンソールで使うキーボードの設定

sudo dpkg-reconfigure keyboard-configuration

Generic 105-key PC (intl.) → Japanese → Japanese → The default for the keyboard layout → No compose key → Yes と入力する。

X(GUI)で使うキーボードの設定

gnome-session-properties

Add → setxkbmap -layout jp → Save
ちなみに、Caps LockキーをCtrlとして使いたければ

setxkbmap -layout jp -option ctrl:nocaps

なお Ctr-Alt-F3 でコンソールへ一時的に切り替えて、
また Ctr-Alt-F2 でX GUIに戻ると、キーボードレイアウトが
USになるバグがあるので、ターミナルに

 setxkbmap -layout jp

で解決。

キーボードレイアウトの確認

$ setxkbmap -print -verbose 10 | grep layout
layout:     jp

Ubuntuの設定ツールで見ると

YaneuraOu NNUE-K-P-256-32-32用評価関数バイナリの使い方

Cong — Thu, 17 Jan 2019 10:17:45 +0000

YaneuraOu NNUE-K-P-256-32-32用評価関数バイナリ nn.binから 20190115_k-p-256-32-32.zipとSource code (zip)をダウンロードする。
Source code (zip) を unzipし、sourceフォルダーに入る
nnue/nnue_architecture.hの #include "architectures/halfkp_256x2-32-32.h" をコメントアウト。代わりに #include "architectures/k-p_256x2-32-32.h" とする。
Makefile で YANEURAOU_EDITION = YANEURAOU_2018_TNK_ENGINEを有効にする
make 実行し、実行バイナリ YaneuraOu-by-gcc を作成
mkdir -p eval の上、 20190115_k-p-256-32-32.zipに含まれる nn.bin を取り出して、 eval フォルダーに置く

Computer Chess/Shogi links

Cong — Thu, 17 Jan 2019 01:37:09 +0000

Howto

将棋ソフト「elmo」をLinuxにインストールする方法 (Linux Fan)
将棋ソフト「やねうら王」をLinuxで動かす方法 (Linux Fan)
「平成将棋合戦ぽんぽこ」をLinuxにインストールする方法　(Linux Fan)
将棋プログラムの作り方 (usapyon)
NNUE評価関数の学習方法について (yaneuraou)

Engines

YaneuraOu mini is a shogi engine(AI player), stronger than Bonanza6 , educational and tiny code(about 2500 lines) , USI compliant engine , capable of being compiled by VC++2017
gunyarakun/python-shogi A pure Python shogi library with move generation and validation and handling of common formats.
niklasf/python-chess A pure Python chess library with move generation and validation, PGN parsing and writing, Polyglot opening book reading, Gaviota tablebase probing, Syzygy tablebase probing and UCI/XBoard engine communication

評価関数

YaneuraOu フロッピーディスクに収まる評価関数バイナリ公開

GUI

商品

Protocols

CSA通信プロトコル: 第17回世界コンピュータ将棋選手権からこのプロトコルが必須。審判サーバを使用するサーバプロトコルと、審判サーバが利用できない場合の1対1プロトコルがあります。
USIプロトコル: 将棋GUIと将棋エンジンを繋げて、棋譜解析、対局を行う｡

Associations

Lectures

将棋で磨く知性と感性 (東京大学教養学部前期課程全学体験ゼミ）

Docker command to try the Ionic Preview app

Cong — Tue, 08 Jan 2019 04:13:00 +0000

docker run --rm -p 8100:8100 --namionic node:8 bash -c \
  "git clone https://github.com/ionic-team/ionic-preview-app.git; cd ionic-preview-app &&\
  npm install && npm install -g ionic && ionic serve"

open http://localhost:8100