DEV Community: nabbisen

matten: 不均一なデータを `--features dynamic` で扱う

nabbisen — Thu, 02 Jul 2026 09:00:00 +0000

これは matten を紹介する全 4 回シリーズの第 3 回です。前回は数値計算のコア部分を紹介しました。今回は雑然とした実世界のデータを取り込むしくみについてです。

課題事項

前回紹介した Tensor （数値テンソル）は、つくられた時点からクリーンです。すべてのセルが f64 です。データがすでにクリーンであれば、それで問題ありません。しかし、データが JSON API や CSV ファイル経由で投入され、その中に欠損セルや、整数と浮動小数点の混在、あるいは bool 値（フラグ）が含まれているような場合となると、どうでしょうか。話は変わって来ます。

dynamic feature は、そのような場合の助けになります。データ取り込みとクリーニングのレイヤーを追加します。ただし、これは第二の計算エンジンではありません — dynamic テンソルで直接算術演算はできません。考え方はもっとシンプルです。不均一なデータを取り込み、検査してクリーニングし、データが整ったと確信したら数値テンソルに明示的に変換します。

次のようにして有効化できます：

matten = { version = "0.28", features = ["dynamic"] }

混在データの取り込み

from_json_dynamic と from_csv_dynamic は、型が混在したデータを受け付けます。各セルは Element のバリアントに格納されます：Float、Int、Bool、Text、または None（JSON の null や CSV の空フィールド）。

use matten::{NumericPolicy, Tensor};

// 数値の種類が混在し、かつ欠損セルが存在する JSON テーブル
let json = "[[1, 2.5, null], [4.0, 5, 6]]";
let t = Tensor::from_json_dynamic(json)?;

assert!(t.is_dynamic());
assert_eq!(t.shape(), &[2, 3]);
assert_eq!(t.count_none(), 1);

同様の処理は CSV でも動きます：

use matten::Tensor;

let csv = "10.0,20.0,30.0\n40.0,,60.0\n70.0,80.0,\n"; // 空セルが 2 つ
let t = Tensor::from_csv_dynamic(csv)?;

assert_eq!(t.count_none(), 2);

フォーマットが異なるだけで、ワークフローは同じです。

欠損値の検査

クリーニングの前に、どこに欠損があるか確認できます：

// none_mask: セルごとに 0.0 / 1.0 の数値テンソル
let mask = t.none_mask();
assert_eq!(mask.get(&[0, 2]), Some(1.0)); // [0,2] に null
assert_eq!(mask.get(&[0, 0]), Some(0.0)); // 値あり

// schema_summary で型の内訳を読みやすく確認
println!("{}", t.schema_summary());
// 例: "Float: 4, Int: 1, None: 1"

数値テンソルへの変換

変換ステップは意図的に明示的にしています。try_numeric() は厳格です。None、Bool、Text が 1 つでもあれば変換を拒否します：

// データに null があるため失敗する
assert!(t.try_numeric().is_err());

try_numeric_with(policy) を使うと、各バリアントをどう扱うかを指定できます：

use matten::NumericPolicy;

// None を 0.0 として扱い、Int と Float はそのまま f64 に
let clean = t.try_numeric_with(NumericPolicy::default().none_as(0.0))?;

assert!(!clean.is_dynamic());
assert_eq!(clean.as_slice(), &[1.0, 2.5, 0.0, 4.0, 5.0, 6.0]);

その他の指定オプション：

// none_as_nan: 欠損を指定した値ではなく f64::NAN に
let p = NumericPolicy::default().none_as_nan();

// allow_bool: true → 1.0, false → 0.0
let p = NumericPolicy::default().allow_bool();

// allow_text_parse: テキストセルを f64 としてパースを試みる
let p = NumericPolicy::default().allow_text_parse();

// オプションを組み合わせる
let p = NumericPolicy::default().none_as(0.0).allow_bool();

// すべてのバリアントを受け入れる
let p = NumericPolicy::permissive();

変換前のクリーニング

変換ステップの前に欠損値を埋めることもできます：

// None をすべて 0.0 で埋める
let filled = t.fill_none(0.0);
assert!(filled.is_numeric_convertible());

// そのあと厳格に変換
let numeric = filled.try_numeric()?;

時系列データ向けに forward_fill_none（前の値で補完）も使えます。

dynamic でできないこと

dynamic feature には意図的に含まれていないものがあります：

dynamic テンソルでの算術演算は不可。事前に try_numeric() を実行してください。
dynamic テンソルの reshape、slice、reduction は不可。
dynamic テンソルの serde シリアライズは不可。

狙いは、きれいな受け渡しです。雑然とした入力 → 検査とクリーニング → 数値 Tensor → 通常の数値計算。この境界は意図的なものです。

リンク: crates.io · docs.rs · mdBook · リポジトリ

matten: Heterogeneous data with `--features dynamic`

nabbisen — Thu, 02 Jul 2026 08:00:00 +0000

This is the third of four short posts about matten. The previous post covered the numeric core. This one covers a separate feature: ingesting messy, real-world data.

The problem

The numeric Tensor in the previous post is clean by construction: every cell is an f64. That is fine when your data is already clean. It is less fine when it arrives from a JSON API or a CSV file that has missing cells, integer values alongside floats, or the occasional boolean flag.

The dynamic feature adds an ingestion-and-cleanup layer for that case. It is not a second compute engine — you cannot do arithmetic on a dynamic tensor directly. The idea is simpler: ingest heterogeneous data, inspect and clean it, then convert explicitly to a numeric tensor when you are confident the data is ready.

Enable it:

matten = { version = "0.28", features = ["dynamic"] }

Ingesting mixed data

from_json_dynamic and from_csv_dynamic accept data with mixed types. Each cell lands in an Element variant: Float, Int, Bool, Text, or None (for JSON null or an empty CSV field).

use matten::{NumericPolicy, Tensor};

// A JSON table with mixed numeric kinds and a missing cell
let json = "[[1, 2.5, null], [4.0, 5, 6]]";
let t = Tensor::from_json_dynamic(json)?;

assert!(t.is_dynamic());
assert_eq!(t.shape(), &[2, 3]);
assert_eq!(t.count_none(), 1);

The same on-ramp works for CSV:

use matten::Tensor;

let csv = "10.0,20.0,30.0\n40.0,,60.0\n70.0,80.0,\n"; // two empty cells
let t = Tensor::from_csv_dynamic(csv)?;

assert_eq!(t.count_none(), 2);

The format differs; the workflow does not.

Inspecting missing values

Before cleaning, you can see where the gaps are:

// none_mask: a numeric tensor of 0.0 / 1.0, one per cell
let mask = t.none_mask();
assert_eq!(mask.get(&[0, 2]), Some(1.0)); // null at [0,2]
assert_eq!(mask.get(&[0, 0]), Some(0.0)); // present

// schema_summary gives a readable type breakdown
println!("{}", t.schema_summary());
// e.g. "Float: 4, Int: 1, None: 1"

Converting to a numeric tensor

The conversion step is explicit by design. try_numeric() is strict and refuses if any None, Bool, or Text values are present:

// This fails — there is a null in the data
assert!(t.try_numeric().is_err());

try_numeric_with(policy) lets you state exactly what to do with each variant:

use matten::NumericPolicy;

// Treat None as 0.0; Int and Float both become f64
let clean = t.try_numeric_with(NumericPolicy::default().none_as(0.0))?;

assert!(!clean.is_dynamic());
assert_eq!(clean.as_slice(), &[1.0, 2.5, 0.0, 4.0, 5.0, 6.0]);

Other policy options:

// none_as_nan: missing → f64::NAN instead of a chosen sentinel
let p = NumericPolicy::default().none_as_nan();

// allow_bool: true → 1.0, false → 0.0
let p = NumericPolicy::default().allow_bool();

// allow_text_parse: try to parse text cells as f64
let p = NumericPolicy::default().allow_text_parse();

// Chain options together
let p = NumericPolicy::default().none_as(0.0).allow_bool();

// Accept all variants permissively
let p = NumericPolicy::permissive();

Cleaning before converting

You can also fill missing values before the conversion step:

// Replace every None with 0.0 in place
let filled = t.fill_none(0.0);
assert!(filled.is_numeric_convertible());

// Then convert strictly
let numeric = filled.try_numeric()?;

forward_fill_none is also available for time-series-style forward propagation.

What dynamic is not

A few things that are intentionally absent from the dynamic feature:

No arithmetic on dynamic tensors. Call try_numeric() first.
No dynamic reshape, slice, or reduction.
No serde for dynamic tensors.

The point is a clean handoff: messy input → inspect and clean → numeric Tensor → ordinary numeric work. That boundary is deliberate.

Links: crates.io · docs.rs · mdBook · repository

matten: `Tensor` コア

nabbisen — Tue, 30 Jun 2026 02:30:00 +0000

これは matten を紹介する全 4 回シリーズの第 2 回です。第 1 回では背景を説明しました。今回はライブラリの実際の使い方を紹介します。

はじめ方

# Cargo.toml
[dependencies]
matten = "0.28"

デフォルトの features には serde、json、csv が含まれています。依存関係をできるだけ小さくしたい場合は無効にします：

matten = { version = "0.28", default-features = false }

テンソルをつくる

use matten::Tensor; をインポートするだけです。ジェネリクスの型パラメータも、ライフタイムアノテーションも不要です。

use matten::Tensor;

// データとシェイプを明示してつくる
let a = Tensor::new(vec![1.0, 2.0, 3.0, 4.0], &[2, 2]);
assert_eq!(a.shape(), &[2, 2]);
assert_eq!(a.ndim(), 2);

// 便利なコンストラクタ
let z = Tensor::zeros(&[3, 3]);
let o = Tensor::ones(&[3, 3]);
let f = Tensor::full(&[2, 4], 5.0);

境界スタイルのコンストラクタを使うと、シェイプの不一致はパニックではなくエラーとして返ります：

use matten::{MattenError, Tensor};

let result = Tensor::try_new(vec![1.0, 2.0, 3.0], &[2, 2]);
assert!(matches!(result, Err(MattenError::Shape { .. })));

算術演算とブロードキャスト

演算子は参照を受け取ります。そのため、もとの値の所有権を保持したまま使えます。シェイプのブロードキャストは NumPy 方式の右揃えルールに従います。

use matten::Tensor;

let a = Tensor::new(vec![1.0, 2.0, 3.0, 4.0], &[2, 2]);
let b = Tensor::ones(&[2, 2]);

let c = &a + &b;          // [2.0, 3.0, 4.0, 5.0]
let d = &a * 2.0;         // スカラーブロードキャスト: [2.0, 4.0, 6.0, 8.0]

// 行ベクトルを行列全体にブロードキャスト
let row = Tensor::new(vec![1.0, 2.0], &[1, 2]);
let mat = Tensor::ones(&[3, 2]);
let result = &mat + &row; // シェイプ [3, 2]

シェイプ操作

use matten::Tensor;

let t = Tensor::new(vec![1.0, 2.0, 3.0, 4.0, 5.0, 6.0], &[2, 3]);

let flat = t.flatten();           // シェイプ [6]
let reshaped = t.reshape(&[3, 2])?;
let transposed = t.transpose()?;  // シェイプ [3, 2]

// リダクション
let s = t.sum();          // スカラー
let m = t.mean()?;
let col_sums = t.sum_axis(0)?;    // シェイプ [3]

JSON と CSV

どちらもデフォルトで有効です。境界部分では Result を返すので、不正な入力はパニックではなくエラーとして扱われます。

use matten::Tensor;

// JSON — 受け付け可能な形式
let t = Tensor::from_json(r#"{"shape":[2,2],"data":[1.0,2.0,3.0,4.0]}"#)?;
let t = Tensor::from_json("[[1.0, 2.0], [3.0, 4.0]]")?;

// ファイルから読み込む
let t = Tensor::load_json("data/tensor.json")?;

// CSV
let t = Tensor::from_csv("1.0,2.0,3.0\n4.0,5.0,6.0\n")?;
let t = Tensor::load_csv("data/matrix.csv")?;

serde 経由のシリアライズも使えます。json または serde feature が有効なとき、serde_json::to_string(&t) と serde_json::from_str(&json_str) で正しくラウンドトリップします。

エラーハンドリング

matten には、意図的に 2 つのエラー種別があります。

シェイプ操作（new での構築、reshape、スライス）はパニックし、わかりやすいメッセージを出します — 素早いプロトタイプ開発中に問題をすぐ見つけられるように。
外部境界の操作（from_json、from_csv、load_*）は常に Result<Tensor, MattenError> を返し、通常の不正入力ではパニックしません。実際のデータは常にクリーンとは限らないので。
- MattenError は #[non_exhaustive] です。気になるバリアントにマッチし、残りはワイルドカードで受けてください：

use matten::{MattenError, Tensor};

match Tensor::from_csv("1.0,not_a_number\n") {
    Ok(t) => println!("shape {:?}", t.shape()),
    Err(MattenError::Parse { .. }) => println!("不正な入力"),
    Err(e) => println!("その他のエラー: {e:?}"),
}

日常的な数値計算のコア部分は以上です。次の記事では少し異なる状況を扱います — 入力データがクリーンな f64 の行列ではないとき、つまり型が混在していたり、欠損値があったり、整数と浮動小数点が混在している場合です。

リンク: crates.io · docs.rs · mdBook · リポジトリ

matten とは: ファミリーカー式テンソルライブラリ — Rust 言語

nabbisen — Mon, 29 Jun 2026 20:30:00 +0000

多次元配列を扱うための小さな Rust ライブラリ matten を公開しました。このライブラリが生まれた背景を記載します。

Rust は数値計算やデータ処理に適した言語です。ただ、そういった作業を「始める」こと — 行列を用意して、足し算ができる状態にするだけ — が、プロトタイプの段階では必要以上に手間が掛かることがあります。

既存のライブラリは高機能で、しっかりとメンテナンスされています。パフォーマンスが必要なら ndarray や nalgebra を選ぶと良いでしょう。これらはプロダクション品質の数値計算コードに適したライブラリです。
ただしそこには学習コストが伴います。ジェネリクスの型パラメーター、ストレージの抽象化、ビュー型、ライフタイムの考慮。そのコストが見合う場面は多いです。しかし、概念実証の初日から常に見合うとは限りません。

matten が埋めようとしているのは、狭いけれど無視できないこともあるそのギャップです。初期段階の数値計算を、もう少し気軽に始められるようにする — 最初の 1 時間を、型システムではなく問題そのものに使えるように。

プロジェクトの説明で、これを「ファミリーカー」にたとえています。乗り込みやすく、運転が予測しやすく、日常のほとんどの用途に十分快適。レーシングカーではありません。そうなろうともしていません。

具体的には以下を意味します：

ジェネリクスなしのシンプルな一つだけの公開型、Tensor。
通常の使い方でユーザーがライフタイムを意識する場面は無し。
シェイプが合わないときは人間にとってわかりやすいエラーメッセージ。
JSON と CSV サポートがデフォルトで有効。データの入出力を手軽に。
コード全体で #![forbid(unsafe_code)]。

次のことは意味しません：ホットパスで既存ライブラリより速い。

この点はライブラリスコープ外です。このライブラリはその点を明示しています。プロトタイプが成熟してパフォーマンス要件を満たす必要が生じた時、その部分をより高性能なライブラリに移行するのが正しい判断です。

matten-ndarray はまさにそのための橋渡しとして存在しており、フラットな Vec<f64> のストレージ構造がデータの移動を簡単にしています。

P.S. — ライブラリ名の由来は "mathematical tensor" ...ではありません 😜 方言「待ってん (待ったねん)」からとっています。私たちは時間をつくりながら開発しました。使う人にとっても自分の時間の中で楽な気持ちで使えるものでありますように。

リンク: crates.io · docs.rs · mdBook · リポジトリ

matten: The core `Tensor`

nabbisen — Mon, 29 Jun 2026 13:21:42 +0000

This is the second of four short posts about matten. The first post explained the motivation. This one shows what the library looks like in practice.

Getting started

# Cargo.toml
[dependencies]
matten = "0.28"

The default feature set includes serde, json, and csv. If you want the smallest possible dependency footprint, you can turn them off:

matten = { version = "0.28", default-features = false }

Creating tensors

The whole import is use matten::Tensor;. No generic parameters, no lifetime annotations.

use matten::Tensor;

// From data and an explicit shape
let a = Tensor::new(vec![1.0, 2.0, 3.0, 4.0], &[2, 2]);
assert_eq!(a.shape(), &[2, 2]);
assert_eq!(a.ndim(), 2);

// Convenience constructors
let z = Tensor::zeros(&[3, 3]);
let o = Tensor::ones(&[3, 3]);
let f = Tensor::full(&[2, 4], 5.0);

Shape mismatches produce an actionable error rather than a panic when you use the boundary-style constructor:

use matten::{MattenError, Tensor};

let result = Tensor::try_new(vec![1.0, 2.0, 3.0], &[2, 2]);
assert!(matches!(result, Err(MattenError::Shape { .. })));

Arithmetic and broadcasting

The operators work on references, so you keep ownership of the originals. Shape broadcasting follows NumPy-style right-alignment rules.

use matten::Tensor;

let a = Tensor::new(vec![1.0, 2.0, 3.0, 4.0], &[2, 2]);
let b = Tensor::ones(&[2, 2]);

let c = &a + &b;          // [2.0, 3.0, 4.0, 5.0]
let d = &a * 2.0;         // scalar broadcast: [2.0, 4.0, 6.0, 8.0]

// Broadcasting a row across a matrix
let row = Tensor::new(vec![1.0, 2.0], &[1, 2]);
let mat = Tensor::ones(&[3, 2]);
let result = &mat + &row; // shape [3, 2]

Shape operations

use matten::Tensor;

let t = Tensor::new(vec![1.0, 2.0, 3.0, 4.0, 5.0, 6.0], &[2, 3]);

let flat = t.flatten();           // shape [6]
let reshaped = t.reshape(&[3, 2])?;
let transposed = t.transpose()?;  // shape [3, 2]

// Reductions
let s = t.sum();          // scalar
let m = t.mean()?;
let col_sums = t.sum_axis(0)?;    // shape [3]

JSON and CSV

Both are on by default. The API returns Result at the boundary, so a malformed input gives you an error rather than a panic.

use matten::Tensor;

// JSON — two accepted forms
let t = Tensor::from_json(r#"{"shape":[2,2],"data":[1.0,2.0,3.0,4.0]}"#)?;
let t = Tensor::from_json("[[1.0, 2.0], [3.0, 4.0]]")?;

// From a file
let t = Tensor::load_json("data/tensor.json")?;

// CSV
let t = Tensor::from_csv("1.0,2.0,3.0\n4.0,5.0,6.0\n")?;
let t = Tensor::load_csv("data/matrix.csv")?;

Serialisation goes through serde, so serde_json::to_string(&t) and serde_json::from_str(&json_str) round-trip correctly when the json or serde feature is active.

Error handling

matten has two deliberate error zones.

Internal shape operations (constructing from new, reshaping, slicing) panic with an actionable message — useful during fast prototyping because you see the problem immediately.
External boundary operations (from_json, from_csv, load_*) always return Result<Tensor, MattenError>, because real input data is not always clean.
- MattenError is #[non_exhaustive], so match on the variant you care about and use a wildcard for the rest:

use matten::{MattenError, Tensor};

match Tensor::from_csv("1.0,not_a_number\n") {
    Ok(t) => println!("got shape {:?}", t.shape()),
    Err(MattenError::Parse { .. }) => println!("bad input"),
    Err(e) => println!("other error: {e:?}"),
}

That covers the everyday numeric core. The next post covers something different: what happens when the input data is not a clean f64 matrix — when it has mixed types, missing values, or integers alongside floats.

Links: crates.io · docs.rs · mdBook · repository

matten Introduction: A family-car tensor library for Rust

nabbisen — Mon, 29 Jun 2026 01:45:50 +0000

I recently published matten, a small Rust library for working with multidimensional arrays. This is the first of four short posts introducing it. This one is about why it exists.

Rust is a great language for numerical and data-oriented work. But starting that work — just getting to the point where you have a matrix and can add two of them together — takes more effort than it probably should at the prototype stage.

The established libraries are capable and well-maintained. If you need performance, reach for ndarray or nalgebra. They are the right tools for production numerical code.
But they come with a learning curve: generic type parameters, storage abstractions, view types, lifetime considerations. That overhead is often worth it. It is not always worth it on day one of a proof of concept.

The gap matten fills is narrow and deliberate: making early-stage numerical Rust work feel less ceremonial, so you can spend the first hour on the problem rather than on the type system.

The project description borrows a modest analogy: a family car. Easy to get into, predictable to drive, comfortable enough for most everyday trips. Not a racing car. Not trying to be one.

Concretely that means:

One primary public type, Tensor, with no generic parameters.
No user-visible lifetimes in ordinary usage.
Human-readable error messages when shapes do not match.
JSON and CSV support on by default, for moving data in and out without ceremony.
#![forbid(unsafe_code)] throughout.

What it does not mean: faster than the alternatives on hot paths. The library is explicit about this. When a prototype grows into something performance-critical, the right move is to migrate that part of the work to a more capable library. matten-ndarray exists specifically for that handoff, and the flat Vec<f64> storage makes the data easy to move.

P.S. — The name is from mathematical tensor NOT 😜 It's from a Japanese charming dialect meaning "waited for". We took our time, and so can you.

Links: crates.io · docs.rs · mdBook · repository

mdka v2 Release

nabbisen — Tue, 21 Apr 2026 22:36:15 +0000

We have released v2 of mdka, a Rust-based HTML-to-Markdown converter. Originally developed as a core component for our internal systems, we have refined it into a general-purpose library for public release.

v2 strikes a practical balance between conversion quality and runtime efficiency—delivering readable output without sacrificing speed or memory. By focusing solely on its core task, this "Unix-style" tool achieves a lightweight footprint while maintaining competitive performance. We are pleased to share this utility with the community.

Full documentaions:
https://nabbisen.github.io/mdka-rs/

jwt-encde 1.1: npm packages for cross-platform published

nabbisen — Fri, 30 Jan 2026 09:11:20 +0000

jwt-encde, local and fast GUI JWT encoder/decoder, 1.1 🎉 now supports installation via npm 🤍

npm install -g jwt-encde
npx jwt-encde

jwt-encde: A simple way to handle JWTs on your desktop

nabbisen — Wed, 21 Jan 2026 13:20:08 +0000

If you're looking for a way to analyze JWTs without using online tools, jwt-encde might be helpful.

It is a dedicated GUI app that brings JWT decoding and encoding to your local desktop. The first stable version was released today, built with Rust and iced.

Why and when jwt-encde ?

100% Offline: Total privacy and information security. No logs, no tracking, no leaks.
Robust Design. Simple & Intuitive: Just a clean, high-performance and error-prevention UI ensures you focus on what's relevant to your current data.
Smart Analysis: Includes JSON syntax highlighting and a built-in Unix timestamp converter to make debugging easier.

And NOT when:

It doesn't support signature verification, as typically handled during integration tests with an IDaaS.

Available for Windows, macOS, and Linux: https://github.com/nabbisen/jwt-encde

MariaDB 11.4 on OpenBSD 7.8: Install

nabbisen — Wed, 03 Dec 2025 14:27:55 +0000

Summary

MariaDB is one of the most popular relational database management systems (RDBMS), forked from MySQL by some of the original developers.
It is open source licensed under GNU GPL 2, and ready for both community and enterprise use with long history and large knowledge to manage and maintain.

To Install it on OpenBSD, the solid and clean operating system, is easy thanks to the Package Management system ("ports") maintained by the great project and the community.

This post shows how to do it.

Environment

OS: OpenBSD 7.8
Database: MariaDB 11.4.9
- It's LTS.

Basic steps

Just a few !!

# pkg_add mariadb-server
# rcctl enable mysqld

# mariadb-install-db

# rcctl start mysqld

# mariadb-secure-installation
# # several questions will be given

All of the description is below.

Tutorial

Install the package

$ doas pkg_add mariadb-server

The result was:

quirks-7.147 signed on 2025-12-01T09:05:47Z
mariadb-server-11.4.9v1:(...): ok
mariadb-server-11.4.9v1: ok
The following new rcscripts were installed: /etc/rc.d/mysqld
See rcctl(8) for details.
New and changed readme(s):
    /usr/local/share/doc/pkg-readmes/mariadb-server

As above, the pkg-readme is brought as /usr/local/share/doc/pkg-readmes/mariadb-server.

Activate daemon

$ doas rcctl enable mysqld

Run `mariadb-install-db`

Create the default database:

$ doas mariadb-install-db

The result was:

Installing MariaDB/MySQL system tables in '/var/mysql' ...
OK


Two all-privilege accounts were created.
One is root@localhost, it has no password, but you need to
be system 'root' user to connect. Use, for example, sudo mariadb
The second is _mysql@localhost, it has no password either, but
you need to be the system '_mysql' user to connect.
After connecting you can set the password, if you would need to be
able to connect as any of these users with a password and without sudo

See the MariaDB Knowledgebase at https://mariadb.com/kb

You can start the MariaDB daemon with:
/etc/rc.d/mysqld start

Please report any problems at https://mariadb.org/jira

The latest information about MariaDB is available at https://mariadb.org/.

Consider joining MariaDB's strong and vibrant community:
https://mariadb.org/get-involved/

Start daemon

$ doas rcctl start mysqld
mysqld(ok)

Run `mariadb-secure-installation`

$ doas mariadb-secure-installation

Start (Before the questions)

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB
      SERVERS IN PRODUCTION USE!  PLEASE READ EACH STEP CAREFULLY!

Several questions given

Q1: Current root password

It must be none for the first time. Just push Enter.

In order to log into MariaDB to secure it, we'll need the current
password for the root user. If you've just installed MariaDB, and
haven't set the root password yet, you should just press enter here.

Enter current password for root (enter for none): 
OK, successfully used password, moving on...

At all the questions below, my choice is written down. Actually, they are up to your environment.

Q2: Use unix_socket authentication instead of root password

Setting the root password or using the unix_socket ensures that nobody
can log into the MariaDB root user without the proper authorisation.

You already have your root account protected, so you can safely answer 'n'.

Switch to unix_socket authentication [Y/n] n
 ... skipping.

Q3: Set root password

You already have your root account protected, so you can safely answer 'n'.

Change the root password? [Y/n] y
New password: 
Re-enter new password: 
Password updated successfully!
Reloading privilege tables..
 ... Success!

Q4: Remove anonymous users

By default, a MariaDB installation has an anonymous user, allowing anyone
to log into MariaDB without having to have a user account created for
them.  This is intended only for testing, and to make the installation
go a bit smoother.  You should remove them before moving into a
production environment.

Remove anonymous users? [Y/n] y
 ... Success!

Q5: Disallow root login remotely

Normally, root should only be allowed to connect from 'localhost'.  This
ensures that someone cannot guess at the root password from the network.

Disallow root login remotely? [Y/n] y
 ... Success!

Q6: Remove test database

By default, MariaDB comes with a database named 'test' that anyone can
access.  This is also intended only for testing, and should be removed
before moving into a production environment.

Remove test database and access to it? [Y/n] y
 - Dropping test database...
 ... Success!
 - Removing privileges on test database...
 ... Success!

Q7: Reload privilege tables

Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.

Reload privilege tables now? [Y/n] y
 ... Success!

End (The rest)

Cleaning up...

All done!  If you've completed all of the above steps, your MariaDB
installation should now be secure.

Thanks for using MariaDB!

Conclusion

You may confirm your daemon is fine with:

$ doas rcctl check mysqld
mysqld(ok)

Well, let's login to the server as client with root, the superuser:

$ mysql -u root -p

After entering the password, you must be welcomed:

Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 11
Server version: 11.4.9-MariaDB OpenBSD port: mariadb-server-11.4.9v1

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]>

The command line examples:

-- create database
CREATE DATABASE <database> \
    CHARACTER SET utf8mb4 \
    COLLATE utf8mb4_unicode_ci;

-- create user for it
GRANT ALL PRIVILEGES \
    ON <database>.* \
    TO <dbuser>@'localhost' \
    IDENTIFIED BY '<dbpass>';

-- reload privileges
FLUSH PRIVILEGES;

🎵 🐬 Happy storing digitally 🐬 🎵

OpenBSD 7.7 を 7.8 へアップグレード

nabbisen — Sun, 16 Nov 2025 09:50:02 +0000

はじめに

OpenBSD プロジェクトから 2025 年 10 月 22 日に OS の 7.8 がリリースされました 🌷 59 回目のリリースに当たります。

What's New | Changelog

本記事で OpenBSD 7.7 を 7.8 にアップグレードする手順を説明します。
各手順はすばらしい公式ガイド (英語) に基づいています。

チュートリアル

実行するコマンド一式を示しながら、ステップ・バイ・ステップ形式で書いた、アップグレード用のガイドです。

🌊 🐡 🌊

1. アップグレード前準備: 検証とカスタイマイズ

公式のチュートリアルには Before using any upgrade method (私訳: アップグレード方法に関わらずその前に行うこと) セクションが設けられています。

アップグレード方法としては sysupgrade を使うのが、たいていの場合、良い選択になるでしょう。

ディスク空き容量の確認

/usr に 1.1GB 以上の空きがあることが必要です。

$ df -h
Filesystem     Size    Used   Avail Capacity  Mounted on
(...)
/dev/sd1e      7.6G    3.5G    3.7G    50%    /usr

OK のようです :)

現在の利用内容がアップグレード結果に適合することの確認

設定と構文の変更 (英語) と特別なパッケージ (英語) を確認しましょう。
後者に関して、今回は PHP が含まれています。デフォルトバージョンが 8.3 に変更されています:

The default version of PHP in ports has changed from 8.2 to 8.3.

バックアップ (必要な場合)

適宜、事前にバックアップを取得しておきましょう。

アップグレード内容のカスタマイズ (必要な場合)

ここは参照用であり、標準のアップグレードではスキップできます。

/auto_upgrade.conf をレスポンス・ファイルとして利用できます。
OpenBSD の autoinstall のドキュメントに、次のように書かれています:

If either /auto_install.conf or /auto_upgrade.conf is found on bsd.rd's built-in RAM disk, autoinstall behaves as if the machine is netbooted, but uses the local response file. In case both files exist, /auto_install.conf takes precedence.

(私訳: /auto_install.conf または /auto_upgrade.conf が bsd.rd 内蔵の RAM ディスクに存在する場合、autoinstall は、ネットブートモードで起動されたマシンのように振る舞いますが、ローカルにあるレスポンス・ファイルを使用します。両方のファイルが存在する場合、/auto_install.conf が優先されます。)

/auto_upgrade.conf の完全な内容の一例は次のようなものです:

Location of sets = disk
Pathname to the sets = /home/_sysupgrade/
Set name(s) = -x*
Set name(s) = +xbase*
Set name(s) = -game*
Set name(s) = done
Directory does not contain SHA256.sig. Continue without verification = yes

この場合、xbase を除く x 一式と game が、インストール対象外になります。

それから /upgrade.site を用いた指定も可能です。

2. `sysupgrade` によるアップグレード

準備は良いですか。

* 注意: 以下のコマンド sysupgrade は、ひとたび実行すると中断はできません。

準備ができたら、以下のコマンドを実行しましょう。実行するのはこれだけです:

$ doas sysupgrade

以下のように出力されるでしょう:

Fetching from https://cdn.openbsd.org/pub/OpenBSD/7.8/amd64/
SHA256.sig   100% |***********************************************************|  2324       00:00    
Signature Verified
BUILDINFO    100% |***********************************************************|    54       00:00    
Verifying old sets.
INSTALL.amd64 100% |**********************************************************| 44889       00:00    
base78.tgz   100% |***********************************************************|   498 MB    00:40    
bsd          100% |***********************************************************| 31408 KB    00:02    
bsd.mp       100% |***********************************************************| 31506 KB    00:02    
bsd.rd       100% |***********************************************************|  4691 KB    00:00    
comp78.tgz   100% |***********************************************************| 88484 KB    00:07    
game78.tgz   100% |***********************************************************|  2742 KB    00:00    
man78.tgz    100% |***********************************************************|  8286 KB    00:00    
xbase78.tgz  100% |***********************************************************| 74882 KB    00:06    
xfont78.tgz  100% |***********************************************************| 23018 KB    00:01    
xserv78.tgz  100% |***********************************************************| 11812 KB    00:00    
xshare78.tgz 100% |***********************************************************|  4553 KB    00:00    
Verifying sets.
Fetching updated firmware.
fw_update: add none; update intel 
Upgrading.

マシンの再起動とシステムのアップグレードが行われます。ふたたび再起動が行われて、sysmerge が自動で実行されます。それから sshd 等のデーモンが、従来のように起動されます。"Checking for available binary patches..." と出力されて、もし対象が存在すれば "Run syspatch(8) to install:" と表示されるでしょう。

最終的に以下が表示されます:

starting local daemons: cron.
Sat Nov 15 16:45:30 JST 2025

OpenBSD/amd64 ... (ttyC0)

login:

ログインメッセージが表示されています。"OpenBSD 7.8 (GENERIC.MP)" とあります。

3. アップグレード後の操作: `sysmerge` (必要に応じて)

公式ドキュメントにアップグレード後に行うこと (英語) が書かれています。大いに参考になるでしょう。

In some cases, configuration files cannot be modified automatically. Run
# sysmerge
to check and perform these configuration changes.

ここで言われているのは、手動で sysmerge を実行することが必要な場合もある、ということです。
以下のような conf ファイルを、手動でマージすることが必要な場合もあります。気を付けてください:

/etc/login.conf

コマンドを実行してみましょう:

$ doas sysmerge

まず差分が出力されるでしょう。それから以下のようにたずねられます:

  Use 'd' to delete the temporary ./etc/login.conf
  Use 'i' to install the temporary ./etc/login.conf
  Use 'm' to merge the temporary and installed versions
  Use 'v' to view the diff results again

  Default is to leave the temporary file to deal with by hand

How should I deal with this? [Leave it for later]

最初の 3 つは、以下のような挙動になります:

d: 現在の (ローカルの) ファイルを保持する。
i: sysupgrade が取得した新しいファイルでローカルを上書きする。
m: 対話型形式で手動でマージする。

m を入力するとマージモードが立ち上がります。一つ一つの差分について、いずれを採用するのかを確認されるでしょう:

l を入力すると左側が採用されます。
r は右側です。

その後に、マージ結果ファイルに対して、どの操作を行うのかをたずねられます:

  Use 'e' to edit the merged file
  Use 'i' to install the merged file
  Use 'n' to view a diff between the merged and new files
  Use 'o' to view a diff between the old and merged files
  Use 'r' to re-do the merge
  Use 'v' to view the merged file
  Use 'x' to delete the merged file and go back to previous menu
  Default is to leave the temporary file to deal with by hand

===> How should I deal with the merged file? [Leave it for later]

e を入力すると、エディタが起動されてマージ結果ファイルを編集できるようになります。

i を入力すると、マージ結果ファイルをマシンにインストールします:

===> Merging /etc/login.conf (running cap_mkdb(1), needs a relog)

4. `syspatch` の適用 (スキップ可能)

ここからの 2 つのタスクは、日常的なメンテナンスで、システムをアップデートする時にも実施するものです。

syspatch は重要なコマンドです。OpenBSD から、必要と判明し次第都度、継続的に提供される公式のバイナリ・パッチです。

$ doas syspatch

5. パッケージのアップデート

What's new (英語) セクションがリリースページにありますが、そこの "Ports and packages" (Ports とパッケージ (英語)) に "Some highlights" (注目点 (英語)) が記載されています。例えば、VMM/VMD が今回も更新されています。

次のコマンドはマシンにインストールされているすべてのパッケージをアップデートします:

$ doas pkg_add -u

大量の出力が現れるでしょう。これらは慎重に読む必要があります。終わりの部分は特に、です。そこに重要な変更点や実施すべきアクションが書かれているかもしれません。私の場合、fish をデフォルトのシェルとして使っているのですが、こちらが正常に起動することをいつも確認しています。というのも、かつて Python のアップグレードの影響でクラッシュするようになったことがあるからです 😅

6. 設定と構文の変更

必要に応じて conf を更新して、設定と構文の変更 (英語) に書かれている内容を適用しましょう。

今回、build ユーザーへの言及があります。LLVM 19 のビルドに関わることで、ログインクラスを変更する必要があります。

7. 古くなったファイルの削除

ここはシンプルな手順です。公式チュートリアルの削除すべきファイル (英語) に書かれていることを行うだけです。

今回の対象はありません。

8. 特別なパッケージ

公式チュートリアルの特別なパッケージ (英語) を確認しましょう。使っているものがあるかもしれません:

freetds
php
rbw

9. 再起動

ゴールが見えて来ました ! 最後に必須では無いですが再起動しておくと良いしれません:

$ doas reboot

おわりに

新しいシステムとあなたが長く楽しい時間を過ごせますように :)

OpenBSD プロジェクトとコミュニティへの深い感謝を込めつつ。

OpenBSD Upgrade 7.7 to 7.8

nabbisen — Sun, 16 Nov 2025 09:37:28 +0000

Summary

The OpenBSD project released 7.8 of their OS on 22 Oct 2025, as their 59th release 💫

What's New | Changelog

This post shows how to upgrade OpenBSD 7.7 to 7.8.
The steps are based on their official guide with appreciation to them.

Tutorial

Here is a step-by-step guide with a set of command-lines to run.

🌷 🐡 🌅

1. Pre-upgrade: Validate and customize

The official tutorial includes Before using any upgrade method section.

Using sysupgrade is usually a good choice.

Validate available disk size

/usr should be greater than 1.1GB.

$ df -h
Filesystem     Size    Used   Avail Capacity  Mounted on
(...)
/dev/sd1e      7.6G    3.5G    3.7G    50%    /usr

OK :)

Validate compatibility with the current usage

See Configuration and syntax changes and Special packages.
The latter this time includes PHP default version switched to 8.3:

The default version of PHP in ports has changed from 8.2 to 8.3.

Backups (Optional)

You might have to create some backups.

Customize upgrade (Optional)

This step is just for reference, skippable with standard upgrade.

/auto_upgrade.conf is available as the response file.

Of course, you can skip this and go next if it's unnecessary. The default behavior is sufficient in most cases.

Well, the OpenBSD manual page on autoinstall says:

If either /auto_install.conf or /auto_upgrade.conf is found on bsd.rd's built-in RAM disk, autoinstall behaves as if the machine is netbooted, but uses the local response file. In case both files exist, /auto_install.conf takes precedence.

The whole example of /auto_upgrade.conf is like:

Location of sets = disk
Pathname to the sets = /home/_sysupgrade/
Set name(s) = -x*
Set name(s) = +xbase*
Set name(s) = -game*
Set name(s) = done
Directory does not contain SHA256.sig. Continue without verification = yes

In this case, x sets except xbase and game are excluded.

Also, /upgrade.site can be applied.

2. Upgrade with `sysupgrade`

OK. You must be ready.

* Caution: The command below, sysupgrade, is unable to stop once it is run.

Let's just run it, if ready:

$ doas sysupgrade

It will print out like this:

Fetching from https://cdn.openbsd.org/pub/OpenBSD/7.8/amd64/
SHA256.sig   100% |***********************************************************|  2324       00:00    
Signature Verified
BUILDINFO    100% |***********************************************************|    54       00:00    
Verifying old sets.
INSTALL.amd64 100% |**********************************************************| 44889       00:00    
base78.tgz   100% |***********************************************************|   498 MB    00:40    
bsd          100% |***********************************************************| 31408 KB    00:02    
bsd.mp       100% |***********************************************************| 31506 KB    00:02    
bsd.rd       100% |***********************************************************|  4691 KB    00:00    
comp78.tgz   100% |***********************************************************| 88484 KB    00:07    
game78.tgz   100% |***********************************************************|  2742 KB    00:00    
man78.tgz    100% |***********************************************************|  8286 KB    00:00    
xbase78.tgz  100% |***********************************************************| 74882 KB    00:06    
xfont78.tgz  100% |***********************************************************| 23018 KB    00:01    
xserv78.tgz  100% |***********************************************************| 11812 KB    00:00    
xshare78.tgz 100% |***********************************************************|  4553 KB    00:00    
Verifying sets.
Fetching updated firmware.
fw_update: add none; update intel 
Upgrading.

The machine will reboot and upgrade the system. It will reboot again and sysmerge will follow automatically. Then daemons such as sshd will be started as usual. It will print out "Checking for available binary patches...", and you will see "Run syspatch(8) to install:" if there are.

Finally, you will see:

starting local daemons: cron.
Sat Nov 15 16:45:30 JST 2025

OpenBSD/amd64 ... (ttyC0)

login:

After all, when login is successful, you will see the login message including "OpenBSD 7.8 (GENERIC.MP)".

3. Post-upgrade: `sysmerge` if necessary

The official documentation describes on them and helps a lot.

In some cases, configuration files cannot be modified automatically. Run
# sysmerge
to check and perform these configuration changes.

It means manually running sysmerge in addition may be sometimes necessary.
Remember you sometimes have to manually merging conf files such as:

/etc/login.conf

Run:

$ doas sysmerge

When there is difference to be manually merged, you will see the results first. Then you will be asked:

  Use 'd' to delete the temporary ./etc/login.conf
  Use 'i' to install the temporary ./etc/login.conf
  Use 'm' to merge the temporary and installed versions
  Use 'v' to view the diff results again

  Default is to leave the temporary file to deal with by hand

How should I deal with this? [Leave it for later]

Each of the top 3 options work like:

d: to preserve the current file.
i: to overwrite it with the new file sysupgrade brought.
m: to merge them manually and interactively.

If you type m to start merge mode, you will be asked to type each of them at each difference:

l to choose the left diff,
r to choose the right.

Then you will see the options to deal with the merged file:

  Use 'e' to edit the merged file
  Use 'i' to install the merged file
  Use 'n' to view a diff between the merged and new files
  Use 'o' to view a diff between the old and merged files
  Use 'r' to re-do the merge
  Use 'v' to view the merged file
  Use 'x' to delete the merged file and go back to previous menu
  Default is to leave the temporary file to deal with by hand

===> How should I deal with the merged file? [Leave it for later]

If you type e, editor will run with the merged file.

If you type i, the merged file will be installed directly:

===> Merging /etc/login.conf (running cap_mkdb(1), needs a relog)

4. Apply `syspatch` (skippable)

The next two tasks below are usual just in order to update the system, too.

syspatch is an important command to install binary patches officially offered by OpenBSD successively as found to be needed.

$ doas syspatch

5. Update packages

What's new section in the release page also shows "Some highlights" in "Ports and packages". For example, VMM/VMD was improved this time, too.

The command-line below will update all of the packages installed in the machine:

$ doas pkg_add -u

You will see a lot printed out, but should be careful to read, especially the trailings. They may tell there are some important changes or tasks to do. As to me, I always check if fish, my default shell, starts normally, because I have experienced trouble which crashed it with Python upgrade 😅

6. Configuration and syntax changes

Update some conf as needed to apply what Configuration and syntax changes describes.

This time build user is referred to around LLVM 19 build: the login class needs to be modified.

7. Remove old files

This is a simple step. All what to do is just follow Files to remove in the official tutorial.

There is nothing this time.

8. Special packages

Check Special packages in the official tutorial. You may use some of:

freetds
php
rbw

9. Reboot

Almost done ! Finally and optionally run:

$ doas reboot

Conclusion

Hope the new system and you enjoy together long :)

With great appreciation to the OpenBSD project and the community.

DEV Community: nabbisen

matten: 不均一なデータを `--features dynamic` で扱う

課題事項

混在データの取り込み

欠損値の検査

数値テンソルへの変換

変換前のクリーニング

dynamic でできないこと

matten: Heterogeneous data with `--features dynamic`

The problem

Ingesting mixed data

Inspecting missing values

Converting to a numeric tensor

Cleaning before converting

What dynamic is not

matten: `Tensor` コア

はじめ方

テンソルをつくる

算術演算とブロードキャスト

シェイプ操作

JSON と CSV

エラーハンドリング

matten とは: ファミリーカー式テンソルライブラリ — Rust 言語

matten: The core `Tensor`

Getting started

Creating tensors

Arithmetic and broadcasting

Shape operations

JSON and CSV

Error handling

matten Introduction: A family-car tensor library for Rust

mdka v2 Release

jwt-encde 1.1: npm packages for cross-platform published

jwt-encde: A simple way to handle JWTs on your desktop

MariaDB 11.4 on OpenBSD 7.8: Install

Summary

Environment

Basic steps

Tutorial

Install the package

Activate daemon

Run mariadb-install-db

Start daemon

Run mariadb-secure-installation

Start (Before the questions)

Several questions given

Q1: Current root password

Q2: Use unix_socket authentication instead of root password

Q3: Set root password

Q4: Remove anonymous users

Q5: Disallow root login remotely

Q6: Remove test database

Q7: Reload privilege tables

End (The rest)

Conclusion

OpenBSD 7.7 を 7.8 へ アップグレード

はじめに

チュートリアル

1. アップグレード前準備: 検証とカスタイマイズ

ディスク空き容量の確認

現在の利用内容がアップグレード結果に適合することの確認

バックアップ (必要な場合)

アップグレード内容のカスタマイズ (必要な場合)

2. sysupgrade によるアップグレード

3. アップグレード後の操作: sysmerge (必要に応じて)

4. syspatch の適用 (スキップ可能)

5. パッケージのアップデート

6. 設定と構文の変更

7. 古くなったファイルの削除

8. 特別なパッケージ

9. 再起動

おわりに

OpenBSD Upgrade 7.7 to 7.8

Summary

Tutorial

1. Pre-upgrade: Validate and customize

Validate available disk size

Validate compatibility with the current usage

Backups (Optional)

Customize upgrade (Optional)

Run `mariadb-install-db`

Run `mariadb-secure-installation`

OpenBSD 7.7 を 7.8 へアップグレード

2. `sysupgrade` によるアップグレード

3. アップグレード後の操作: `sysmerge` (必要に応じて)

4. `syspatch` の適用 (スキップ可能)

2. Upgrade with `sysupgrade`

3. Post-upgrade: `sysmerge` if necessary

4. Apply `syspatch` (skippable)