DEV Community: Jain Wun

RTX 30系顯卡 + TF 1.15

Jain Wun — Wed, 29 Jun 2022 11:22:23 +0000

30系顯卡終於降價了，來回顧一下怎麼在30系甚至未來的40系的顯卡上繼續使用Tensorflow 1

Nvidia-Docker 安裝 (影片版)

Jain Wun — Tue, 21 Jun 2022 03:00:09 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

WSL2的安裝可以看之前的文章，有一點要補充是必須得用win10 21H2/ 任一版win11
然後windows docker desktop已經自帶nvidia docker不需要額外安裝
nvidia driver的部分也已經內含WSL會需要的

Browser Sync - 在不同裝置的瀏覽器上同步網頁

Jain Wun — Fri, 17 Jun 2022 16:22:53 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

它的設計初衷是可以幫助開發者查看網頁在不同裝置上的使用情況

這裡我們可以把它用來同步顯示html的內容，像是投影片或教學文章等等

由於他支援scroll的同步，理論上連PDF等文字檔案類型也能同步

除了CLI指另外他也能搭配grunt/ gulp做使用

Install

npm install browser-sync

CLI

只要一行就可以serve目前目錄下的所有html

npx browser-sync start --server

執行後會給你目前運作的URL

[Browsersync] Access URLs:
 --------------------------------------
       Local: http://localhost:3000
    External: http://192.168.108.1:3000
 --------------------------------------
          UI: http://localhost:3001
 UI External: http://localhost:3001
 --------------------------------------
[Browsersync] Serving files from: ./

當然port想要的話可以自訂，更多的參數設定可以參考

https://browsersync.io/docs/command-line

UI

會提供目前所有的sync狀況還有相關設定，甚至可以一次控制全部裝置

Reference

Browsersync - Time-saving synchronised browser testing

Youtrube-dl的替代方案 - yt-dlp

Jain Wun — Sat, 11 Jun 2022 09:50:23 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

僅作為示範用，請不要用不法營利上

在一開始yt-dl被下架時出現的fork方案，現在部分功能比yt-dl還完善

Install

Windows

compile好的執行檔可以直接去Github release載

PhantomJS

Download PhantomJS

為了讓yt-dlp能用到PhantomJS，有兩種設定可以選

在system path內做設定 (把phantomjs的bin資料夾加到path內)
把PhantomJS的執行檔移到和yt-dlp的執行檔同一層

Linux

Linux比較建議裝python版的

Python

python3 -m pip install -U yt-dlp

Usage

Windows

.\yt-dlp.exe [OPTIONS] URL

Linux

yt-dlp [OPTIONS] URL

Options

上面提的Options有以下比較常用到的

Login

有些網頁要登入太麻煩可以直接用瀏覽器現成的cookie

> Cookies from browser: Cookies can be automatically extracted from all major web browsers using --cookies-from-browser BROWSER[+KEYRING][:PROFILE]

Know Issue

iq.com

如果影片是被限定前幾周只有會員能看的話，會完全解析不了該網頁

但只要超過了VIP限制的時間範圍該影片就會正常

目前Github上有開相關issue，貌似是iq.com自身的問題

Reference

GitHub - yt-dlp/yt-dlp: A youtube-dl fork with additional features and fixes

[yt-dlp] how I use cookies from browser

Eclipse Theia - 方便客製化的IDE

Jain Wun — Sat, 04 Jun 2022 08:02:46 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

專門為了網頁瀏覽器而生的開源IDE，跟VScode的作法剛好相反過來

像是著名的Gitpod平台使用的就是Eclipse Theia (Gitpod後期有超多IDE可選)

整體介面會和VScode十分的雷同

Install

一開始推出主要focus在網頁瀏覽器上使用，後來也有推出用electron包的desktop版

Docker

由於官方比較建議使用Blueprint來包成desktop app

目前dockerhub上的官方image已經被下架，需要自己build或是找第三方

https://github.com/theia-ide/theia-apps#theia-docker

他比code-server的image好，有為了一些語言先打包好對應環境的docker image

Editor Only (Web Dev)

預設使用的port是3000

docker run -d -p 3000:3000 -v "$(pwd):/home/project:cached" elswork/theia

Gitpod

對於Gitpod想要有更多了解的話可以參考 Gitpod

相較於docker image並沒有維護了，for Gitpod的Dockefile倒是還有在維護

可以在自己架的Gitpod平台或是官方架好的去測試

Gitpod.io

如果用的是Gitpod官方架的平台

直接點 https://gitpod.io/#https://github.com/eclipse-theia/theia 就可以開始體驗了

由於他這時是開發模式所以還需要下指令去啟動IDE (以前打開就會是theia介面，現在是VScode)

yarn browser start ../.. --hostname 0.0.0.0

Build Your Own

透過修改Dockerfile可以建立適合自己的開發環境，撰寫js的話則可以達成客製化的IDE

Eclipse Theia Blueprint

讓你可以實作自己會用到的桌面app，這也是Eclipse Theia包成desktop app的方法

使用的環境並不限定一定要在實體機器上，依舊可以在docker內進行開發

未來會逐漸取代過往使用的electron

Reference

Theia - Cloud and Desktop IDE Platform

theia/Developing.md at master · eclipse-theia/theia

Nvtop - 在Linux即時監控GPU使用率

Jain Wun — Thu, 26 May 2022 14:00:04 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

同時支援Nvidia以及AMD的GPU

Install

Apt



sudo apt update
sudo apt install nvtop

Dockerfile



FROM nvidia/cuda

RUN apt-get update && \
    apt-get install -y cmake libncurses5-dev libncursesw5-dev git && \
    rm -rf /var/lib/apt/lists/*

RUN ln -s /usr/local/cuda-10.1/targets/x86_64-linux/lib/stubs/libnvidia-ml.so /usr/local/lib/libnvidia-ml.so && \
    ln -s /usr/local/cuda-10.1/targets/x86_64-linux/lib/stubs/libnvidia-ml.so /usr/local/lib/libnvidia-ml.so.1 && \
    cd /tmp && \
    git clone https://github.com/Syllo/nvtop.git && \
    mkdir -p nvtop/build && cd nvtop/build && \
    cmake .. && \
    make && \
    make install && \
    cd / && \
    rm -r /tmp/nvtop && \
    rm /usr/local/lib/libnvidia-ml.so && \
    rm /usr/local/lib/libnvidia-ml.so.1

ENTRYPOINT ["/usr/local/bin/nvtop"]

這裡cuda用的是10.2可能得視自身情況修改 (ex: RTX30不支援)

或是可以參考nvtop repo內的Dockerfile

FAQ

### Unable to Locate Package

Update Source List

有可能是清單內沒有可以下載的網址，比較常發生在debian，可以去source list設定non-free



sudo vim /etc/apt/sources.list

在每行的結尾加上空格與non-free (這個做法不適用於Ubuntu)

Manual Compile

有些OS並沒有提供已經編譯好的套件供安裝，這裡就得自己compile了

撰寫文章時只支援Ubuntu 20.04/ 20.10，而18.04已經裝不了

先裝必要的套件



sudo apt install cmake libncurses5-dev libncursesw5-dev git



git clone https://github.com/Syllo/nvtop.git
mkdir -p nvtop/build && cd nvtop/build
cmake .. -DNVIDIA_SUPPORT=ON -DAMDGPU_SUPPORT=ON
make

# Install globally on the system
sudo make install

# Alternatively, install without privileges at a location of your choosing
# make DESTDIR="/your/install/path" install

Reference

GitHub - Syllo/nvtop: AMD and NVIDIA GPUs htop like monitoring tool

Wrap NVTOP in docker (Impossible to initialize nvidia nvml) · Issue #42 · Syllo/nvtop

nvtop not found in Debian Buster repositories · Issue #46 · Syllo/nvtop

Nvidia Docker安裝說明(含WSL2)

Jain Wun — Thu, 19 May 2022 15:33:52 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

Linux下如果還沒裝過docker的話可以參考

https://docs.docker.com/engine/install/ubuntu/

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

WSL2

> WSL2在多次更新後也適用和Linux一樣的安裝方式了
> 21H2後也不用去安裝特殊版的Nvidia driver了
> docker desktop在3.1版後內建支援WSL2上的nvidia-docker

WSL內的Docker也可以用Linux的裝法，但有時候可能會遇到小問題

Linux

要先把nvidia的package server給加進apt的source list

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

然後就可以直接去裝nvidia-docker套件了

sudo apt-get update
sudo apt-get install -y nvidia-docker2

裝好後記得要去把舊有的docker服務給關掉

sudo service docker restart

用Ubuntu裝的話就不用去設定/etc/docker/daemon.json

"default-runtime":"nvidia","runtimes":{"nvidia":{"path":"nvidia-container-runtime","runtimeArgs":[]}}

Test

有多種image可以進行測試，挑一個自己喜歡的就行

最簡單的就是去看nvidia-smi能不能順利運作

sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

Reference

Installation Guide — NVIDIA Cloud Native Technologies documentation

WSL 2 GPU Support for Docker Desktop on NVIDIA GPUs - Docker

在GCP VM上開發Python

Jain Wun — Mon, 09 May 2022 14:13:10 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

在GCP VM上開發Python

GCP預設是不會像oracle cloud/ azure幫你產生好private key

GCP Debian/ Ubuntu VM內預設都沒裝iptables，所以就不像oracle cloud的要特別去設定

Generate SSH Key Pair

可以自行幫私鑰取名 (建議用WSL2建，powershell/ cmd可能會有路徑問題)

ssh-keygen -t rsa -f ~/.ssh/[KEY_FILENAME]

Passphrase可以避免私鑰被拿走就能登入，但是每次登入就要打密碼

先複製一下對應公鑰 (複製到等號前、含等號)

cat ~/.ssh/[key_filename].pub

先暫時保留以下的結果

ssh-rsa [KEY VALUE] [USER_NAME]

GCP VM Setting

不一定要用預設給的username，可以自己創過

到現有VM的設定內去找SSH Key

然後透過add item來放剛剛暫存的key-value pair

打username就好，不需要加上email

Terminal

ssh -i <key_name> <username>@<gcp_ip>

如果用WSL2創的，實際key會在\\wsl$\Ubuntu-18.04\root\.ssh

Pycharm

Interpreter

Pycharm是我個人最常用的IDE，這裡示範直接在Pycharm中透過SSH使用GCP VM

在Pycharm就是去設定SSH Interpreter (可以順便設定Remote Host方便傳檔案)

Default interpreter (conda-forge)會在/opt/conda/bin/python

如果想用VScode連進去，也是相同的道理

Files

要在遠端server上跑code當然必須要上傳data以及code

在剛剛設定interpreter時有設定對應server路徑，上傳到那個位置即可

Reference

Google Cloud Platform (GCP) - How To SSH into your VM

Remote Coding with PyCharm and Google Cloud - DoiT International

Using GCP With PyCharm

[K8s學習筆記] 透過depolyment操控pod

Jain Wun — Mon, 02 May 2022 12:05:02 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

Deployment

Create a Simple Deployment

最簡單的deployment就是啟動某個image，然後不帶其他設定

kubectl create deployment <name-of-depl> --image=<image-name>

可以透過 kubectl get deployment 檢查deploy的狀態

等到狀態變成ready後就可以用 kubectl get pod 看到所有running的pod

pod name是由replicaset id + pod id組成

通常也不會去動replicaset，他會在deployment時由K8s自動設定

Pod info

要看pod的更詳細訊息可以用

kubectl describe pod <pod_name>

會分別列出到pod成功running前的各步驟花了多久時間

Debug a Pod

如果deploy失敗或是要查看log，可以使用

kubectl logs <pod-name>

要連進某個pod的terminal可以透過

kubectl exec -it <pod_name> -- bin/bash

用法和在docker要連進contianer的terminal非常類似

Edit the Deployment

kubectl edit deployment <name-of-depl>

當你修改並儲存deployment的設定後，pod就會自動重建 (舊的被刪掉，直接創新的)

但是舊的replicaset並不會被刪掉，只會把剛剛那個Pod從中移除

Delete the Deployment

要連帶pod + replicaset 一併刪除的話

kubectl delete deployment <depl-name>

可以透過kubectl get replicaset去確認

Create Deployment with YAML File

比較常見的做法還是先寫好YAML檔再去deploy

kubectl apply -f <filename>

deployment這種型態會根據kind還有apiVersion來決定

apiVersion: apps/v1
kind: Deployment

如果以這種方式deploy的，往後只要修改檔案，pod就會自動重建了

Reference

Kubectl Basic Commands - Create and Debug Pod in a Minikube cluster | Kubernetes Tutorial 18

瀏覽器連到VNC Server

Jain Wun — Mon, 25 Apr 2022 13:05:40 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
Youtube頻道 https://www.youtube.com/c/增廣建文

noVNC實際上也是透過Websockify連線到VNC sever

以前他們兩個是一起包在同一個GitHub repo下，後來分開維護了

但是安裝noVNC時還是會自動去裝Websockify

Insatll

如果要自行手動安裝的話

apt-get install websockify

Usage

以前websockify和noVNC還沒分家時的用法

websockify -D \
    --web /usr/share/novnc/ \
    6080 \
    localhost:5900

現在新版的noVNC會自己去call websockify

novnc --listen 6080 --vnc localhost:5901

Nginx Proxy

加上reverse proxy可以讓我們直接call網址/ ip，而不用去指定6080 port

nginx.conf

user www-data;
daemon off;

events {
}

http {
  server {
    listen 80 default_server;

    location / {
      root /www/data;
      try_files $uri $uri/ /index.html;
    }

    location /novnc/ {
      proxy_pass http://127.0.0.1:6080/;
    }

    location /novnc/websockify {
      proxy_pass http://127.0.0.1:6080/;
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "Upgrade";
      proxy_set_header Host $host;
    }
  }
}

Reference

Websockify & noVNC behind an NGINX Proxy

把md檔變成Medium文章

Jain Wun — Mon, 18 Apr 2022 12:39:10 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
會員文章列表 https://coda.io/d/YT-channel_dLrb0LRX0xj/Patreon_supr9#_lu-tL
公開文章列表 https://coda.io/d/YT-channel_dLrb0LRX0xj/Patreon_sucfV#_luJfw
Youtube頻道 https://www.youtube.com/c/增廣建文
粉專 https://www.facebook.com/wade3c/
GitHub https://github.com/johnny12150
Digital Ocean推薦連結 https://m.do.co/c/1edcf7d6c08e
Linode推薦碼 https://linode.gvw92c.net/a19zeW

由於Medium不支援直接用markdown輸入文章實在很頭痛

Google了一番發現目前網路上的自動轉工具幾乎都需要登入你的GitHub帳號，因為他會幫你把code-block自動轉成gist

但是這個作法除了不是很安全外，他還會把你的gist變的亂七八糟，每一個code-block都會獨立新增一個gist

這是我目前在GitHub上找到唯一一個不會自動轉成gist的專案，在多數情況下使用起來還算方便

https://github.com/fanderzon/markdown-to-medium-tool

但是他在處理heading還有code-block有時候會跑版 (Medium在這兩部份都有改版過)

這導致我每次都到Medium後都還要手動調整，所以就想來自己找一套更方便的workflow

這時突然想到很久以前有看過一個叫medium-editor-markdown的專案

他支援了把Medium的文章轉成md的功能，但是不能反過來使用

突發奇想如果我們要借助這個套件把md轉成Medium格式

或許可以先把md先轉成html，再把html給塞進這個專案

medium-editor-markdown這個專案使用到的是turndown.js與medium-editor這兩個套件

前者負責把md轉成html，後者負責顯示html成Medium Style

實際的改造作法就會如下：

Step 1. MD -> HTML

這裡可以用之前分享過的marked.js專案或是上面提到的turndown.js，都能輕鬆且快速的把md轉成html

如果不想安裝套件去轉，可以直接使用marked.js的demo網頁版來轉

https://marked.js.org/demo/

如果你用的是macOS，還有marked 2這個App可以協助你快速取得Html

Step 2.HTML -> Medium

再來只要把剛剛拿到的HTML給貼到這個專案中的index.html 內的editor class下的left class裡面就好 (要覆蓋掉原本的內容)

開啟這個專案的網頁之後，畫面左側就會顯示Medium形式的內容

有些不支援的寫法就會像上圖一樣跑版

把左側的Medium Style內容複製起來直接貼去Medium就能發文了

轉出的code-block內不會有syntax highlight是正常的，因為Medium本身就不支援

底下就是實際貼到Medium上的成果

All-in-one Site

最後為了方便日後在ithelp和Medium都能發表一致的文章，我有把它包成一個完整的服務

這個服務是Patreon會員限定的，有興趣可以到我的patreon查看

https://www.patreon.com/wade3c

Reference

GitHub - IonicaBizau/medium-editor-markdown: A Medium Editor extension to add markdown support.

[Linux] 讓程式在背景執行

Jain Wun — Mon, 11 Apr 2022 13:01:38 +0000

訂閱patreon即可看到更多文章 https://www.patreon.com/wade3c
會員文章列表 https://coda.io/d/YT-channel_dLrb0LRX0xj/Patreon_supr9#_lu-tL
公開文章列表 https://coda.io/d/YT-channel_dLrb0LRX0xj/Patreon_sucfV#_luJfw
Youtube頻道 https://www.youtube.com/c/增廣建文
粉專 https://www.facebook.com/wade3c/
Digital Ocean推薦連結 https://m.do.co/c/1edcf7d6c08e

讓command在背景跑

在要跑的指令結尾加上 &

jupyterlab &

指令和 & 中間通常會空一格

同時又不會output

/path/to/your/script.sh > /dev/null 2>&1 &

1 代表螢幕輸出，2 代表錯誤輸出

檢視背景執行的process

jobs

Kill掉特定背景程式

kill %1

最後面的數字是取決於jobs給的number (會從1開始)

[1]-  Running                 sleep 100 &
[2]+  Running                 sleep 200 &

讓ssh連線detach後程序能繼續跑

接在已經背景執行的程序後

disown  -h  %1

或是可以在下背景時同時搭配nohup

nohup jupyterlab &

nohup會把原本output到terminal的東西給寫到nohup.out

如果你的指令會一直輸出內容，就有可能讓nohup.out 這個檔案異常巨大

可以搭配上面的> /dev/null 2>&1 會將所有輸出直接丟掉

nohup /path/to/your/script.sh > /dev/null 2>&1 &

其他套件

還能用像是screen/ tmux來假裝連線一直都在

Reference

How to run a command in the background and get no output?

[shell] 2>&1 是什麼意思 @ 痞客興的部落格 :: 痞客邦 ::

How do I use the nohup command without getting nohup.out?