DEV Community: tassiane anzolin

OpenCV + Raspberry Pi: Como configurar o ambiente?

tassiane anzolin — Tue, 03 Aug 2021 20:56:04 +0000

OpenCV (Open Source Computer Vision) é uma biblioteca multi-plataforma com um forte foco para o processamento digital de imagens em tempo real, escrita em C/C++ que hoje contém interfaces para diversas linguagens tais como Python e Java. Sua primeira versão foi lançada em 2000 e [...] conta com várias centenas de algoritmos de visão computacional o que torna esta biblioteca uma ferramenta poderosa no campo da visão computacional (BAGGIO, 2015).

Neste tutorial, há duas maneiras de realizar a instalação: a padrão e a específica. A forma padrão utiliza o próprio pacote pip do Python, já a específica possibilita a escolha da versão do OpenCV disponíveis no repositório do GitHub.

Você precisará de um Raspberry Pi (o modelo utilizado foi o RPi 3 Model B V1.2), um cartão Micro SD, de mais de 8GB de armazenamento, com o sistema operacional Raspberry Pi OS instalado (confira a instalação aqui) e de uma xícara de café 😅.

Método 1 - Instalação Padrão

Esse método é mais rápido e recomendado. Todos os comandos devem ser abertos no terminal e executados passo-a-passo.

Passo 1 - Atualize o sistema operacional

sudo apt-get update
sudo apt-get upgrade

Passo 2 - Instale as dependências necessárias

sudo apt-get install build-essential cmake pkg-config
sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install libgtk2.0-dev libgtk-3-dev
sudo apt-get install libatlas-base-dev gfortran

Passo 3 - Instale o Python 3 e o Pip 3 (pacotes do Python)

sudo apt-get install python3-dev
sudo apt-get install python3-pip

Passo 4 - Instale o Numpy

pip install -U numpy

Passo 5 - Instale o OpenCV

pip3 install opencv-python

Passo 6 - Instale os complementos do OpenCV e as dependências extras para o uso de câmeras

sudo apt-get install libqtgui4
sudo modprobe bcm2835-v4l2
sudo apt-get install libqt4-test

Passo 7 - Testando

Para testar se ocorreu tudo certo com a sua instalação, digite o comando no terminal:

python3
import cv2

Se nenhuma mensagem de erro aparecer, significa que a instalação da biblioteca OpenCV foi bem sucedida!

Caso isso não aconteça, pesquise seu erro em fóruns online como o StackOverflow ou no próprio GitHub 😁

Método 2 - Instalação Específica (boa sorte!)

Utilizaremos o sistema multi-plataforma CMake para realizar a instalação da biblioteca OpenCV no ambiente do Raspberry Pi e o repositório oficial da biblioteca no GitHub. Caso queira instalar outra versão, somente altere o link no Passo 5!

Passo 1 - Expandindo o armazenamento (File System)

Abra o terminal e digite o comando:

sudo raspi-config

Após isso, vá em Advanced Options

E em Expand File System

Clique em select e faça o reboot do Raspberry Pi.

Passo 2 - Atualizando o sistema operacional

É estritamente necessário atualizar o sistema operacional antes de realizar qualquer operação.
Abra o terminal e digite o comando:

sudo apt-get update && sudo apt-get upgrade

E também, para atualizar o pacote apt-get:

sudo apt-get update

Passo 3 - Instalando o CMake

O CMake é essencial para a instalação da biblioteca OpenCV.

Etapa 3.1: Instalação do snapd

sudo apt install snapd

Etapa 3.2: Instalação do CMake Classic

sudo snap install cmake --classic

Observação

Se houver o seguinte erro: 20.04 snapd issue: “system does not fully support snapd: cannot mount squashfs image…” será necessário instalar o certbot e somente após prosseguir para Etapa 3.2.

Abaixo segue o comando para a instalação do certbot:

sudo apt install certbot

Se mesmo assim o erro persistir, tente reiniciar o Raspberry com:

sudo reboot

Passo 4 - Instalando o Python

A linguagem Python vem instalada de forma padrão no Raspberry Pi, mas confira se seu status está ok com o comando

sudo apt-get install python3-dev

Passo 5 - Baixando os pacotes do OpenCV

A biblioteca OpenCV é open-source, ou seja, seu código é aberto e o mesmo está disponível no GitHub. Com os comandos a seguir, serão baixadas as versões 4.5.3 do OpenCV e do OpenCV contrib, a qual contém atualizações e melhorias.

Etapa 5.1: OpenCV 4.5.3

wget -O opencv.zip https://github.com/opencv/opencv/archive/refs/tags/4.5.3.zip

Etapa 5.2: OpenCV Contrib 4.5.3

wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/refs/tags/4.5.3.zip

Passo 6 - Extraindo os pacotes do OpenCV

Para extrair os arquivos zipados, digite os comandos no terminal:

unzip opencv.zip

E, da mesma forma:

unzip opencv_contrib.zip

Após a extração, o terminal deverá estar da seguinte forma:

Passo 7 - Instalando a biblioteca numpy

pip install numpy

Passo 8 - Preparando a instalação do OpenCV

Para realizar a instalação das bibliotecas, será preciso criar uma pasta denominada build dentro da pasta opencv-4.5.3

cd ~/opencv-4.5.3
mkdir build
cd build

Atenção ⚠

Garantindo que o terminal esteja acessando a pasta opencv-4.5.3/build, digite o seguinte comando:

cmake -D CMAKE_BUILD_TYPE=RELEASE \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-4.5.3/modules \
    -D ENABLE_NEON=ON \
    -D ENABLE_VFPV3=ON \
    -D BUILD_TESTS=OFF \
    -D WITH_TBB=OFF \
    -D INSTALL_PYTHON_EXAMPLES=OFF \
    -D BUILD_EXAMPLES=OFF ..

Se tudo estiver correto, deverá aparecer as mensagens “Configuring done” e “Generating done”, conforme mostrado:

Passo 10 - Compilando & Instalando a biblioteca OpenCV

Finalmente, para compilar e instalar a biblioteca OpenCV digite o comando make na pasta opencv-4.5.3/build

make -j4

Se o seu RPi tiver menos que 4 núcleos, use somente "make".

Esse é o passo em que você pode preparar o cafézinho, escutar o CD da Xuxa de trás pra frente ou assistir a trilogia inteira de Senhor dos Anéis porque vai demorar horas...

Enfim, se a sua compilação for bem-sucedida, aparecerá a seguinte mensagem no terminal:

Passo 11 - Instalando a biblioteca libopencv

Se você chegou até aqui (parabéns), agora é imprescindível a instalação da biblioteca libopencv na pasta opencv-4.5.3/build usando o comando:

sudo apt-get install libopencv-devpython-opencv

Passo 12 - Testando OpenCV

Finalmente, para testar se a instalação foi feita corretamente, digite o comando em Python:

python
import cv2

Se você não encontrar nenhum erro, está apto a realizar seus projetos usando a biblioteca OpenCV no Raspberry Pi!

Observação extra: Se ocorrer o seguinte erro com a importação do NumPy:

ImportError: numpy.core.multiarray failed to import

Abra o terminal, desinstale o NumPy com o comando:

pip uninstall numpy

E, após isso, instale novamente:

sudo pip install numpy --upgrade --ignore-installed

Pronto, agora deve funcionar corretamente!

Isso é tudo pessoal, qualquer dúvida me mande uma dm no Twitter ou Insta <3

Referências

BAGGIO, D. L. OpenCV 3.0 Computer Vision with Java. [S.l.]: Packt Publishing Ltd, 2015.

INSTALLING OpenCV using CMake in Raspberry Pi. [S. l.], 25 mar. 2021. Disponível em: https://robu.in/installing-opencv-using-cmake-in-raspberry-pi/.

RASPBERRY Pi 3 and OpenCV Installation Tutorial. [S. l.], 31 out. 2018. Disponível em: https://pysource.com/2018/10/31/raspberry-pi-3-and-opencv-3-installation-tutorial/.

ImportError: numpy.core.multiarray falhou ao importar. [S. l.], 30 mai. 2019. Disponível em: https://qastack.com.br/programming/20518632/importerror-numpy-core-multiarray-failed-to-import .

Mosaico de imagens com OpenCV e Python

tassiane anzolin — Fri, 16 Jul 2021 18:17:06 +0000

Um mosaico ou panorama de imagens (em inglês, image stitching) consiste em uma composição a partir de algoritmos de alinhamento, os quais estão entre os mais antigos e usados na área de Visão Computacional.

São muito úteis, por exemplo, na construção de mapas, fotos de satélite e na criação de panoramas de imagens nos smartphones.

Fig. 1 - Exemplo de mosaico utilizando a função panorama de um celular

Passos para a criar um mosaico:

Passo 1 - Encontrar pontos-chave em todas as fotos

Consiste na identificação de pontos semelhantes nas imagens, para que haja o alinhamento correto dos objetos.

Fig. 2 - Pontos-chave entre duas imagens

Passo 2 - Encontrar correspondências paralelas (pairwise correspondences)

Para que haja a construção de um único objeto identificado, é necessário encontrar correspondências entre elas.

Como diria Fábio Jr, encontrar as metades da laranja.

Fig. 3 - Correspondências entre as imagens

Passo 3 e 4 - Estimar homografias semelhantes e refiná-las (pairwise homographies)

O processo de homografia (em inglês, homography) corresponde ao mapeamento de duas projeções, onde há ângulos diferentes em planos 2D ou 3D. Ao refinar esse mapeamento, é possível encontrar pontos em comum e mapear suas posições combinadas em uma única perspectiva.

Fig. 4 - Exemplo de um processo de homografia

Passo 5 - Junção das imagens

Por fim, para realizar o panorama é preciso juntá-las usando os conceitos anteriores. Abaixo há um exemplo de mosaico:

Fig. 5 - Resultado da junção das imagens

A fim de reproduzir esse resultado, utilizaremos a biblioteca open-source OpenCV e a linguagem de programação Python para construir um mosaico de múltiplas fotos.

Para criar mosaicos de imagens usando OpenCV, é indispensável usar a classe stitcher.

Passo 1 - Importação das bibliotecas

Usaremos as bibliotecas cv2 (OpenCV), glob (para retornar todos os arquivos em um diretório), matplotlib.pyplot (uma coleção de funções que simulam o MATLAB) e math (funções matemáticas).

import cv2
import glob
import matplotlib.pyplot as plt
import math

Passo 2 - Leitura das imagens

Neste passo, glob.glob identificará todas as imagens do diretório informado : ("diretorio/") e a realização da leitura será feita com o apoio da função **imread* do OpenCV.
As imagens são convertidas de BGR para RGB para facilitar a identificação dos pontos-chave das imagens.

imagefiles = glob.glob("diretorio/*")
imagefiles.sort()

images = []
for filename in imagefiles:
  img = cv2.imread(filename)
  img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  images.append(img)

num_images = len(images)

Passo 3 - Exibição das imagens

Para que haja a exibição prévia das imagens a serem utilizadas, serão plotadas linhas e colunas de acordo com num_images.

plt.figure(figsize=[30,10]) 
num_cols = 3
num_rows = math.ceil(num_images / num_cols)
for i in range(0, num_images):
  plt.subplot(num_rows, num_cols, i+1) 
  plt.axis('off')
  plt.imshow(images[i])

Fig. 6 - Exibição das imagens

Passo 4 - Construção do mosaico e exibição do resultado

Por fim, usaremos a classe stitcher para realizar o panorama das imagens selecionadas:

stitcher = cv2.Stitcher_create()
status, result = stitcher.stitch(images)
if status == 0:
  plt.figure(figsize=[30, 10])
  plt.imshow(result)
  plt.show()

Fig. 7 - Resultado do panorama de imagens

Código completo: Link no Github

import cv2
import glob
import matplotlib.pyplot as plt
import math

# Read Images

imagefiles = glob.glob("diretorio/*")
imagefiles.sort()

images = []
for filename in imagefiles:
  img = cv2.imread(filename)
  img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  images.append(img)

num_images = len(images)

# Display Images
plt.figure(figsize=[30, 10])
num_cols = 3
num_rows = math.ceil(num_images / num_cols)
for i in range(0, num_images):
  plt.subplot(num_rows, num_cols, i+1)
  plt.axis('off')
  plt.imshow(images[i])

# Stitch Images
stitcher = cv2.Stitcher_create()
status, result = stitcher.stitch(images)
if status == 0:
  plt.figure(figsize=[30, 10])
  plt.imshow(result)
  plt.show()

Referências

GARTIA, Anisha. Project 2: Local Feature Matching. Disponível em: https://www.cc.gatech.edu/classes/AY2016/cs4476_fall/results/proj2/html/agartia3/.

SZELISKI, Richard. Computer Vision: Algorithms and Applications. 2021. Disponível em: https://szeliski.org/Book/.

MILGRAM, D. L.. Computer Methods for Creating Photomosaics, in IEEE Transactions on Computers, vol. C-24, no. 11, pp. 1113-1119, Nov. 1975, doi: 10.1109/T-C.1975.224142.

OPENCV. Basic concepts of the homography explained with code. Disponível em: https://docs.opencv.org/3.4/d9/dab/tutorial_homography.html.

OPENCV. OpenCV Python Course. Disponível em: https://opencv.org/opencv-python-free-course/.

PULLI, Kari. Stitching and Blending. Disponível em: https://web.stanford.edu/class/cs231m/lectures/lecture-5-stitching-blending.pdf. Acesso em: 14 jul. 2021.

TARALLO, André de Souza. Construção Automática De Mosaicos De Imagens Digitais Aéreas Agrícolas Utilizando Transformada SIFT E Processamento Paralelo. 2013.

Wu, Mengmeng & Wang, J.. (2018). Reassembling fractured sand particles using fracture-region matching algorithm. Powder Technology. 338. 10.1016/j.powtec.2018.06.045.