O novo Kit de Câmera AI do Raspberry Pi alivia o processamento de modelos de rede neural do CPU; em vez disso, o Sony IMX500 faz todo o trabalho pesado. Sim, o Kit de Câmera AI do Raspberry Pi de $70 acaba de ser lançado, e tivemos acesso antecipado a uma unidade para nossa análise. Queremos mostrar como começar a usar o kit, e este será o primeiro de uma breve série de tutoriais, abordando como começar e como gerar seus próprios modelos de rede neural para uso com o kit.
Nesta parte, colocamos as coisas em funcionamento, aprendemos a usar o software a partir do terminal e via Python. Utilizaremos um Raspberry Pi 5 para o tutorial, mas o processo pode ser repetido em um Raspberry Pi 4 ou Zero 2 W. Note que outros modelos de Pi podem precisar de alguns ajustes para funcionar.
Para este projeto você precisará de:
- Um Raspberry Pi 5 ou 4
- Câmera AI do Raspberry Pi
Instalando a Câmera AI do Raspberry Pi
Nosso primeiro passo é instalar o hardware, felizmente isso é muito fácil de fazer.
- Desbloqueie cuidadosamente os clipes plásticos da câmera e insira a extremidade mais larga do cabo da câmera de modo que os “dentes” metálicos sejam visíveis na frente da câmera.
- Trave o cabo no lugar.
- Com a energia desligada, destrave o clipe plástico no conector CAM1 (CAMERA no Pi4). Sim, CAM1 é o conector a ser usado. Tentamos CAM0, e mesmo após uma atualização de firmware, a câmera não foi detectada pelo Pi 5.
- Insira a outra extremidade do cabo da câmera no conector com os pinos metálicos voltados para a porta USB/Ethernet no Pi.
- Verifique se o cabo está nivelado e cuidadosamente trave no lugar.
- Ligue o Raspberry Pi para o desktop do Raspberry Pi.
- Abra um terminal e primeiro atualize a lista de repositórios de software, depois faça uma atualização completa.
sudo apt update && sudo apt full-upgrade- Instale o pacote de software para o Sony IMX500 usado na Câmera AI do Raspberry Pi. Isso instalará arquivos de firmware necessários para o Sony IMX500 funcionar. Também instalará modelos de rede neural em /usr/share/imx500-models/ e atualizará rpicam-apps para uso com o IMX500.
sudo apt install imx500-all- Reinicie o Raspberry Pi
Executando as aplicações de demonstração
O Raspberry Pi OS possui uma série de aplicações de câmera que podem ser usadas para projetos rápidos de câmera, ou neste caso, para testar se a câmera está funcionando corretamente. A primeira é raspi-hello, o “hello world” dos testes de câmera. Vamos usá-lo com um temporizador sem fim (-t 0s) e o modelo de detecção de objetos mobilenet.
- Abra um terminal e insira este comando, seguido pela tecla Enter.
rpicam-hello -t 0s --post-process-file /usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json- Segure objetos para a câmera testar. No visor você verá a câmera identificar objetos (e pessoas).
- Se o foco estiver errado, mova o objeto para o foco, ou, ajuste o foco usando a ferramenta de ajuste incluída, gire a lente no sentido anti-horário para perto, horário para foco distante. O foco mínimo é 20 CM.
- Quando terminar de testar, feche a janela para encerrar.
Se quisermos usar a estimativa de pose, precisamos modificar o comando para usar o modelo posenet.
- Abra um terminal e insira este comando, seguido pela tecla Enter.
rpicam-hello -t 0s --post-process-file /usr/share/rpi-camera-assets/imx500_posenet.json- Fique em frente à câmera, observe que uma estrutura de arame aparece sobre seus braços, pernas e torso. Mova-se! Altere o foco se necessário.
- Feche a janela para encerrar.
Para gravar a sessão como um vídeo de dez segundos, use raspicam-vid para gerar um arquivo MP4. Isso salvará o vídeo, juntamente com as caixas delimitadoras e objetos reconhecidos.
- Abra uma janela de terminal e use este comando para gravar o vídeo em um arquivo chamado output.mp4. O comando também pode levar parâmetros para definir a resolução e FPS, –width 1920 –height 1080 –framerate 30. Podemos também trocar para o modelo posenet e gravar a saída disso.
rpicam-vid -t 10s -o output.mp4 --post-process-file /usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json- Pressione Enter para executar o código. Em um momento, o stream aparecerá. Mostre objetos para a câmera e observe enquanto são identificados com diferentes níveis de certeza. Quando a janela de visualização fechar, a gravação terminará.
- Via o Gerenciador de Arquivos, navegue até o arquivo e abra usando o VLC. Isso deve ser o padrão, se não, você pode clicar com o botão direito e selecionar VLC.
Usando a Câmera AI do Raspberry Pi com Picamera2
Picamera2 é o módulo Python que pode ser usado para controlar a infinidade de câmeras do Raspberry Pi, e agora tem suporte para a nova Câmera AI. Mas antes de podermos usá-lo, precisamos instalar algumas dependências de software.
- Abra um terminal e execute este comando.
sudo apt update && sudo apt install python3-opencv python3-munkres- Baixe o repositório do GitHub Picamera2 para o diretório home do seu Raspberry Pi. Você pode clonar o repositório ou baixar o arquivo e extrair para o seu diretório home.
#Para clonar
git clone https://github.com/raspberrypi/picamera2.git- Navegue até picamera2/examples/imx500.
- Usando Python, abra imx500_object_detection_demo.py
python imx500_object_detection_demo.py- Na janela de visualização, observe enquanto a câmera AI tenta identificar objetos apresentados à câmera.
- Feche a janela para sair.
Também podemos usar a demonstração de estimativa de pose para verificar se o Python pode detectar uma pose humana.
- Navegue até picamera2/examples/imx500.
- Usando Python, abra imx500_pose_estimation_higherhrnet_demo.py.
python imx500_pose_estimation_higherhrnet_demo.py- Pose para a câmera.
- Feche a janela para sair.
Que tal criar nossos próprios modelos de rede neural?
A documentação faz referência à criação de seus próprios modelos de rede neural, mas o Brain Builder da Sony para AITRIOS ainda não está pronto, e não conseguimos converter um modelo Tensorflow criado no Microsoft Lobe para uso no conjunto de ferramentas do conversor imx500. Estaremos atentos a isso, e assim que a ferramenta estiver pronta, um tutorial adicional cobrirá como treinar seu próprio modelo de rede neural para uso com a Câmera AI do Raspberry Pi.
Fonte: Tom’s Hardware
