DEV Community: Carlos de Huerta

PowerPoint, Teleprompter y Fluid Framework

Carlos de Huerta — Sun, 24 May 2020 15:02:09 +0000

Siguiendo con ideas entorno a presentaciones y videos, hoy me comentaban si sería posible tener un teleprompter mientras se graba la presentación desde PowerPoint.

Este modo de grabación, almacena un vídeo en cada diapositiva. Yo normalmente hago la grabación con Teams, Stream y OBS; y revisando este modo de grabación puedes ver que destaca precisamente por no mostrar bien las notas. Tenéis un video de la funcionalidad.
¿Qué necesitaríamos para ponerlo en marcha?

Notas guiadas

Lo primero es poder tener un Teleprompter. Para ello recordé que tenía una pantalla táctil de 7 pulgadas (rota :( ). Para prototipar rápidamente la solución, preferí conectarla a Windows 10 (vs Raspberypi) con objetivo de tenerla de pantalla auxiliar...teniendo el primer problema: el táctil estaba constantemente activado.
¿Qué hacer? desactivarlo :)
El siguiente paso es que pueda.. ¡sostenerse!. La impresión 3d es un ejemplo fantástico para prototipar soluciones, pero personalmente antes de imprimir, prefiero jugar con cartón. Con él se pueden conseguir cosas realmente interesante como Google cardboard VR o :)

Carlos de Huerta

@carl0shm

I felt in love with #pinball3000 from @cardboardteck, however I was not able to get it affordably (intl. shipping)... So built a clone and plan to integrate with #microbit releasing a #OSH #MVP what do you think?

14:04 PM - 10 Jun 2019

2 4

Una vez preparada la pantalla , buscando en Github, encontré esta joya

manifestinteractive / teleprompter

Teleprompter

You can edit the text right on the page. It'll even save your changes for you if you happen to leave the page.

If you're using an iPad, you can add a shortcut to your home screen for full screen awesomeness.

You can also use some handy keyboard shortcuts. You can adjust the speed & font size at the top right as well. I'm also experimenting with ways to flip the text around for you fancy folks using mirrors.

Now Available @ https://promptr.tv

Keyboard Shortcuts

Up: Increases Font Size
Down: Decreases Font Size
Left: Slows Down Teleprompter
Right: Speeds Up Teleprompter
Space: Starts / Stops Teleprompter
Escape: Resets GUI

Finally, we also made an effort to make sure your text will be easy to read. So if you are pasting text from a word document, we'll do some cleaning up to make the…

View on GitHub

Quedando con esta pinta (por cierto lo de la pantalla del Surface Book es el resumen de los consejos del coach en PowerPoint):

Lluvia de ideas para servicio

Una forma sencilla, es directamente copiar todas las notas y la solución te permite ajustar la velocidad, tamaño, etc. Pero ¿podríamos tener mejor integración?. La solución inicial aparecía como una experiencia lo más sencilla posible: Abrir PowerPoint, activar la aplicación de telepromter y empezar. Para eso varios pasos:

Disponer de una App que me permita interactuar con PowerPoint y obtener las notas. Esto es posible con el API tradicional, pero mi idea es poderlo hacer multiplataforma (Escritorio, Web, MacOS, Android). Para ello, de momento, cree una petición en UserVoice
Instalar ScriptLab para poder jugar desde PowerPoint con la idea.
Empezar a estudiar Fluid Framework para cuando se libere la preview Open Source poder añadirla en el teleprompter

Con esto tendríamos una actualización en todos los clientes en tiempo real sobre el avance de la presentación y sus notas, con un mínimo desarrollo.

Hasta luego!

Democratizar el lenguaje de signos

Carlos de Huerta — Tue, 19 May 2020 17:03:50 +0000

Primera clase en todos los videos

Mientras pensaba en mi post previo sobre capacidades de traducción en videos, mientras veía la sesión de Microsoft Build, me he dado cuenta de un nuevo icono en el streaming de las sesiones, para ver la traducción en lenguaje de signos americano (ASL) de la sesión. Increíble trabajo el de #MSBuild

Puedes ver una corte de la traducción de la presentación de Imagine Cup

Your browser does not support the video tag.

Lenguaje de signos para todos

¿No sería fantástico poder incluir esta funcionalidad siempre en todos tus videos?
Hay un proyecto en Github que emplea el servicio https://www.signingsavvy.com/search/hello

Waasi / text_2_sign

Text2Sign is a library to fetch the equivalent video for words in sign language.

Text2Sign

Text to Sign Language Translator Elixir Library. It uses the resources in https://www.signingsavvy.com/ to translate a list of words to sign language.

Installation

Add text_2_sign to your list of dependencies in mix.exs:

def deps do
  [{:text_2_sign, git: "https://github.com/Waasi/text_2_sign"}]
end

Usage

Text2Sign.Translator Module translate/1

Text2Sign.Translator.translate ["Hello", "World"] # => [hello_sign_video_url, world_sign_video_url]

Contributing

Fork it ( https://github.com/[my-github-username]/text_2_sign/fork )
Create your feature branch (git checkout -b feature/my_new_feature)
Commit your changes (git commit -am 'Add some feature')
Push to the branch (git push origin my-new-feature)
Create a new Pull Request

Special Thanks To:

The people @ Signing Savvy for all the resources that made this library possible.

View on GitHub

que podríamos usar para incluir el resultado en los video de Stream.

Material de aprendizaje

Empezaré por leer un poco de Wikipedia para aprender sobre su diversidad con el objetivo de centrarme en Speech2Text2Sign. Existen proyectos interesante para hacer traducción en tiempo real, empleando modelos entrenados mediante DNN, pero veo más factible su inclusión partiendo de texto.

Nota Proyecto añadido a mi listado: Prototipo para incluir lenguaje de signos y mezclarlo

Cómo publicar traducciones de Microsoft Translate en Microsoft Stream

Carlos de Huerta — Tue, 12 May 2020 18:59:10 +0000

IA en nuestra caja de herramientas

Las aplicaciones que usamos en nuestro día a día, van enriqueciéndose con capacidades de Inteligencia Artificial (IA), es algo que esperamos y que tenemos que incorporar como una herramienta en nuestra estrategia al desarrollar aplicaciones. Muchas veces esa caja de herramientas no nos permite conectarlas e intercambiar resultados como nos gustaría, por lo que necesitaremos incluir el pegamento especial para disponer de la mejor solución.
Os invito a echar un vistazo a los servicios cognitivos de Azure, con servicios entorno a la voz, análisis de texto, traducción, etc. Uno de mis favoritos es el de lector inmersivo que nos permite mejorar la comprensión y progreso en la lectura.

¿Quién no espera traducción automática de una presentación?

Quería compartir un ejemplo concreto de las necesidades de integración con un caso práctico. En este caso me consultaron la posibilidad de traducir una presentación a 12 idiomas, dado que el equipo se encuentra distribuido geográficamente y requerían del material localizado para cada equipo.

¿Cómo aprovechar las capacidades de la IA?

Una forma natural de hacer una presentación es emplear PowerPoint, permitiendo la traducción simultánea en varios idiomas. Esto es algo que está disponible de forma temprana en Microsoft 365 y que podrán usar todos los usuarios al hacer sus presentaciones. Basta enlazar con el QR y verás la traducción durante la sesión.

Otra opción es hacer uso de Microsoft Translator (que usa los mismos servicios de Azure), y que dispone de una Add-in para PowerPoint, creado a partir de un proyecto del Garaje que deberías conocer sino es el caso, así como explorar el resto de proyectos ;). La experiencia es similar a la de Live PowerPoint (de hecho este último está basado en el proyecto de Garaje), permitiendo la descarga de los subtítulos.
El inconveniente es que no es un formato que podamos importar, aunque sí dispone del texto traducido, original y el momento en el que se generó.

==================================
Transcript WXEIJ
Correlation ID = 1d78d135-e3ea-2101-6f2f-78fdb756c783
Date
Tue May 12 2020 10:27:27 GMT+0200 (Central European Summer Time)
==================================

Conversation WXEIJ

Presenter @ 10:27:31
Translation (English): 
Recognition (Spanish): (undefined)

Presenter @ 10:28:04
Translation (English): It's in English, too.
Recognition (Spanish): (Está en inglés, también.)

Presenter @ 10:28:07
Translation (English): Ok.
Recognition (Spanish): (Vale.)
....

Hasta aquí tenemos casi todos los ingredientes:

Generación de subtítulos mediante Microsoft Translator (y servicios de Azure) con formato personalizado
Grabación de la presentación mediante PowerPoint o compartiendo en una sesión de Teams

El beneficio de usar Microsoft Teams para la grabación, es que dicha grabación se publica en Microsoft Stream en el primer caso, deberemos grabar y publicarlo manualmente), donde podremos editar y añadir subtítulos. Si no conocéis Stream, os dejo un video introductorio.

Formatos de transcripción y portabilidad

Como comentaba desde Microsoft Stream, podemos importar subtítulos en formato WebVTT para todos los idiomas que queríamos. Esto permite que los usuarios naveguen hasta el vídeo de la presentación y puedan seleccionar su idioma preferido.

Y aquí es donde el pegamento que comentaba es necesario. Tenemos los subtítulos de las traducciones en un formato personalizado, y por otro lado Microsoft Stream nos solicita el formato estándar WebVTT.
Lo primero es intentar no tener que reescribir una librería para generar ficheros WebVTT. Una búsqueda rápida me permitió localizar esta library en dotnet (para aplicaciones de consola multiplataforma rápida, mi preferencia).

svm-git / WebVTT

.Net library to parse and serilize media captions in WebVTT format.

WebVTT

.Net library to parse and serilize media captions in WebVTT format.

View on GitHub

El inconveniente principal es que hace uso de .NET Framework 4.5, que no nos permite ejecutar sobre Linux o MacOS. Para ello haremos uso del analizador de portabilidad y prácticamente sin cambios, confirmando que las versiones de dotnet (SDK + runtime) están instaladas.

Solución

A partir de la misma, con los cambios necesarios para multiplataforma, generé una consola simple que acepta un fichero de entrada con el formato de PowerPoint Translator, y generando como salida un fichero en WebVTT. Tenéis el código en este repo, y un pequeño vídeo de su funcionamiento, y el resultado del ejemplo anterior.

WEBVTT

00:00:00.000 --> 00:00:15.000

00:00:33.000 --> 00:00:36.000
It's in English, too.

00:00:36.000 --> 00:00:51.000
Ok.
....

Hasta pronto!