DEV Community: Mahezer Carvalho

Metaprogramming - how to be lazy and reach high levels of productivity

Mahezer Carvalho — Tue, 23 Jan 2024 14:26:01 +0000

I was recently tasked with abstracting a database into an API. The database had a lot of confusing data formatting functions which should also be abstracted in my API. Since it was a generic market system, the documentation for the database was available through a humongous Excel file explaining how each field should receive data.

Initially, I worked with the tools from my text editor to have the maximum productivity I could get, but apparently, there was no end to these database tables. Each table had around 300 fields, and I needed to create files for data formatting, payload validation and unit tests.

After a week, I was far away from finishing my first task, demotivated and my productivity was way smaller than I'd like. All I did was simply bash my head against the keyboard calling formatting functions for each field in a table the whole day, and even after a good night's rest, every day became a huge fight against falling asleep in front of the computer from boredom.

It was right on a Monday that a question popped in my mind

Why should I type all this?

I started my "new" task the same day: creating someone to type all that for me.

I used one full day and a bit over 300 lines of code, and created a script that parsed the Excel file, filtered which was the table I was trying to abstract and generated the payload validation function. Then, all I had to do was to dump the generated file inside my original project and check to see if everything was working. The entire file generation process took around 350~400ms.

I was in love with my new baby, and a week later, it was already generating every file and function that needed any heavy typing. Everyone got something out of this adventure. I had the oportunity to work on an exciting task, and the task was finished way quicker than I ever thought possible.

I know this is a very isolated metaprogramming example, but my real goal with this article is to make you question yourself if you can't fit some of that in your current task. Do you feel bored with what you need to do? Are you tired of banging your keyboard mindlessly? So create "someone" to do it for you!

The best part of being a programmer is to see the possibility of improving a situation, and to have the knowledge to actually improve it, so embrace this power!

Okay, but what about this metaprogramming?

The "meta-" prefix in this case means "reflection upon itself". Metaprogramming is the programming you do make some actual programming task easier :)

This idea came from stretching out the concepts from Tim Ferriss' book The 4-Hour Workweek. The original concept is that we should automate any task that takes us too long, and there are quite a few reasons to actually do this.

First off, speed. A computer is much, much faster to execute repetitive tasks than any human. You can leave your computer working for hours or days and it will not feel tired, bored nor slow down.

Second off, precision. A computer doesn't write typos or reads a text from the wrong place. The computer will always do what it was programmed to do. This is a double edged sword, since you'll need to know what is it that you want to do and how the computer should do it. But once you've got your code straight, you can simply execute the code and go do something else entirely.

Last but not least, fun! Making a robot that automates tasks is challenging, and it is way more fun than typing repetitive stuff forever. Not to mention that it is super fun to see your script running and fixing a problem for you (boredom) and a problem for your boss (time).

Bill Gates once said that he prefers to hire lazy people to do hard tasks because they will always find simple solutions for those problems.

So here goes a controversial advice: Be lazier!

Not in the sense of slacking at your job, or in the sense of procrastinating the things you need to do. But in the way that makes you avoid repetitive work.

The biggest value a programmer brings to the table is exactly the ability to abstract complex tasks and automate repetitive tasks, and not our typing speed. It's part of the job to find those tasks and automate them.

Have your eyes sharp for any menial tasks that pop up and eliminate them. This will free you team's time to focus on what really matters, the complex problems.

Do you have some report that takes hours to set up? Automate it.
Do you have bureaucracy that hinders your work? Automate it.
Do you have a task that pops up every single month? Automate it!

Cover image: Foto de Drew Coffman na Unsplash
This article is also available in Portuguese here
Article originally published (in portuguese) at Holyscript

Metaprogramação - como ser preguiçoso e alcançar altos níveis de produtividade

Mahezer Carvalho — Tue, 23 Jan 2024 13:23:20 +0000

Recentemente recebi a tarefa de abstrair um banco de dados em uma API. Além disso, o banco de dados também trabalhava com algumas formatações de dados muito confusas, que deveriam ser abstraídas na API também. Por ser um sistema de mercado, a documentação era disponibilizada através de um XLS gigantesco explicando como os campos deveriam ser inseridos nas tabelas.

Inicialmente, eu contei com as ferramentas do meu editor de texto para ganhar o máximo de produtividade possível, mas aparentemente as tabelas não tinham fim. Cada uma das tabelas possuía cerca de 300 campos, e eu precisava criar arquivos de formatação, validação de payload e testes unitários.

Passada uma semana, eu estava longe de terminar a primeira tarefa, desmotivado, e rendendo muito menos do que gostaria. Todo o meu trabalho era simplesmente bater teclado chamando funções de formatação para cada campo de uma tabela, e mesmo tendo descansado normalmente, os dias se tornaram uma eterna luta para não dar aquelas "pescadas" na frente do computador.

Foi exatamente numa segunda-feira que me surgiu o questionamento.

Por que eu preciso digitar tudo isso?

No mesmo dia comecei minha "nova" tarefa: criar quem digitasse aquilo tudo por mim.

Utilizando um dia de serviço e um pouco mais que 300 linhas de código, fiz um simples script que lia o arquivo XLS, filtrava qual era a tabela que eu estava querendo abstrair e gerava o arquivo de validação de payload. Depois era só jogar dentro do projeto e ver tudo funcionando. O processo completo de geração do arquivo demorava cerca de 350~400ms.

Fiquei namorando o script, e uma semana depois, ele já estava gerando todos os arquivos que precisavam de digitação bruta. Com isso, todo mundo saiu ganhando. Eu tive a oportunidade de trabalhar em uma tarefa que me empolgasse, e a tarefa original foi concluída com muito mais velocidade do que eu imaginei que fosse possível.

Eu sei que este é um exemplo de metaprogramação muito isolado, mas o meu real objetivo com este artigo é te fazer questionar se não cabe um pouco disso na sua tarefa atual. Você se sente entediado fazendo o que precisa ser feito? Cansou de bater teclado? Então crie alguém pra fazer isso pra você!

A melhor parte de ser um programador é ver a possibilidade de melhorar alguma situação, e ter o conhecimento suficiente para realmente melhorar a situação, então aproveite esta posição!

Beleza, mas e a metaprogramação?

O prefixo "meta-" nesse caso tem o sentido de "reflexão sobre si". Metaprogramação é a programação que você faz para facilitar a programação final :)

Esta ideia veio de uma extrapolação da ideia do livro do Tim Ferriss Trabalhe 4 horas por semana. A recomendação é que nós possamos automatizar qualquer tarefa que nos tome tempo demais e existem muitos motivos para isso.

Em primeiro lugar, a velocidade. Uma máquina é muito mais rápida para executar tarefas repetitivas do que qualquer humano. Você pode deixar uma máquina funcionando por horas ou dias e a máquina não se sentirá cansada e não perderá rendimento.

Em segundo lugar, a precisão. Uma máquina não comete erros de digitação, nem lê o campo errado. A máquina sempre irá fazer o que foi programada pra fazer. Isso tem seus desafios, uma vez que você irá precisar saber o que quer fazer e como fazer isso, mas uma vez que sua programação está correta, você pode simplesmente executar a rotina e ir fazer outra coisa.

Por último, temos a diversão! Criar um robô que automatiza tarefas é desafiador, e é muito mais divertido do que ficar digitando coisas repetitivas por tempo indeterminado. Sem contar que também é super divertido ver ele sendo executado e resolvendo um problema para você (o tédio) e um problema para o seu empregador (o prazo).

Bill Gates uma vez disse que prefere contratar pessoas preguiçosas para resolver tarefas difíceis porque elas vão sempre procurar soluções simples para os problemas.

Então, aqui vai um conselho controverso: Seja mais preguiçoso!

Não no sentido de não querer trabalhar, ou no sentido de ficar procrastinando as coisas que você precisa fazer. Mas no sentido de evitar trabalhos repetitivos.

O maior valor agregado de um programador é exatamente a capacidade de abstração de tarefas complexas e automatização de tarefas repetitivas, não nossa velocidade de digitação. Faz parte do seu trabalho identificar estas tarefas e automatiza-las.

Sempre tenha olhos afiados para encontrar tarefas repetitivas e eliminar todas elas. Isso vai permitir que o seu time se concentre naquilo que realmente importa, e nos problemas realmente complexos.

Você tem algum relatório que leva horas para preparar? Automatize.
Você tem alguma burocracia que dificulta seu trabalho? Automatize.
Você tem alguma tarefa que aparece todo mês? Automatize!

Imagem de cover: Foto de Drew Coffman na Unsplash
This article is also available in english here
Texto originalmente publicado no blog Holyscript