DEV Community: juanc4milo

Using StringJoiner in Java

juanc4milo — Sat, 14 Nov 2020 14:03:51 +0000

What is StringJoiner?

The StringJoiner class in Java 8 is one of the new classes that we can find in this version of Java. Many new features were included in Java 8 and one of them could be this new class. What is StringJoiner for? It is used to merge a set of strings with a delimiter in a very simple way.

An example of how to use StringJoiner would be the following:

package dev.juanc4milo;

import java.util.ArrayList;
import java.util.List;
import java.util.StringJoiner;

/**
 *
 * @author juanc4milo
 */
public class TestStringJoiner {

    public static void main(String[] args) { 
    List<String> firstSetWords=new ArrayList<>();

    firstSetWords.add("this");
    firstSetWords.add("is");
    firstSetWords.add("a");
    firstSetWords.add("test");
    firstSetWords.add("with");
    firstSetWords.add("stringjoiner");
    firstSetWords.add("in");
    firstSetWords.add("java8");

    StringJoiner groupingFirstSetOfWords= new StringJoiner(",");

    firstSetWords.forEach((string) -> {
        groupingFirstSetOfWords.add(string);
        });

    System.out.println(groupingFirstSetOfWords.toString());
  }
}

In output console you would see:

Output:

this,is,a,test,with,stringjoiner,in,java8

StringJoiner - String delimited by prefix and sufix

In the above example, a string set was grouped as a single string separated by a delimiter (comma). With StringJoiner it can also be initialized by defining a prefix and a suffix. That is one character at the beginning of the string and another character at the end of the string. To do this, in the constructor class you must say what the prefix and suffix will be.

Let's see this in the following lines of code:

StringJoiner groupingFirstSetOfWords= new StringJoiner(",","[","]");

    firstSetWords.forEach((string) -> {
        groupingFirstSetOfWords.add(string);
        });

    System.out.println(groupingFirstSetOfWords.toString());

In the output console would see:

Output:

[this,is,a,test,with,stringjoiner,in,java8]

Merging StringJoiners

You can also concatenate two StringJoiner to form a large single string set of text using the merge method.

Keep in mind that if you use delimiters, the delimiter of whoever performs the merge function prevails:

package dev.juanc4milo;

import java.util.ArrayList;
import java.util.List;
import java.util.StringJoiner;

/**
 *
 * @author juanc4milo
 */
public class TestStringJoiner {

    public static void main(String[] args) { 
    List<String> firstSetWords=new ArrayList<>();

    firstSetWords.add("this");
    firstSetWords.add("is");
    firstSetWords.add("a");
    firstSetWords.add("test");
    firstSetWords.add("with");
    firstSetWords.add("stringjoiner");
    firstSetWords.add("in");
    firstSetWords.add("java8");

    StringJoiner groupingFirstSetOfWords= new StringJoiner(",","[","]");

    firstSetWords.forEach((string) -> {
        groupingFirstSetOfWords.add(string);
        });

    List<String> lastSetWords=new ArrayList<>();

    lastSetWords.add("Enjoy");
    lastSetWords.add("this");
    lastSetWords.add("blog post");

    StringJoiner groupingLastSetOfWords= new StringJoiner(",","{","}");

    lastSetWords.forEach((string) -> {
        groupingLastSetOfWords.add(string);
        });

    groupingLastSetOfWords.merge(groupingFirstSetOfWords);

    System.out.println(groupingLastSetOfWords.toString());
  }
}

In the output console would see:

Output:

{Enjoy,this,blog post,this,is,a,test,with,stringjoiner,in,java8}

Thank you for reading, and let's connect!

Thank you for reading my blog. Feel free to follow me and check out my webpage to subscribe to my email newsletter.

How to add a Sold Out snippet or badge on a particular product using Woocommerce?

juanc4milo — Fri, 13 Nov 2020 17:11:08 +0000

This article is based on the description of how it would help solve a problem that I have encountered before related to the task ✍️ that @Chris Bongers left in Hashnode Bootcamp-II ⛺.

If you are setting up a Wordpress site with Woocommerce, notice when any product inventory is out of stock, there is nothing on the item catalog page to help you determine the product's stock availability.

For the customer it is annoying to click every product to see the stock availability.

To deal with that, there are 2 options that can help you :

✅ Function in PHP

In the * functions.php * file normally found in the Theme folder, insert the following code at the end of the file:

add_action ('woocommerce_after_shop_loop_item_title', 'talbiconsept_wc_template_loop_stock', 10);

function talbiconsept_wc_template_loop_stock () {
    product $ global;
    if ($ product-> stock management () && (int) $ product-> get_stock_quantity () <1)
    echo '<p class = "stock out of stock">' .__ ('Sold out!'). '</p>';
}

✅ Add a plugin

In Wordpress Admin Desktop, go to the Plugins tab and look for "Out of Stock Badge for WooCommerce":

Then go to plugin settings and set text label, font size, font color, and background color:

And that is! 😎

How to receive emails in a S3 bucket with AWS SES?

juanc4milo — Sat, 07 Nov 2020 20:52:16 +0000

If you want to receive your emails in an S3 bucket, this is the tutorial you should follow.

Prerequisite: Configure an AWS S3 Bucket

You must create an S3 bucket where the emails are going to deposit.

To do this, create a standard bucket type and assign a policy that Amazon SES can write the files to it. The policy must be like the following:



{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowSESPuts",
            "Effect": "Allow",
            "Principal": {
                "Service": "ses.amazonaws.com"
            },
            "Action": "s3:PutObject",
            "Resource": "arn:aws:s3:::bucket-name/*",
            "Condition": {
                "StringEquals": {
                    "aws:Referer": "your-account-ID"
                }
            }
        }
    ]
}

Configuration in Amazon SES

Verify a domain

Enter the domain that the email account belongs to so that Amazon can verify that the domain is yours. To do this, enter the Domains section and enter the domain:

On the DNS settings you own (Godaddy, Hostgator, Route53, etc.), you must create and enter the verification record sets that Amazon delivers.

Amazon must verify the domain, so you must enter this information in DNS settings.

If you are using Cloudfare or any CDN, you must enter these settings too.

Just wait 5 minutes to propagate the changes around the DNSs...

Set Up an MX record in your DNS Settings

A mail exchange record (MX record) is a setting that specifies the mail servers that can accept email sent to your domain.

To add an MX record to your domain's DNS settings, you must do the following:

Log in to the DNS provider management console.
Create a new MX record.
In the Name field of the MX record, specify the domain followed by a period. Example: mydomain.com.
For Type, select MX.
In Value, enter the following:



inbound-smtp.regionInboundUrl.amazonaws.com

For example, if you are using the US East (N. Virginia) region, replace the region with us-east-1. It should be:



inbound-smtp.us-east-1.amazonaws.com

Create a Receive Rule Set

To create a set of rules in Amazon SES, go to the Rule Sets section and click on the Create a Rule Set button:

Specify the email account or domain from where you want to receive emails. If none is specified, you will receive emails from all accounts:

Select an action, of type S3:

In the action configuration, select the name of the bucket, and say the prefix to save the files (path in S3):

Specify a rule name, enable it and check "Enable spam and virus scanning" if you want AWS to scan the emails:

Review your configuration:

When you hit the save button, the Rule set is created and AWS sends a notification file to the prefix bucket.

You can download it and add a .EML extension to open with Outlook or any email application and read the AWS setup notification.

Test

Login into your preferred mailbox account and send an email to the recipient that you specified in the Rule Set condition:

After you send the email, check the S3 and you should receive an email file. You can download it and add the extension .EML to open it.

Finally...

At this point, you can integrate your Cloud Applications with AWS S3 to process your emails.

How to send an email with AWS SES and track events with Configuration Sets?

juanc4milo — Fri, 06 Nov 2020 15:21:50 +0000

Amazon Simple Email Service is a flexible and scalable email service that allows you to send mail from within any application.

Through this service, you can send emails and receive information on events that the recipient performs, such as mail delivered to the server, mail opening, or the recipient clicked on any link within the email.

To achieve that, you need to do the following steps:

Verify a Domain

The first thing you need to do is enter the domain that the email account belongs to so that Amazon can verify that the domain is yours. To do this, enter the Domains section and enter the domain:

Then, on the DNS settings you own (Godaddy, Hostgator, route53, etc.), you must create and enter the verification record sets that Amazon delivers.

Amazon must verify the domain, so you must enter this information in DNS settings.

If you are using Cloudfare or any CDN, you must enter this settings too.

Just wait 5 minutes to propagate the changes around the DNSs...

Verify Email address

Additionally, Amazon must verify a valid and existing email account. To do this, you must enter Amazon SES to the Email Address section, enter the email account and then go to the inbox of the specified mailbox and click on the link that allows you to verify the account.

Create a Configuration Set

To create a set of configurations in Amazon SES, go to the Configuration Sets section and click on the Create Configuration Set button.

Assign a name to the Configuration Set:

After assigning the name, it appears with no destinations created:

Enter into the configuration set:

You select the way you want to report the events:

For this example, I enabled Amazon SNS:

AWS SES reported these types of events when they occur. Select the one that suits you best.:

• Send: A successful Amazon API call has been made to send mail and Amazon SES will attempt to deliver the mail.

• Reject: Amazon SES accepted the email but determined that it contained malware and rejected it, thus, the email will not be sent.

• Delivery: Amazon SES delivered the mail to the recipient's mail server.

• Bounce: The recipient's mail server has rejected the mail, due to many causes, such as the inbox is full or the recipient does not exist.

• Complaint: The email has been delivered to the recipient, but marks it as spam.

• Click: The recipient clicked on one or more links included in the email.

• Open: The recipient received the message and opened it in their email client.

• Rendering Failure: The mail has not been sent due to a problem with the reading of the designated template for the mail.

• Rendering Success: The email was sent using the templates configured in Amazon SES.

Select the SNS topic before configured to subscribe to notifications:

Save the configuration and a box will display the information entered:

Test

To send a test email, select the domain, and click on the Send a Test Email button:

Then, enter the following fields, where the RAW field indicated the mail format:

Include the following text in the body of the message. This text includes a tag that indicates the that AWS used to report the events:



X-SES-CONFIGURATION-SET: myConfigSetsName
X-SES-MESSAGE-TAGS: DimensionName=DefaultValue
From: emailfrom@domainexample.com
To: emailto@domainexample.com
Subject: Test email
Content-Type: multipart/alternative;
    boundary="----=_boundary"

------=_boundary
Content-Type: text/html; charset=UTF-8
Content-Transfer-Encoding: 7bit

This is a test email with config sets.

<a href="https://aws.amazon.com/">Amazon Web Services</a>
------=_boundary

Click on the send button and an email should reach the recipient's inbox:

One last thing...

To report an open email, Amazon SES includes a blank image at the end of the email so that when the user opens the email, it triggers an event that AWS captured.

For this reason, a restriction of the service is that the originating email account must be marked as a safe sender so when the recipient opens the email, it downloads all its content completely and could launch the event.

¿Qué ofrece y cómo se configura Elasticache en AWS?

juanc4milo — Sat, 31 Oct 2020 16:10:41 +0000

¿Qué ofrece Elasticache?

Amazon ElastiCache ofrece como motor de base de datos de caché a Redis o Memcached de una forma completamente administrada.

Principalmente, este servicio de AWS proporciona:

Soporte para dos motores: Memcached y Redis.
Facilidad de administración a través de la consola de administración de AWS.
Compatibilidad con el protocolo específico del motor.
Estadísticas detalladas de monitoreo a través de Amazon CloudWatch.
Pagar solo por los recursos que consume en función de las horas de nodo utilizadas.
Está disponible en todas las regiones de AWS.

Configuración

Preconfiguración: Grupo de Parámetros

Antes de crear el servicio de ElastiCache en AWS, se recomienda pre-configurar el grupo de parámetros que va a tomar el servicio.

Para crear un grupo de parámetros se da click en Crear Grupo Parámetros:

Luego de crear el grupo, se Editan los parámetros según la necesidad (Los grupos de parámetros por «defecto» no se pueden modificar):

Al dar click en Editar parámetros se despliega una tabla donde se pueden modificar 48 parámetros de configuración de Redis:

El grupo de parámetros contiene 189 valores, de los cuales solo 48 son configurables por el usuario, el resto es administrado por AWS según el tipo de nodo que se escoge.

Parámetros de configuración

Para crear un clúster de Amazon ElastiCache, Amazon solicita:

1. Seleccionar motor de clúster:

2. Parámetros básicos

Nota: Los grupos de parámetros son un conjunto de valores que se pueden aplicar a uno o varios contenedores, y contiene los valores personalizado que se definieron en el primer paso de preconfiguración. Se pueden crear varios grupos de parámetros y aquí permite seleccionar el grupo que se haya creado previamente. Este grupo de parámetros son los valores que va a tomar como configuración el motor Redis.

3. Parámetros avanzados

Permite seleccionar el grupo de subredes a la que va a pertenecer el clúster de AWS ElastiCache. Permite seleccionar zonas de disponibilidad preferidas.

Nota: El parámetro «Multi-AZ con conmutación por error automática» permite indicar que el servicio tenga disponibilidad mejorada a través de la conmutación por errores automática, lo que hace que cambie a una réplica de solo lectura en caso que exista falla en el nodo principal.

4. Parámetros de seguridad

El parámetro «Cifrado en reposo» habilita el cifrado de los datos almacenados en el disco. Actualmente, solo se puede habilitar el cifrado en reposo cuando se crea un clúster de Redis en la versión 3.2.6.

El parámetro «Cifrado en tránsito» habilita el cifrado de los datos durante su transmisión. Actualmente, solo se puede habilitar el cifrado en tránsito cuando se crea un clúster de Redis en la versión 3.2.6.

El parámetro «Ubicación en S3 del archivo RDB» es una ruta de un bucket S3 que contiene una copia de seguridad de un archivo tipo RDB de Redis que tengamos externo para propagar datos en la nueva base de datos que se va a crear.

Luego de configurar, ¿Qué acciones puedo hacer con el servicio?

Las acciones permitidas sobre el servicio ElastiCache tipo Redis en AWS son:

Crear.
Copia Seguridad.
Reiniciar.
Eliminar.
Modificar.
Aplicar actualización servicio.
Ver/Detener actualización.

Costos

Tipos de nodos

Los principales tipos de nodos para crear nuestra base de datos de Elasticache son:

En un modelo de nodos por demanda, dependiendo del tipo de nodo que se seleccione y la región de AWS, los precios fluctúan entre $0,017 USD y $7,00 USD por hora.

Bajo un modelo de nodos reservados, ya sea entre 1 y 3 años, los precios varían entre $0,009 USD y $6,604 USD por hora.

Ver tabla de precios

Almacenamiento backup

El almacenamiento adicional de copias de seguridad tiene un valor de $0,085 USD/GB al mes y es el mismo valor para todas las regiones.

Transferencia de datos

No cobran por transferencia de datos entre una instancia de Amazon EC2 y el nodo de Elasticache si se encuentran dentro de la misma zona de disponibilidad.
Se cobra $0,01 USD por cada GB de entrada/salida entre una instancia de Amazon EC2 y el nodo de Elasticache si se encuentra entre una zona de disponibilidad diferente o en regiones diferentes.

Otros artículos que te podrían interesar...

Do you like it? Buy me a beer if you want.

Originally published at juanc4milo.dev

How to use Redis with Spring in Java

juanc4milo — Fri, 30 Oct 2020 15:25:16 +0000

In a Java Project, you must include the following dependencies to use Redis database:

1.Use the Spring Data redis

with Maven:

<dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-redis</artifactId>
            <version>2.3.4.RELEASE</version>
</dependency>

with Gradle:

compile group: 'org.springframework.data', name: 'spring-data-redis', version: '2.3.4.RELEASE'

2.Use Jedis as client connector

with Maven:

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.3.0</version>
</dependency>

with Gradle:

compile group: 'redis.clients', name: 'jedis', version: '3.3.0'

After that, in your project create a Redis Context File to declare objects which define the connections settings to Redis server:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:context="http://www.springframework.org/schema/context"  
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:p="http://www.springframework.org/schema/p"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context 
    http://www.springframework.org/schema/context/spring-context.xsd">

    <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"
          p:max-total="${redis.config.pool.maxTotal}" />

    <bean id="jedisConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory"
          p:host-name="${redis.config.hostname}" 
          p:port="${redis.config.port}" 
          p:use-pool="true">
        <constructor-arg ref="jedisPoolConfig"/>
    </bean>

    <bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate" 
          p:connection-factory-ref="jedisConnectionFactory" 
          p:enable-transaction-support="true"/>

    <bean id="stringRedisTemplate" class="org.springframework.data.redis.core.StringRedisTemplate" 
          p:connection-factory-ref="jedisConnectionFactory" 
          p:enable-transaction-support="true"/>  
</beans>

Include some properties defined in the bean objects to the application.properties file:

#Redis Config
redis.config.hostname=127.0.0.1
redis.config.port=6379
redis.config.pool.maxTotal=5

In your persistence context or main spring-context, inject the RedisTemplate bean into the DAO bean object that you want to use Redis cache, for example in a TransactionDao object:

Context:

<bean id="transactionDao" class="com.juanc4milo.persistence.dao.TransactionDao">
    <property name="redisTemplate" ref="redisTemplate"/>
</bean>

TransactionDao class:

@Autowired
private RedisTemplate<String, Transaction> redisTemplate

Then create an instance of the ValueOperations class to operate with the Redis database.

To set a value in database use the method SET from ValueOperations class, like:

valueOperation.set(<<key>>,<<value>>);

The transaction ID will be the key in Redis database, and the entire object Transaction will be the value. After that, you could set the expiration time in seconds, minutes, hours, etc.

ValueOperations<String, Transaction> valueOperation = redisTemplate.opsForValue();
valueOperation.set(transaction.getId(), transaction);
redisTemplate.expire(transaction.getId(), 3600, TimeUnit.SECONDS);

Redis allows cache of different types of values, such as:

Values
Sets
Sorted sets
Hashes
Lists

To get the data from Redis database, use the method GET from ValueOperations class, like:

valueOperation.get(<<key>>);

ValueOperations<String, Transaction> valueOperation = redisTemplate.opsForValue();
Transaction tx = valueOperation.get(transactionId);

Redis - Instalación y Configuración

juanc4milo — Mon, 26 Oct 2020 02:22:44 +0000

¿Qué es?

Redis es un almacén de estructura de datos en memoria y es de código abierto (licencia BSD), que se utiliza como agente de base de datos, caché o bróker de mensajería. Admite estructuras de datos como cadenas, hashes, listas, conjuntos o conjuntos ordenados.

Redis vs Memcached

Redis y Memcached son sistemas de almacenamiento de datos en memoria.

Tanto Memcached como Redis sirven como almacén de datos clave-valor en memoria, aunque Redis se describe con mayor precisión como un almacén de estructura de datos.

Tanto Memcached como Redis pertenecen a la familia de soluciones de gestión de datos NoSQL, y ambas se basan en un modelo de datos clave-valor. Ambos mantienen todos los datos en la RAM, lo que, por supuesto, los hace sumamente útiles como capa de almacenamiento en caché.

Las principales características de Redis frente a Memcached son:

Redis admite operaciones de datos más completas que Memcached. Posee más estructura de datos (sorted set, hash, list, etc).
Eficiencia de uso de memoria. Memcached tiene una tasa de utilización de memoria más alta para un simple almacenamiento de clave-valor. Redis utiliza un modo de compresión de data en memoria.
Redis solo usa núcleos individuales, mientras que Memcached utiliza múltiples núcleos. Entonces, en promedio, Redis cuenta con un rendimiento más alto que Memcached en el almacenamiento de datos pequeños cuando se mide en términos de núcleos.
Memcached solo usa una política de vaciado de cache, con el algoritmo LRU (menos recientemente usado). Redis soporta 6 diferentes tipos de política (con algoritmo LRU y LFU).
Redis soporta valores de hasta 512 MB de tamaño. Memcached limitada a 1 MB por clave-valor.

Instalación de Redis Server

Redis Server en Windows

Para Windows existe una versión no oficial de la aplicación donde un usuario ha tomado los compilados y los ha puesto a disposición para trabajar en el sistema operativo Windows.

El instalador se obtiene del siguiente enlace según recomendaciones del sitio RedisLab:

https://github.com/dmajkic/redis/downloads

Luego de descargar el archivo, descomprimir el zip que contiene todos los binarios de la aplicación.

Abrir consola de Windows, y ubicarse en la carpeta donde se encuentran los archivos de Redis. Para iniciar el servidor Redis se ejecuta el comando:

redis-server.exe

Para verificar que está corriendo correctamente el servidor Redis, en otra consola de comandos, nos ubicamos nuevamente en la carpeta donde se encuentran los archivos de Redis y se ejecuta el cliente:

redis-cli.exe

Una vez se ingresa en la consola cliente, se puede usar el comando PING y el servidor nos debe contestar con PONG.

Redis Server en Linux

Por medio de binarios

Descargar la versión de Redis para Linux del siguiente enlace:

https://redis.io/download

o con el comando:

$ wget https://download.redis.io/releases/redis-6.0.8.tar.gz

Luego, descomprimir el tar.gz que contiene todos los binarios de la aplicación.

$ tar xzf redis-6.0.8.tar.gz

Ingresar a la carpeta, y compilar los binarios:

$ cd redis-6.0.8
$ make

Una vez compilada la solución se usa el siguiente comando para ejecutar Redis server:

$ src/redis-server

Una vez verificado que corre, se puede seguir con la creación del archivo .service para dejar la aplicación como servicio.

Por medio del repositorio

Descargar el rpm del siguiente enlace:

$ wget http://rpms.remirepo.net/enterprise/7/remi/x86_64/redis-devel-6.0.8-1.el7.remi.x86_64.rpm

Instalar el rpm con el siguiente comando:

$ sudo yum install redis-6.0.8-1.el7.remi.x86_64.rpm

Para iniciar el servicio:

$ sudo systemctl start redis.service

Configuración

La configuración de Redis se realiza por medio del archivo /etc/redis.conf y está dividido en diferentes secciones. Los parámetros de configuración más más importantes corresponden a los siguientes:

INCLUDES

Permite incluir uno o más archivos adicionales de configuración. Ejemplo:

# include /path/to/local.conf
# include /path/to/other.conf

MODULES

Permite cargar modulos al inicio de la aplicación. Ejemplo:

# loadmodule /path/to/my_module.so
# loadmodule /path/to/other_module.so

NETWORK

Permite configurar las directivas de red de la aplicación, tales como interfaces por las que debe escuchar conexiones. Si no se especifica ningún enlace, la aplicación escucha por todas las interfaces de red disponibles en el servidor. Por defecto el modo protección se encuentra habilitado, escuchando solo por la interfaz de red local 127.0.0.1. Para permitir conexiones desde otros servidores se deben especificar en esta sección. El puerto por defecto de la aplicación es 6379. El tiempo timeout por defecto es 0, quiere decir que esta deshabilitado. Para mantener viva a conexión TCP por defecto está en 300 segundos donde la aplicación envía ACKs para saber si los clientes están con conexión activa. Ejemplo:

# bind 192.168.1.100 10.0.0.1
# bind 127.0.0.1 ::1
# protected-mode yes
# port 6379
# timeout 0
# tcp-keepalive 300

GENERAL

Por defecto, Redis no corre como un deamon

# daemonize no

Por defecto, Redis corre sin modo de supervisado, de modo que si el servicio se detiene, no se informa al sistema del estado del servicio. Se puede especificar: upstart, systemd o auto.

# supervised no

Se puede especificar el archivo donde va a estar registrado el id del proceso de la máquina.

# pidfile /var/run/redis_6379.pid

Se puede especificar el nivel de logger que tendrá la aplicación. Maneja los niveles: debug, verbose, notice y warning. Por defecto está en notice, que es moderado y especializado para ambientes productivos.

# loglevel notice

Se puede especificar el nombre del archivo log del servicio.

# logfile /var/log/redis/redis.log

Se puede especificar logging en el logger del sistema.

# syslog-enabled no

Se puede especificar la cantidad de base de datos que el servicio va a emplear.

# databases 16

SNAPSHOTTING

Permite guardar cambios en la base de datos después del tiempo especificado. Ejemplo:

Guarda si:

Después de 900 segundos si al menos hay un cambio
Después de 300 segundos si al menos hay 10 cambios
Después de 60 segundos si al menos hay 10000 cambios.

# save <seconds> <changes>
save 900 1
save 300 10
save 60 10000

Se puede especificar el nombre de archivo de la base de datos y el sitio donde estará ubicado.

# dbfilename dump.rdb
# dir /var/lib/redis

REPLICATION

Permite configurar replicación de la información entre un servidor maestro y un esclavo. La replicación en redis es asíncrona. La réplica de redis tiene la capacidad de resincronizar parcialmente con la master si se llega a perder una pequeña cantidad de tiempo en el enlace de conexión. La replicación es automática y no requiere de intervención del usuario. Para indicar la máquina donde se va a realizar la réplica se debe habilitar lo siguiente:

# replicaof <masterip> <masterport>

Si la máquina master está protegida por contraseña se puede indicar en esta sección:

# masterauth <master-password>

Si la réplica pierde conexión con la master, por defecto, redis puede seguir contestando a las peticiones pero tal vez con data obsoleta o vacía. Se puede habilitar por configuración que redis trabaje siempre sincronizado con la master ajustando el parámetro de data obsoleta en no.

# replica-serve-stale-data yes

Redis permite configurar para que la réplica sea de solo lectura:

# replica-read-only yes

Redis permite configurar que las réplicas se realizan mediante un proceso de full sincronización donde se transmite toda la información a copiar creando un proceso dedicado en la maquina a escribir un archivo en el disco para pasar toda la información. Si se requiere que no se use el disco para evitar latencia de escritura de disco, se puede habilitar otra opción para que la sincronización sea por medio de sockets. Si la sincronización por sockets está habilitada se puede indicar el tiempo de espera en segundos entre transferencia de datos.

# repl-diskless-sync no
# repl-diskless-sync-delay 5

Las réplicas envían un comando PING hacia master cada cierto tiempo para validar conexión. Este valor por defecto está en 10 segundos.

# repl-ping-replica-period 10

Redis permite configurar un tiempo de timeout en segundos, entre la réplica y la master.

# repl-timeout 60

Redis permite configurar latencia de trafico TCP, por defecto esta deshabilitado, lo que indica que los paquetes TCP van a viajar con toda la información y ocupando todo el ancho de banda disponible. Si esta opción se habilita, se usan paquetes TCP más pequeños de información, usando menos ancho de banda, pero añadiendo una latencia en la transferencia de información.

# repl-disable-tcp-nodelay no

Redis permite configurar prioridad entre las réplicas, indicando un valor entre 0 y 100. Entre mayor sea el número, más prioridad tiene sobre esa replica. Si tiene un valor de cero, nunca va a ser tenido en cuenta para realizar replica. Por defecto el valor está en 100.

# replica-priority 100

Redis permite configurar la cantidad mínima de réplicas que se requiera para escribir data, y el tiempo máximo de latencia entre las réplicas. Si no se cumple con alguno de los escenarios, la master detiene las escrituras. Por defecto la cantidad mínima de réplicas esta deshabilitada y el tiempo de latencia está en 10 segundos.

# min-replicas-to-write 3
# min-replicas-max-lag 10

SECURITY

Redis permite configurar un password de autenticación para la conexión de los clientes al servidor redis.

# requirepass foobared

Redis permite configurar renombramiento de los comandos, en especial de los más vulnerables como el comando CONFIG. Con esto se podría renombrar a algo que sea difícil de adivinar.

# rename-command CONFIG b840fc02d524045429941cc15

CLIENTS

Redis permite configurar el máximo número de clientes conectados al mismo tiempo. Por defecto, el número máximo es 10.000 clientes. Cuando se sobrepasa la cantidad, redis cierra todas las nuevas conexiones y envía un mensaje de error indicando que el número máximo de clientes ha sido alcanzado.

# maxclients 10000

MEMORY MANAGEMENT

Redis permite configurar el límite de cantidad de memoria disponible en bytes. Cuando se alcanza el límite, redis va a intentar remover llaves de acuerdo a la política de expulsión de data seleccionada.

# maxmemory <bytes>

Las políticas disponibles para indicar el comportamiento que debe tener redis cuando se alcanza el límite máximo de memoria son las siguientes:

volatile-lru: Expulsa usando la cantidad de llaves LRU entre un conjunto de llaves a expirar.
allkeys-lru: Expulsa cualquier llave entre LRU.
volatile-lfu: Expulsa usando la cantidad de llaves LFU entre un conjunto de llaves a expirar.
allkeys-lfu: Expulsa cualquier llave entre LFU.
volatile-random: Remueve llaves aleatoriamente entre un conjunto que tengan definido expiración.
allkeys-random: Remueve aleatoriamente cualquier tipo de llave.
volatile-ttl: Remueve llaves con el tiempo más cercano de expiracion. (menor TTL)
noeviction: No expulsa nada. Retorna un error para las operaciones de escritura.
- LRU significa Least Recently Used – Menos usado reciemente.
- LFU significa Least Frequently Used – Menos usado frecuentemente.

Por defecto, redis está configurado con la política noeviction

# maxmemory-policy noeviction

Redis toma muestras de la data para calcular los LRU y LFU. Redis permite configurar la cantidad de muestras a tomar. Por defecto está en 5 para dar buenos resultados. Un valor de 10 mejora notablemente la estadística pero consume mucha CPU, un valor de 3 hace que sea mucho más rápido pero la estadística no sea tan acertada.

maxmemory-samples 5

Otros artículos que te podrían interesar...

Do you like it? You can buy me a beer if you want.

Originally published at juanc4milo.dev

AWS S3 Batch Operations

juanc4milo — Mon, 26 Oct 2020 01:49:29 +0000

¿Qué es?

Batch operations o en español, operaciones por lotes de S3, es una funcionalidad de AWS para realizar acciones por lotes a gran escala en objetos de Amazon S3. Se utiliza para copiar objetos, establecer etiquetas de objetos o listas de control de acceso (ACL), iniciar restauraciones de objetos desde Amazon S3 Glacier o invocar una función de AWS Lambda para realizar acciones personalizadas con los objetos.

Prerequisitos

Como prerequisito para el uso de esta funcionalidad, es necesario tener lo siguiente:

Listado de los objetos en un archivo CSV o archivo manifiesto JSON generado por la funcionalidad Inventario de AWS S3.
Política de permisos en IAM.
Rol en IAM.

Listado de los objetos

Para realizar un trabajo por lotes con objetos de AWS S3, es necesario tener un archivo con el listado de todos los objetos que se requiere realizar alguna acción por lotes. Este listado se puede generar manualmente en formato CSV con la estructura: NombreBucket, LlaveObjeto. Sin embargo, esta tarea puede ser algo compleja, para ello Amazon dispone de una funcionalidad llamada Inventory (Inventario) que permite generar este archivo, el cual para su configuración y uso se puede revisar en la entrada: Inventario AWS S3

Política de permisos en IAM

Para la correcta ejecución de S3 Batch Operation, se debe de contar con una política de permisos que permite al servicio S3 ejecutar las acciones sobre los recursos de la cuenta. Para ello se debe crear una política que luego será asociada a un Rol de IAM.

Para ello se ingresa en IAM y se crea una política:

El JSON de la política debe describir los permisos sobre:

Lectura de objetos que servirán de insumo para realizar las acciones por lote (bucket 1)
Escritura de objetos hacia donde se va dirigida la acción por lote (bucket 2)
Escritura de objetos donde será ubicado el reporte de generación de resultado de la tarea por lote.

Ejemplo:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:PutObjectTagging"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::bucket-2/*"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:GetObjectAcl",
                "s3:GetObjectTagging"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::bucket-1/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-1/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::bucket-1/*"
            ]
        }
    ]
}

Luego se revisa que la política este bien creada, se le asigna un nombre y una descripción:

Una vez creada la política de permisos se debe ver en el listado de políticas de la cuenta:

Configuración Rol en IAM

Para la correcta ejecución de S3 Batch Operation, se debe de contar con un rol que permite al servicio S3 ejecutar las acciones sobre los recursos de la cuenta según las políticas que tenga asociado el rol.

Para ello se ingresa en IAM y se crea un rol:

Se selecciona que el rol será creado para que S3 Batch Operation pueda ejecutar acciones sobre la cuenta:

Luego se asocia la política de permisos previamente creada:

Luego se adicionan los tags al rol:

Finalmente se verifica que este bien creado el rol, se le asigna un nombre y una descripción:

Una vez creado el rol se verifica que este contenga la relación de confianza con S3 Batch Operations:

Configuración de S3 Batch Operation

Ingresar a Amazon S3 y en el menú seleccionar Batch Operations:

Luego Crear Job:

La creación del job se compone de 4 pasos:

Escoger la región y el archivo manifiesto con el listado de objetos.
Escoger la operación por lote a realizar.
Configuraciones adicionales.
Verificación.

Se escoge la región donde se quiere crear el job. Para todas las operaciones, excepto para la de copia, se debe escoger la misma región donde se encuentran almacenados los objetos del listado. Para la operación de copia el Job se debe crear en la misma región donde se encuentra el bucket destino.

Luego se debe elegir el manifiesto (JSON) donde se referencia el listado de los objetos, este manifiesto es un archivo que se genera con el reporte de la funcionalidad Inventario de AWS S3. También se puede seleccionar un archivo en formato CSV, que debe tener la estructura BucketName, ObjectKey:

Luego se selecciona la operación que se quiere ejecutar en el job. Para este caso del ejemplo, la idea es copiar los archivos entre 2 buckets, para ello, se selecciona “Copia”:

Como se ha elegido copia, saldrán las opciones de configuración para llevar a cabo esta tarea. Se solicita indicar el bucket destino donde serán copiados los objetos. AWS advierte que si no se tiene habilitado el Versioning en el bucket destino, si llega a encontrar un objeto similar durante la copia, este será sobreescrito.

Luego se debe seleccionar el tipo de almacenamiento que serán copiado los archivos en el bucket destino.

Luego se debe indicar si los datos se deben proteger con encripción en reposo usando SSE-S3 o AWS KMS:

Luego se debe indicar qué se debe hacer con los tags de los objetos durante la copia:

Copiar los mismos tags existentes de cada objeto.
Reemplazar todos los tags por otros.
No copiar ningún tag.

Luego se debe indicar qué se debe hacer con la metadata de los objetos durante la copia:

Copiar la misma metadata existente de cada objeto.
Reemplazar toda la metadata con otros valores.
No copiar ningún valor de metadata.

Luego se debe seleccionar los permisos de la lista de control de acceso para cada objeto (permiso de los objetos):

Luego se debe asignar una descripción (nombre) al job y una prioridad (en números):

Luego se debe indicar si se requiere que el Job genere un reporte con el estado de la ejecución de las operaciones por cada uno de los objetos. En caso que si se quiera la generación del reporte, se debe indicar el bucket donde será almacenado el archivo.

Luego se deben asignar los permisos para el Job. Para ello se debe seleccionar el IAM Rol creado previamente que contiene la política de permisos sobre los recursos que va a usar S3 Batch Operations.

Finalmente se verifica todas las configuraciones realizadas anteriormente para revisar que todo esté en orden y al final se da click sobre Crear Job.

Una vez creado el Job, Amazon advierte que va a verificar el manifiesto (o archivo CSV) que contiene el listado de objetos al que se le va a aplicar las operaciones por lotes. Si todo se encuentra en orden, pasa el estado del Job de “Nuevo” a “En espera por ejecución”.

Amazon entrega un ID para el Job creado e indica que los Jobs se borran automáticamente luego de 90 días así se hayan terminado OK o en ERROR.

Una vez que Amazon haya terminado de verificar el Job, lo pasa al estado “Pendiente por ejecución” y es aquí donde se puede seleccinar el Job y dar click en “Ejecutar” (Run):

Cuando se da click en Run Job, muestra nuevamente toda la configuración del job para estar seguros de lo que se va a ejecutar. Al final aparece el botón Run Job para iniciar con la ejecución de la tarea:

Una vez completado, lo pasa a un estado “Completado”, indicando el 100% de la tarea completada y el % de errores (si los hubiese).

Costos

En cuanto a costo por usar esta funcionalidad, están las siguientes cifras:

Por cada job que se cree en S3 Batch Operation incurrirá en un costo de $0,25 USD.
Por cada millón de operaciones realizada sobre los objetos incurre en un costo de $1,00 USD.

Esto quiere decir, que es muy importante definir bien la creación del job, debido a que durante el proceso de su creación si hemos cometido algún error (falta de permisos en el rol, falta de permisos en las políticas, elección de un inventario de objetos que no corresponde, etc.), nos cobran igualmente por crear un job que esté errado en su ejecución.

Por otra parte, se nota el gran beneficio el usar esta funcionalidad, ya que por realizar por ejemplo un copiado de 1 millón de archivos entre 2 buckets, solo nos cobra $1 USD.

Otros artículos que te podrían interesar...

Do you like it? You can buy me a beer if you want.

Originally published at juanc4milo.dev

Inventario AWS S3

juanc4milo — Sun, 25 Oct 2020 23:48:13 +0000

AWS S3 Inventory

En ocasiones cuando tenemos un repositorio de documentos con miles o millones de objetos, como por ejemplo AWS S3, Google Cloud Storage o Azure Blob Storage, es probable que perdamos la noción de todo lo que se tiene almacenado en ese repositorio.

Para ello, en el caso de AWS, se dispone de una funcionalidad llamada Inventory, la cual nos permite generar un listado de todos los archivos alojados en determinada ubicación y sobre ese listado incluir ciertos parámetros que nos permite obtener más información sobre lo que tenemos almacenado.

Este listado de inventario de objetos (archivos) en el bucket S3 de Amazon, se puede generar por medio de esta funcionalidad Inventory (Inventario) la cual por defecto nos genera un archivo en formato CSV con la siguiente estructura:

BucketName, KeyObject

Para generar este listado, se ingresa al servicio de S3 en la consola de AWS, se selecciona el bucket donde se encuentras los objetos que queremos listar, luego se selecciona Management y luego Inventory:

Una vez ubicados en este punto, se puede elegir adicionar una nueva tarea de generación de listado de inventario de nuestros objetos:

Al seleccionar la opción de crear una nueva tarea de creación de inventario, la página nos solicita los siguientes campos:

Inventory name: Nombre de la tarea de inventario.
Filters: Prefijo S3 desde donde se va a generar el listado de objetos (carpeta desde donde se requiere el listado de archivos).
Destination Bucket: Nombre del bucket donde se quiere crear el listado.
Destination Prefix: Prefijo donde se quiere crear el listado.
Frequency: Frecuencia con la que se quiere generar el reporte (diaria o semanal).

En opciones avanzadas se puede seleccionar lo siguiente:

Output format: Formato de salida del listado. El formato puede ser: CSV, Apache ORC, Apache Parquet.
Object versions: Seleccionar si quiere el listado solo con las versiones actuales del objeto o con todas las versiones (si se tiene habilitado el versioning).
Optional fields: Campos adicionales que va a contener el reporte. Por defecto está: NombreBucket y KeyObject.
Encryption: Método de encripción para el listado de objetos. Puede ser Ninguno, AES-256, AWS-KMS.

Una vez diligenciado todos los campos, se debe ver algo como lo siguiente:

Amazon advierte que el primer reporte de listado de objetos, podría tardar en generarse 48 horas, aunque, dependiendo de la cantidad de objetos que debe listar en el reporte, podría tomar mucho menos tiempo. Para este caso que solo se ha seleccionado generar la carpeta de un cliente (200 objetos), el reporte se generó en 24 horas.

Adicional, al crear la tarea de generación de reporte de inventario, Amazon automáticamente crea una política de Bucket para tener permisos de escritura sobre el bucket seleccionado para la entrega del listado.

{
    "Sid": "S3PolicyStmt-DO-NOT-MODIFY-160xxxxxxxxxx",
    "Effect": "Allow",
    "Principal": {
        "Service": "s3.amazonaws.com"
    },
    "Action": [
        "s3:PutObject"
    ],
    "Resource": [
        "arn:aws:s3:::prueba-de-copiado-de-inventory-job/*"
    ],
    "Condition": {
        "ArnLike": {
            "aws:SourceArn": [
                "arn:aws:s3:::prueba-de-copiado-de-inventory-job"
            ]
        },
        "StringEquals": {
            "aws:SourceAccount": [
                "97xxxxxxxxx"
            ],
            "s3:x-amz-acl": "bucket-owner-full-control"
        }
    }
}

Una vez transcurridas las primeras 24 horas a partir de que se crea la tarea de generación del listado de objetos, en el bucket se puede observar que se crea una carpeta donde se ubica el reporte:

Una vez ingresado en el prefijo donde se indicó que debía ubicar los reportes diarios, aparecerán 3 carpetas inicialmente. Para el caso de la imagen anterior, las carpetas adicionales nombradas por una fecha, corresponde a los días de generación del reporte, en este casi diario.

La primer carpeta con la fecha de generación del reporte, contiene el manifiesto de generación del reporte en formato .json. Este manifiesto alberga la metadata del archivo de inventario generado por AWS, que nos indica fecha de generación, ubicación del reporte, tamaño, extensión, etc.

{
  "sourceBucket" : "prueba-de-copiado-de-inventory-job",
  "destinationBucket" : "arn:aws:s3:::prueba-de-copiado-de-inventory-job",
  "version" : "2016-11-30",
  "creationTimestamp" : "1581379200000",
  "fileFormat" : "CSV",
  "fileSchema" : "Bucket, Key",
  "files" : [ {
    "key" : "prueba-de-copiado-de-inventory-job/data/6fbf1c72-aded-47ff-91e4-2448addfd5a5.csv.gz",
    "size" : 127,
    "MD5checksum" : "60aee2df4caf7f4b00a7375bc978d1c8"
  } ]
}

La segunda carpeta, data contiene el archivo de reporte en formato CSV con todo el listado de los documentos ubicados en la ruta que se haya especificado para listar los objetos.

La tercer carpeta, hive con un archivo de texto que contiene la URL completa de donde está ubicado el reporte en nuestro bucket.

Como se puede apreciar, la funcionalidad de AWS S3 Inventory nos permite generar un listado de todos los objetos y es de gran ayuda cuando tenemos millones de archivos en él. Adicional, estos listados son indispensables para automatizar procesos sobre estos objetos, como por ejemplo tareas de copiado de archivos entre buckets, cambiar el tipo de almacenamiento, cambiar la metadata o los tags de los objetos, entre otros.

Un dato adicional a tener en cuenta es que esta funcionalidad tiene un costo que oscila entre los $0,0025 USD y $0,0035 USD por millón de objetos enumerados, dependiendo de la región donde se realice la ejecución del inventario. También, los archivos resultantes como los manifiestos y la data (archivos CSV) almacenados en el bucket, deben incurrir en los costos asociados de solicitudes sobre el bucket de estos objetos y en el tamaño/tiempo de almacenamiento.

Toda esta configuración que hemos visto por medio de la consola web de AWS, se puede realizar a través de la herramienta de línea de comando AWS cli, usando el comando put-bucket-inventory-configuration. Para más detalle se puede revisar la documentación en su sitio web oficial https://awscli.amazonaws.com/v2/documentation/api/latest/reference/s3api/put-bucket-inventory-configuration.html

De igual forma, se puede realizar por medio del AWS SDK disponible para todos los lenguajes de programación soportados por Amazon, el cual se puede ver mayor detalle en su documentación: https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutBucketInventoryConfiguration.html

Otros artículos que te podrían interesar...

Do you like it? You can buy me a beer if you want.

Originally published at juanc4milo.dev

DEV Community: juanc4milo

Using StringJoiner in Java

What is StringJoiner?

StringJoiner - String delimited by prefix and sufix

Merging StringJoiners

Thank you for reading, and let's connect!

Other articles that you might like...

How to add a Sold Out snippet or badge on a particular product using Woocommerce?

✅ Function in PHP

✅ Add a plugin

Other articles that you might like...

How to receive emails in a S3 bucket with AWS SES?

Prerequisite: Configure an AWS S3 Bucket

Configuration in Amazon SES

Verify a domain

Set Up an MX record in your DNS Settings

Create a Receive Rule Set

Test

Finally...

Other articles that you might like...

How to send an email with AWS SES and track events with Configuration Sets?

Verify a Domain

Verify Email address

Create a Configuration Set

Test

One last thing...

Other articles that you might like...

¿Qué ofrece y cómo se configura Elasticache en AWS?

¿Qué ofrece Elasticache?

Configuración

Preconfiguración: Grupo de Parámetros

Parámetros de configuración

1. Seleccionar motor de clúster:

2. Parámetros básicos

3. Parámetros avanzados

4. Parámetros de seguridad

Luego de configurar, ¿Qué acciones puedo hacer con el servicio?

Costos

Tipos de nodos

Almacenamiento backup

Transferencia de datos

Otros artículos que te podrían interesar...

How to use Redis with Spring in Java

1.Use the Spring Data redis

2.Use Jedis as client connector

Other articles of mine that you might like...

Redis - Instalación y Configuración

¿Qué es?

Redis vs Memcached

Instalación de Redis Server

Redis Server en Windows

Redis Server en Linux

Por medio de binarios

Por medio del repositorio

Configuración

INCLUDES

MODULES

NETWORK

GENERAL

SNAPSHOTTING

REPLICATION

SECURITY

CLIENTS

MEMORY MANAGEMENT

Otros artículos que te podrían interesar...

AWS S3 Batch Operations

¿Qué es?

Prerequisitos

Listado de los objetos

Política de permisos en IAM

Configuración Rol en IAM

Configuración de S3 Batch Operation

Costos

Otros artículos que te podrían interesar...

Inventario AWS S3

AWS S3 Inventory

Otros artículos que te podrían interesar...