DEV Community: Takahiro-Y01

IoT AnalyticsのデータセットをQuickSightで可視化

Takahiro-Y01 — Mon, 22 Jan 2024 05:32:58 +0000

IoT AnalyticsのデータセットをQuickSightで可視化

IoT AnalyticsのデータセットをAmazon QuickSightで可視化するには、以下のステップに従います：

1. QuickSightへのアクセスとセットアップ

Amazon QuickSightにサインインします。
データセットセクションに移動します。
新しいデータセットを作成するオプションを選択します。

2. IoT Analyticsデータセットの接続

データソースとしてAWS IoT Analyticsを選択します。
利用したいIoT Analyticsのデータセットを選択します。
必要に応じて、追加の設定やフィルターを適用します。
データセットのインポートを完了します。

3. 計算フィールドの追加

データセットがtimestampフィールドで日時を取得している場合、データセットの編集から計算フィールドを追加して時間を調整することができます：

IoT Analyticsデータセットに戻り、フィールドの追加または計算フィールドの編集を選択します。
新しい計算フィールドとして、日時の変換を行う式を追加します。例えば：
```
addDateTime(9, "HH", epochDate({timestamp}))
```
この式は、timestamp フィールドに9時間を加えて、日本標準時（JST）に変換します。
計算フィールドに名前を付け、保存します。

4. QuickSightでの分析の作成

分析セクションに移動します。
新しい分析を作成します。
先に作成したデータセットを選択します。

5. データセットの更新（飛ばしても大丈夫）

データセットの更新は、以下の方法で行うことができます：

QuickSightのデータセットページで、更新したいデータセットを選択します。
データセットの更新オプションを選択して、最新のデータを取得します。更新間隔をスケジュールすることも可能です。

6. 可視化の作成

分析画面で、データセットから可視化したいフィールドを選択します。
可視化のタイプ（例：バーチャート、ラインチャート、ピボットテーブルなど）を選択します。
必要に応じて、色、レイアウト、フィルターなどを調整します。

7. ダッシュボードの公開

可視化が完成したら、ダッシュボードに公開するオプションを選択します。
ダッシュボードに名前を付け、必要に応じて他のユーザーと共有します。

aws IoT Coreからaws IoT Analyticsにデータを保存する

Takahiro-Y01 — Mon, 22 Jan 2024 04:54:19 +0000

IoT Analyticsの設定

IoT Analyticsを設定するには、以下のステップに従います：

AWS IoT Analyticsダッシュボードにアクセスします。
ワンクリッククイックスタートを使用して、必要なリソース（チャネル、パイプライン、データストア、データセット）を自動的に作成します。
リソースプレフィックスフィールドに、リソースを識別するための独自の名前（例えば、MyIoTProject）を入力します。
リソースの作成ボタンをクリックして、プロセスを完了します。

IoT Coreの設定

IoT Coreでメッセージをルーティングするルールを設定するには、以下の手順を実行します：

AWS IoT Coreダッシュボードにアクセスし、ルールセクションに進みます。
新しいルールの作成ボタンをクリックします。
ルールに名前を付けます（例：SendToIoTAnalytics）。
ルールクエリステートメントで、データ形式に合ったSQL文を記入します。例：
```
SELECT end_device_ids.device_id AS device, timestamp() AS timestamp, uplink_message.decoded_payload.distance AS distance FROM 'lorawan/A840413A21/uplink' WHERE uplink_message.decoded_payload.distance > 20
```
このクエリは、デバイスID、タイムスタンプ、距離データを選択し、距離が20より大きいデータのみを取得します。
アクションの追加を選択し、IoT Analyticsをアクションとして追加します。
IoT Analyticsのチャネル名を選択します（自動作成されたチャネル名を使用）。
必要に応じて、新しいIAMロールを作成または既存のものを選択します。筆者は新しいIAMロールを任意の名前で作成します。
ルールの作成をクリックして、設定を完了します。

IoT Analyticsにデータを確認

IoT Analyticsにデータが届いているかを確認するには、以下の手順に従います：

IoT Analyticsダッシュボードにアクセスします。
データストアセクションを開きます。
作成したデータストアを選択します。
最終データ到達日時を確認します。この日時が最近のものに更新されていれば、データが正常に送信されていることを示します。

データストアの最終データ到達日時が更新されていない場合は、以下の点を確認してください：

IoT CoreとIoT Analytics間の接続が正しく設定されているか。
IoT Coreのルールが正しく設定され、アクティブになっているか。
データがIoTデバイスから正常に送信されているか。

問題が解決しない場合は、IoT Analyticsのログやモニタリングツールを使用して、エラーの原因を特定してください。

データセットの更新間隔の設定

データセットの更新間隔は、データセット ⇒ スケジュールから変更できます。この設定を通じて、データセットの更新頻度を制御し、リアルタイム性やデータ量とのバランスを取ることが可能です。更新間隔は、特定の時間ごと、または定期的なスケジュールに基づいて設定できます。

IoT Analyticsのダッシュボードにアクセスします。
データセットセクションを選択します。
更新したいデータセットのスケジュールオプションをクリックします。
更新間隔を設定します。例えば、「毎時」、「毎日」、「毎週」などのオプションがあります。
設定を保存して完了します。

これらの設定により、データの分析と処理の頻度を最適化し、システムのパフォーマンスと効率を向上させることができます。また、特定のイベントや条件に基づいて更新間隔を設定することも可能です。この柔軟性により、異なるアプリケーションや使用状況に応じたデータ管理が実現できます。

参考: ドアセンサーデータのSQL例

ドアセンサーを使用し、ドアが開いている（DOOR_OPEN_STATUS=1）時のデータのみを保存する場合のSQL文の例は以下のようになります：

SELECT timestamp() AS timestamp, uplink_message.decoded_payload.DOOR_OPEN_STATUS AS clock FROM 'lorawan/A840417611/uplink' WHERE uplink_message.decoded_payload.DOOR_OPEN_STATUS=1

このSQL文は、ドアが開いている状態のデータを選択し、タイムスタンプと共に保存します。

How to connect "The Things Network(TTN V3)" and "AWS IoT Core".

Takahiro-Y01 — Fri, 03 Jun 2022 00:34:02 +0000

This article will show you how to connect "The Things Network V3" and "AWS IoT Core".

1. TTN Settings

Select the application to connect from TTN, and select "AWS IoT" from "Integrations".
Then click on the "Deployment Guide".

Scroll down.
For "Select your AWS region", select your region.
Then click "Deploy for The Things Network" under "Community".

2. AWS Settings

Enter the TTN cluster address or TTN application ID.

See below for cluster address and application ID

Creating an API key

Select "API keys" from the TTN application and click "Add API key".

Make the settings as shown in the image.

Copy the created API key and paste it into the aws settings screen.

When the stack is created by aws, it will be as follows.
Creating the stack will take a few minutes.

3. Set up with AWS IoT Core

Log in to the aws IoT Core.
And if you check "Things", you can see that a new device has been added.

Let's check if the data can be obtained.
Enter "lorawan / #" in "MQTT test client".

After waiting for a while, the data will be earned.

However, this alone is not enough to extract only the variables you want.
Let's add a rule for the data format.
I use a distance sensor, so I try to get only the distance.

Edit the SQL statement.

These are the SQL statements I used.

SELECT end_device_ids.device_id AS device, received_at AS r_date, uplink_message.decoded_payload.distance AS distance FROM 'lorawan/A840414/uplink' WHERE uplink_message.decoded_payload.distance > 20

Data visualization by connecting "The Things Network(TTN V3)" and "TagoIO". Sensing using LoRaWAN.

Takahiro-Y01 — Fri, 03 Jun 2022 00:33:47 +0000

I will introduce how to connect the data uploaded to "The Things Network" to "TagoIO" and save and visualize the data.

1. How to connect "The Things Network" and "TagoIO".

Create a free plan account for "TagoIO".

1.1 Device registration

Log in to TagoIO.
Click "Devices".

Select "+ Add Device" → "Custom TTI / TTN" or "Custom TTI / TTN".

Enter the "device name" and "device EUI". Any "device name" is fine.

Creating an authorization.

Any name is fine.

Copy the Authorization you created.

1.2 Settings in TTN

Log in to TTN.
Select "Webhooks" from your application.

Select "TagoIO".

Any "Webhook ID" is fine.
For "Authorization", enter the "Authorization" created by TagoIO.

If TTN and TagoIO can work together, "Active" will be "Yes".

2. Data visualization

Click "+" on DASHBOARDS

Any name is fine.

Click "Add widget".

First, let's visualize the latest data.
Select "Solid".

Next, decide the details.

In "Data from", enter which variable data of which device is used.
If you enable "Show last update" in "Options", you can see when it was updated.
Enter the minimum and maximum values for "Range".
Click "Create" when you are done.

You can add a widget by clicking the "+" on the top right.
Similarly, try various things.

Supports LoRaWAN. Measure distance and water level with Dragino and The Things Network(TTN V3).

Takahiro-Y01 — Mon, 30 May 2022 05:29:25 +0000

Devices and Services Used
Gateway Settings
TTN settings
Code changes and Communication frequency settings

1. Devices and Services Used

This article shows you how to upload data to The Things Network V3 using Dragino's sensors and gateways.

End Nodes : LDDS75-8(Dragino)
Concentrator / Gateway : LIG16(Dragino)
Network Server : TTN V3(The Things Network V3)

2. Gateway Settings

2.1 Connect via Wifi

When you turn on the gateway,"dragino-xxxxxx" will be displayed in the Wifi SSID. Please connect to this.

The Wifi network password is "dragino+dragino".

2.2 Access to Management Screen

Enter "http://10.130.1.1" in your browser.

User Name: root
Password: dragino

2.2.1 LoRa Settings

Select "LoRa" from "LoRa" in the menu.

Change the "Frequency Plan" to suit your country. I live in Japan, so I set it up for Japan.

Click "Save & Apply" when the settings are complete.

2.2.2 LoRaWAN Settings

Select "LoRaWAN" from "LoRaWAN" in the menu.

Do not change the "Gateway ID". This ID is used in the TTN settings.
Select "The Things Network V3" for "Service Provider".
Then, for "Server Address", select "Cluster" of "TTN V3". I chose "eu1.cloud.things.network".

Click "Save & Apply" when the settings are complete.

2.2.3 WiFi Settings

Select "WiFi" from "Network" in the menu.

Enable "Enable WiFi WAN Client".
Please enter the information of the Wifi to connect.
Please use 2.4GHz band WiFi.

Click "Save & Apply" when the settings are complete.

3. TTN settings

3.1 Access to TTN

Go to "https://www.thethingsnetwork.org".
After registering for free, click "Start building"

Select the Cluster set in the gateway. I chose "Europe 1".

3.2 Gateway Registration

Select "Register a gateway".

Set the "gateway ID" and "gateway EUI". Any "gateway ID" is OK.
For the "gateway EUI", enter the "gateway ID of the Dragino gateway".

Choose "Frequency Plan" that suits your country. I chose "Asia 920-923 MHz with LBT".

Click "Create gateway" when the settings are complete.
After waiting for a while, the gateway will be connected.

3.3 Application Registration

Select "Go to applications".

Click "add application"

Any "Application ID" is OK.

Click "add end device".

Enter the information for your end device.

If the end device is turned on, communication will start.

If the data is not displayed, for example "No Sensor", you need to change the code. If you want to change the code, please refer to "4.1".

4. Code changes and Communication frequency settings

4.1 Code changes

If you are using LDDS75 and "No Sensor" is displayed, change the program as follows.
If you look at this table, you can see that the values are stored in the 3rd and 4th.

Select "Payload formatters" for the end device.
Then select "Custom Javascript formatter" for "Formatter type". Now you can edit the code.
Click "Save changes" and you're done.
Please change it according to the type of end device to be used.

function decodeUplink(input) {
  var data = {};
  var len=input.bytes.length;
  var value=(input.bytes[0]<<8 | input.bytes[1]) & 0x3FFF;
  var batV=value/1000;//Battery,units:V
  var distance = 0;
  var interrupt = input.bytes[len-1]; 
  switch (input.fPort) {
    case 2:
  if(len==8)  
  {
    distance=input.bytes[2]<<8 | input.bytes[3];
    data.distance=distance;//distance,units:mm

   if(distance<=20)
    data.distance = "Invalid Reading";
  }
  else
   data.distance = "No Sensor";
  return {
       data:data,
  };

default:
    return {
      errors: ["unknown FPort"]
    }
}
}

Here is the code I used.

4.2 Communication Frequency Settings

If you want to change the time interval on a Dragino end device, do the following.

How to Time Interval Setting

How was that?
If you have any questions, please feel free to comment.

DEV Community: Takahiro-Y01

IoT AnalyticsのデータセットをQuickSightで可視化

IoT AnalyticsのデータセットをQuickSightで可視化

1. QuickSightへのアクセスとセットアップ

2. IoT Analyticsデータセットの接続

3. 計算フィールドの追加

4. QuickSightでの分析の作成

5. データセットの更新（飛ばしても大丈夫）

6. 可視化の作成

7. ダッシュボードの公開

aws IoT Coreからaws IoT Analyticsにデータを保存する

IoT Analyticsの設定

IoT Coreの設定

IoT Analyticsにデータを確認

データセットの更新間隔の設定

参考: ドアセンサーデータのSQL例

How to connect "The Things Network(TTN V3)" and "AWS IoT Core".

1. TTN Settings

2. AWS Settings

Creating an API key

3. Set up with AWS IoT Core

Data visualization by connecting "The Things Network(TTN V3)" and "TagoIO". Sensing using LoRaWAN.

1. How to connect "The Things Network" and "TagoIO".

1.1 Device registration

1.2 Settings in TTN

2. Data visualization

Supports LoRaWAN. Measure distance and water level with Dragino and The Things Network(TTN V3).

Table of Contents

1. Devices and Services Used

2. Gateway Settings

2.1 Connect via Wifi

2.2 Access to Management Screen

2.2.1 LoRa Settings

2.2.2 LoRaWAN Settings

2.2.3 WiFi Settings

3. TTN settings

3.1 Access to TTN

3.2 Gateway Registration

3.3 Application Registration

4. Code changes and Communication frequency settings

4.1 Code changes

4.2 Communication Frequency Settings