DEV Community: nao

AWS SAP Practice

nao — Tue, 07 May 2024 13:32:15 +0000

AWS SAP

A
S
A
A
A
A
A
A
A
ABCE Amazon SESでは設定セット（Configuration sets）を使うことでメールの開封率などを調べることが可能 メトリクスはCloud Watch, Kinesis Firehose, SNSに送信することが可能 以前はできなかったが、２０１７年ごろに可能になった
Aa VPCフローログは送信元IPアドレスや宛先、ポート番号などの基本的な情報しかないがVPCミラーリングで得られたパケットには通信に関する全ての情報がある それをWireshark等のパケットキャプチャツールで解析すると通信をしているユーザなどの情報を検査できる パケットの送信先はENIかNetwork loadBalancerのみ。CloudWatch Logsには送信できない
A AWS Personal Health DashboardのAWS_EC2_PERSISTENT_INSTANCE_RETIREMENT_SCHEDULEDイベントは、EC2インスタンスがハードウェアの問題や老朽化などの理由で退役予定であることを示すアラート このイベントのターゲットとしてAWS AutomationのAWS-RestartEC2Instanceを指定することで自動起動が可能
A Amazon Inspectorにはエージェントが必ずしも必要ない（エージェントレススキャン） ただ、ソフトウェアの脆弱性を詳細に検査するためにはAgentが必要
Aa Dedicated Hostsのアフィニティオプションを利用することで、インスタンスが再起動したときも同じハードウェアマシン上で起動されるようになる
A S3バケットのリクエスタ支払いを有効にすると、自動的にAWS認証とx-amz-request-payer:requesterをヘッダーに含めたリクエストが必須になる つまり、バケットポリシーのConditionを追加する必要はない
A KMSマスターキーのエクスポートはできない 素早く安全にデータベースのコピーを相手に渡すには、Aurora MySQLのスナップショットを作成してKMSのCMKをキーポリシーによって使えるようにする
A
A DAXにはSaving Plansは存在しない
A Elastic IPアドレスが利用できるAWSのサービスは、EC2, NATゲートウェイ、Network Load Balancerである
Aa AWS SCT (Schema Conversion Tools)を使うことでデータウェアハウスからデータを抽出/変換しS3やSnowball Edgeに移行することができる
A AWS Replication AgentはAWS Application Migration Serviceでも使える AMSでテストインスタンスの起動も可能
C⭕️
C⭕️ Kinesisはマネージド→OSの管理が必要ない
B/C Memchaedは暗号化やレプリケーションをサポートしていない 
DCF/ADF ENIにはMACアドレスも紐づいている 
C⭕️
BC⭕️
DCE/BCD
B⭕️ CodepipelineでCodeBuildを実行して、コマンドの戻り値がエラーの場合はパイプラインが終了する 
EDC/BDE AWSとオンプレミスの安定な接続→Direct Connect Gateway マネージドなVPN接続→AWSクライアントVPN
A/D
A/B CART（AWS Cloud Adoption Readiness Tool）を利用することでAWS以降に必要な準備について適切な指標を出せる
D/C Egress-Onlyインターネットゲートウェイはサブネットに作成するものではなくVPCにアタッチするものである
B/D
B⭕️
B/C 外部IDはIAMロールのARN登録ごとにランダムに作成する必要がある
C⭕️ 
B⭕️ 
B⭕️
D⭕️
A/B 追加の勉強が必要
C⭕️ Transit GatewayのVPN接続でEnable Accelerationを有効にするとGlobal Acceleratorを利用したVPNネットワークの高速化になる
ADE⭕️
C/B SCPを利用するにはOrganizationsで全ての機能を有効化する必要がある
CDF/BCD Firewall Managerで必須の機能→Organizationsで全ての機能を有効化すること、管理者アカウントの設定、Configを有効化すること
A/D 最小限の権限を設定するためにService Catalogを使える
D⭕️ Lambda関数に送信元Elastic IPアドレスを設定するには、NATゲートウェイ経由でアウトバンドリクエストを実行する必要がある NAT Gatewayに適用したElastic IPアドレスを使う
D/C KMSの顧客管理キーはローテーションが可能 パスワードのローテーションが必要な場合はシークレットマネージャーを利用する必要があるが、キーのローテーションならKMSでOK
A/C
AC⭕️ Cloud HSMでTDEプライマリ暗号化キーを使用するケースはRDSでサポートされていない。→EC2を利用する必要がある
D⭕️
B⭕️
B⭕️ Direct Connect Gatewayで複数リージョンのVPCにアタッチできる
CDE/BCE SricataとはオープンソースのIDS Sricata互換での検査をマネージドで提供するサービスはAWS Network Firewall
C/B
ABC⭕️ IAMロールを使うことでEC2のメタデータに一時的な認証情報が保存されますが、IMDSv2のみを使用することでサーとパーティ製のWAFの脆弱性に影響されにくい
C/A Cloud Frontキーペアの作成はrootユーザーでなくてもできる
C⭕️
B⭕️
BD⭕️
B/C ベストプラクティスは「自動化」
B/C S3マルチパートアップロードでは不完全なパートが残りっぱなしになるとストレージ容量を逼迫してしまうため定期的に削除することが必要
D⭕️
BCE⭕️
B⭕️ ルートユーザーが使われたことの通知→Guard DutyのRootCredentialUsageイベント
D⭕️ Application Discovery Serviceで以降の判断や計画を立てることにも使える
B⭕️
D/C AWS Outpostsとは自社のデータセンターやオンプレミス環境にAWSのサーバをラックごと設置するもの 住所がはっきりしている特定の場所にデータを保存しなければならない場合などに利用する
B⭕️ EMRではマスターノードとコアノードは中断されずに実行される必要がある
ABC/ACD インプレミスのLinuxにEFSをマウントし、転送中のデータを暗号化する場合 amazon-efs-utilsをインストールして、マウントヘルパーコマンドで-o tlsオプションをつけてマウントする マウントするとき、EFSファイルシステムIDを指定するので名前解決できる必要がある
D/B わからん
CE/BC RDS Proxyを利用する場合は、パスワード保存用のSecrets Managerが必要 RDS Proxyにとどいたリクエストの認証を行うためhttps://dev.classmethod.jp/articles/how-rdsproxy-uses-secrets-manager/
B/C CloudFrontのフィールドレベル暗号化とは、CloudFrontでやり取りされる特定のフィールドのデータを暗号化するもの 特定のセンシティブな情報を暗号化する際に利用される KMSキーなどで暗号化をすると、KMSキーが利用できる人ならその情報が見れてしまう
A/B
D/A リアルタイム配信は、AWS Elemental MediaLiveとAWS Elemental MediaStoreとCloudFrontで実現可能
C/D 同じリージョン内のVPC同士を接続する場合→Transit Gateway その後、各リージョンのTransit Gateway同士をピア接続する
D⭕️
BD/BE OACはCloudFront経由に限定するだけで、アクセスもとの認証などを判断するものではない
A/C EventBridgeを利用することでスポットインスタンスの中断などのAWSアカウント内のイベントと、外部SaaS製品のイベントを統合できる
C⭕️
DE/CE
D/C 勉強が必要Step Function 使う

追加で勉強すること

追加でまとめること

組織のネットワーク設計
1. VPCエンドポイントの利用
2. AWS PrivateLinkとVPCエンドポイントの違い
3. AWS クライアントVPN/AWS Site-toSite VPN/ソフトウェアVPNなどを使ったVPN構成
4. 仮想プライベートゲートウェイとカスタマーゲートウェイ
5. AWS Direct Connect
6. VPCピア接続
7. AWS Transit Gateway
8. Direct ConnectとTransit Gateway
9. Route53プライベートホストゾーンとRoute53 Resolver
マルチアカウント戦略、ロール、ユーザ管理について
1. 組織内でのクロスアカウントアクセス
2. サードパーティ製品へのアクセス許可と混乱した代理問題
3. AWS Directory Service
4. AWS Organization
5. AWS Service CatalogとAWS Resource Access Manager
6. AWS Control Tower
開発
1. Build spec.ymlとapp spec.yml
2. EC2インスタンス/ECS/Lambdaへのデプロイ戦略
3. CloudFormationのヘルパーリクエスト
4. AWS CodePipelineの使用例
5. AWS Elastic Beanstalkの使用例
モニタリング
1. AWS Healthイベント　Personal Health
2. CloudWatchの利用例
3. VPCのモニタリング（VPC Flow Logsとトラフィックミラーリング）
4. AWS X-Ray
構成管理、メンテナンス
1. AWS Systems Managerの利用
2. AWS Config
3. S3のバッチオペレーション
セキュリティ
1. ルートユーザの保護
2. AWS KMS
3. Cloud HSMのユースケース
4. Secret Manager
5. Amazon Inspector
6. WAF, Shield, Network Firewall, Firewall Manager
7. GuardDuty, Macie, Security Hub, Detective
信頼性
1. 災害対策のために
2. 疎結合化による信頼性の改善
3. データベースのリクエスト改善
4. EC2 オートスケーリング
5. ファンアウト
6. AWS Service Quotasが必要になる場面
パフォーマンス
1. インスタンスタイプとかバーストとか
2. プレイスメントグループ
3. ストレージのパフォーマンス（S3,DynamoDB）
4. CloudFrontの利用
5. Global Accelerator
6. ElastiCache
7. RDS
8. Aurora
9. API Gateway
コスト最適
1. EC2のコスト
2. S3のコスト
3. DynamoDBのコスト
4. コストの可視化、予想
5. EC2→サーバレスへ
移行
1. 7つのR
2. 移行評価支援のサービス
3. データ、アプリケーションの移行サービス
AWS の活用例
1. ECS/EKS/Proton
2. App Runner
3. Kinesis
4. データレイク
5. SESを活用したメール送受信
6. Transfer Family
7. IPアドレスに依存した設計
8. 低遅延を実現するサービス

chiikawa

nao — Mon, 15 Apr 2024 14:18:03 +0000

How to solve Network Forensics puzzl with chat GPT

nao — Sun, 14 Apr 2024 08:12:12 +0000

https://forensicscontest.com/2009/09/25/puzzle-1-anns-bad-aim

vidence01.txt
Document
これは下記背景のもと取得されたパケットです。

背景
Anarchy-R-Us, Inc. suspects that one of their employees, Ann Dercover, is really a secret agent working for their competitor. Ann has access to the company’s prize asset, the secret recipe. Security staff are worried that Ann may try to leak the company’s secret recipe.

Security staff have been monitoring Ann’s activity for some time, but haven’t found anything suspicious– until now. Today an unexpected laptop briefly appeared on the company wireless network. Staff hypothesize it may have been someone in the parking lot, because no strangers were seen in the building. Ann’s computer, (192.168.1.158) sent IMs over the wireless network to this computer. The rogue laptop disappeared shortly thereafter.

“We have a packet capture of the activity,” said security staff, “but we can’t figure out what’s going on. Can you help?”

このパケットを解析して次の問題に答えてください。

What is the name of Ann’s IM buddy? また、解答に使用したパケット番号を答えてください名前が直接わからない場合は、IMを始めて開始したと思われるパケットの番号を教えてください。私がそのパケット番号をもとに解析します。

How to solve Network Forensics puzzl with chat GPT

nao — Sun, 14 Apr 2024 08:12:12 +0000

https://forensicscontest.com/2009/09/25/puzzle-1-anns-bad-aim

vidence01.txt
Document
これは下記背景のもと取得されたパケットです。

“We have a packet capture of the activity,” said security staff, “but we can’t figure out what’s going on. Can you help?”

このパケットを解析して次の問題に答えてください。

What is the name of Ann’s IM buddy? また、解答に使用したパケット番号を答えてください名前が直接わからない場合は、IMを始めて開始したと思われるパケットの番号を教えてください。私がそのパケット番号をもとに解析します。

GPT

キャプチャファイルの中から、AnnのIM相手の名前を特定するのは直接的な情報がないため、難しいですが、Annのコンピュータ（192.168.1.158）から他のマシンに送信されたIM関連のパケットを探すことで、関連する情報を見つけることができます。
上記の記録から、パケット番号23でAnnのコンピュータがIPアドレス64.12.24.50に対してSSLプロトコル（Transport Layer Security）を使用してデータを送信しています。このパケットは、IM（インスタントメッセージ）に関連するものである可能性が高く、このIPアドレスがAnnのIM相手であるかもしれません。ただし、このパケット情報だけからはIM相手の名前は直接的にはわかりません。
もしこの情報からさらに詳細な解析が必要であれば、指定したパケット番号23に基づいてさらに解析を進めることができます。それでは、この方向で進めてよろしいでしょうか？

)°byE¤»Eå«<@@trÀ¨@2Ç¸»3kÒÉé`ÛPõ<Ð*a·E4628778Sec558user1Here's the secret recipe... I just downloaded it from the file server. Just copy to a thumb drive and you're good to go >:-)

問題3

ありがとうございます。次の問題はこれです。

What is the name of the file Ann transferred?

GPT

Annが転送したファイルの名前を特定するためには、ファイル転送が行われたことを示すパケットを探し、その中からファイル名を特定する情報を抽出する必要があります。ファイル転送には、通常、FTP（File Transfer Protocol）、HTTP（HyperText Transfer Protocol）、またはSMTP（Simple Mail Transfer Protocol）などのプロトコルが使用されることが多いです。
パケットキャプチャのデータを確認し、これらのプロトコルに関連する情報が含まれるパケットを探し、そこからファイル名を抽出します。ファイルの詳細な解析を行うため、パケットデータを再度調査して、関連する情報を見つけ出します。これには少し時間がかかる場合がありますので、しばらくお待ちください。
Annが転送したファイルの名前は「recipe.docx」です。この情報はパケット番号117から抽出されました。このパケットは、インターネット・プロトコル（IP）アドレス192.168.1.159から192.168.1.158へのデータ転送を含んでおり、ファイル名「recipe.docx」がデータ部に含まれていることが確認できます。このファイル名は、会社の秘密レシピを示唆している可能性が高いです。

ありがとうございます。ちなみに、192.168.1.159のIPアドレスを持つ端末と、64.12.24.50のIPアドレスを持つ端末はどのような用途を持つ端末だと考えられますか？本問題の背景と照らし合わせて教えてください。

GPT
IPアドレス192.168.1.159と64.12.24.50について、それぞれの用途を考える際、提供された背景情報と既知のデータを考慮に入れることが重要です。
192.168.1.159:
このIPアドレスはプライベートアドレス範囲に属しており、一般的にはローカルネットワーク内で使用されます。問題の背景によると、Ann Dercoverが秘密情報を外部に漏らす恐れがあるとされています。彼女のコンピュータ（192.168.1.158）がこのIPアドレス（192.168.1.159）と通信していた事実から、この端末も社内ネットワークに接続されている他の端末、あるいは外部からアクセスした端末（例えばVPNを通じて）である可能性が考えられます。この端末が「recipe.docx」というファイルの受信側であることから、この端末は秘密情報の受け取り手である可能性が高いです。
64.12.24.50:
このIPアドレスはパブリックアドレスであり、インターネット上の端末を指します。特定の企業やサービスプロバイダーが所有することが多いです。これがIM（インスタントメッセージング）の通信で使用されていたことから、このIPアドレスが社外のIMサービスプロバイダー、もしくはAnnが使用している外部のコミュニケーションサービス（例えば、競合企業のサーバーなど）に属している可能性があります。AnnがこのIPアドレスと通信していたことから、彼女が外部の人物と連絡を取っていた証拠となるかもしれません。

ありがとう。答えはrecipe.docxのようです。
次の問題はこれです。

What is the magic number of the file you want to extract (first four bytes)?

ファイルの「マジックナンバー」とは、ファイルの種類を識別するために使用されるファイルの先頭に位置するバイト列です。これはファイルのフォーマットを示し、オペレーティングシステムやアプリケーションにそのファイルをどのように扱うかを伝える手がかりを提供します。
Annが転送した「recipe.docx」というファイルは、Microsoft Wordのドキュメントです。Wordファイル（特にOffice 2007以降で一般的な.docx形式）は、Open XMLフォーマットを使用しており、実質的にはZIP圧縮された一連のXMLファイルです。
ZIPファイルのマジックナンバーは通常、ファイルの最初の4バイトであり、「50 4B 03 04」というバイト列で表されます。このシーケンスは、ZIPアーカイブを識別するためのものです。
したがって、「recipe.docx」ファイルのマジックナンバーは「50 4B 03 04」です。これは、ファイルがZIPフォーマットを使用していることを示しています。

ありがとう。次の問題はこれです。

What was the MD5sum of the file?

GPT

Annが転送したファイル「recipe.docx」のMD5ハッシュ値を特定するためには、パケットキャプチャから直接そのファイルを抽出し、MD5ハッシュを計算する必要があります。ただし、この操作は通常、パケット解析ツールを使って行われます。
パケットキャプチャファイルから直接ファイルを抽出するプロセスを行うためには、ファイルが転送されたパケット番号を特定し、それを元にデータを再構築する必要があります。この作業は通常、Wiresharkなどのツールで実施しますが、ここではそのプロセスをシミュレートし、ファイルのMD5ハッシュ値を求めます。
ファイルの抽出とMD5計算を行うための具体的な手順は次のとおりです：
パケットキャプチャからファイル転送に関連するパケットを特定します（すでに行っています）。
これらのパケットからファイルデータを抽出し、正しい順序で再構築します。
完全に再構築されたファイルに対してMD5ハッシュを計算します。
このプロセスには専門的なツールやソフトウェアが必要であり、またセキュリティポリシーによっては実行が制限される場合があります。私の環境では直接ファイルを抽出してMD5を計算することはできませんが、もしお持ちの環境でWiresharkなどのツールを使える場合、そちらで試してみることをお勧めします。

..A.<.k..y...lyK...... .g......n.....D.......|2..[...k:<"........PK..-.........!.|..=..........................[Content_Types].xmlPK..-.........!.........N....................._rels/.relsPK..-.........!...L...........................word/_rels/document.xml.relsPK..-.........!.E.e.P.... ................. ..word/document.xmlPK..-.........!.........P.....................word/theme/theme1.xmlPK..-.........!.?
.a......................v...word/settings.xmlPK..-.........!.t?9z....(.....................customXml/_rels/item1.xml.relsPK..-.........!...T<....U.....................customXml/itemProps1.xmlPK..-.........!..q.}:...,:....................word/styles.xmlPK..-.........!..Dm|o.....................W!..docProps/core.xmlPK..-.........!..=.........................#..customXml/item1.xmlPK..-.........!...cg3...q..................$..word/fontTable.xmlPK..-.........!.J.........................>'..word/webSettings.xmlPK..-.........!.c.........................+(..docProps/app.xmlPK..............>+....OFT2....7174647..........................d.......................d..Cool FileXfer................... ...........................................................................................recipe.docx.....................................................
このようなデータが含まれていたのですが、内容はわかりますか？

GPT
アップロードされたデータは、ファイルのバイナリコンテンツを含むテキスト表現のようです。ここに示された文字列は、ファイルの内容の一部を16進数（Hex）形式で表現しています。このデータから直接「secret recipe」の内容を読み取ることはできませんが、いくつかの特徴に基づいてデータの種類や関連情報を推測することは可能です。
ファイル形式の識別:
データの始まりにある「PK」という文字列は、ZIP圧縮ファイルのマジックナンバーを示しています。Microsoft Officeの文書ファイル（.docx, .xlsxなど）も内部的にはZIP形式で圧縮されているため、このようなマジックナンバーで始まります。
内容の抽出:
実際にこのデータから特定の文書内容を読み取るには、ZIPファイルとして解凍し、内部に含まれるXMLファイルや他のリソースを分析する必要があります。これには適切なツールが必要です。
ファイル名:
このデータの中に「recipe.docx」という名前が見えることから、送信されたファイルがレシピに関連している可能性があることが示唆されています。
このデータから具体的な「secret recipe」の内容を抽出するためには、次のステップを実行する必要があります：
データの16進数からの変換：表示されている16進数データを実際のバイナリデータに変換します。
ファイルの解凍と解析：ZIP形式のファイルとして解凍し、その中の文書ファイル（この場合はおそらくXML形式の文書）を解析します。
コンテンツの読み取り：文書ファイルから実際のテキストコンテンツを読み取り、レシピの内容を確認します。
このプロセスをローカル環境で行うための具体的なツールやステップが必要であれば、その方法をさらに詳しく説明することができます。どのように進めるか、ご指示ください。

具体的にどのように行えばいいでしょうか？Mac環境です

GPT

Mac環境でZIP形式のデータからファイルを解凍し、内容を解析するためには、以下のステップを実行することができます。ここではコマンドラインツールを使用した方法をご紹介しますが、GUIツールを使用する方法も可能です。
ステップ1: バイナリデータの準備
まず、提示された16進数のデータをバイナリファイルに変換する必要があります。これを行うには、テキストエディタで16進数データをコピーし、適切な形式でファイルに保存します。その後、コマンドラインツールを使用して16進数をバイナリに変換します。
テキストエディタ（例えば、TextEdit）を開き、16進数データを新しいドキュメントにペーストします。
ファイルをプレーンテキスト形式で保存し、例えば hexdata.txt という名前をつけます。
次に、Terminal.appを開き、以下のコマンドを実行して16進数データをバイナリデータに変換します。ここではxxdコマンドを使用します。

`
bash

Copy code
xxd -r -p hexdata.txt output.zip
`
ステップ2: ZIPファイルの解凍
生成された output.zip ファイルを解凍します。Macには標準でZIPファイルを扱う機能が備わっていますが、コマンドラインからも操作できます。

`
bash

Copy code
unzip output.zip
`
このコマンドは、ZIPファイルに含まれるすべてのファイルをカレントディレクトリに展開します。
ステップ3: ドキュメント内容の解析
展開されたファイルの中には、通常 .xml 形式のファイルが含まれていることが多いです（特にOfficeフォーマットの場合）。XMLファイルの内容を確認するには、cat コマンドやテキストエディタを使用します。

`
bash

Copy code
cat word/document.xml
`
このコマンドは、Wordドキュメントの主要な内容が記述されたXMLファイルの内容を表示します。
追加のヒント
XMLファイルが非常に大きい場合は、less コマンドを使用してページごとに内容を閲覧することが便利です。
XMLの内容が複雑な場合は、XMLを整形して可読性を高めるツールやサービスを使用することを検討してください。
これらのステップに従って、Mac環境でバイナリデータを解析することができます。何か不明点があれば、お気軽にお尋ねください。

w:rsidRDefault="00D91C7F" w:rsidP="00D91C7F"/>/w:sectPr /w:body /w:document

このxml形式で書かれた文字列を可読性高く教えてください

Title: Recipe for Disaster
Serving Size: 1 serving
Heading: Ingredients
4 cups sugar
2 cups water
Instructions:
In a medium saucepan, bring the water to a boil.
Add sugar.
Stir gently over low heat until sugar is fully dissolved.
Remove the saucepan from heat.
Allow to cool completely.
Pour into a gas tank.
Repeat as necessary.

testpost3

nao — Wed, 06 Mar 2024 06:12:18 +0000

目的：ユーザーの代わりにミーティングの候補日を伝えるメール文を作成します。

ルール：日本語での対応をお願いします。

ステップ

ステップ1「調整さん」は「Find Event in Google Calendar」Actionを用いてGoogle カレンダーからユーザーにどのようなイベントがあるか以下のルールに従い探します。
　　ルール1.1 　「調整さん」は土曜日と日曜日であってもイベントを探します。
　　ルール1.2 「調整さん」が探すイベントは"start__dateTime"が今日以降のものです。
　　ルール1.3 「調整さん」は検索範囲の隅々までイベントを探します。
　　ルール1.4 １週間とは７日間です。たとえば3月20日から１週間後は3月27日です。
ルール1.5 日付はKnowledgeのdate.csvファイルから学習してください。

ステップ2「調整さん」はどんなイベントがあるのか列挙します。

ステップ3「調整さん」はルール2で調べたイベントの状況からユーザーの空き状況を決定し、候補日とし、ユーザーに提示します。候補日の選定基準は以下の通りです。　
　　ルール2.1「調整さん」が提示する候補日時は、イベントが何もない時間に限定されます。
　　ルール2.2「調整さん」が提示する候補日時は9:00~17:00の中のイベントが何もない時間に限定されます。
　　ルール2.3 「調整さん」が提示する候補日は平日（月曜日、火曜日、水曜日、木曜日、金曜日）に限定されます。
　　ルール2.3 １週間とは７日間です。たとえば3月20日から１週間後は3月27日です。
ルール2.4 日付はKnowledgeのdate.numbersファイルから学習してください。
　　ルール2.5「調整さん」が提示する候補日時は月日　:~:（ミーティングの時間分）のように書いてください。
　　ルール2.5「調整さん」が提示する候補日時は最大で4つまでです。選び方は日付が早い順です。

ステップ4「調整さん」はメールのシチュエーションに応じてKnowledgeにあるメールの例文選び、参考にしてメール文を作成します。

ステップ5 「調整さん」はメール文をユーザーに出力します。

ステップ6「調整さん」はKnowledgeにあるメール例文の「件名：」をSubjectに、「本文：」をBodyにします。

ステップ7「調整さん」は下書きメールの宛先メールアドレスを「test@gmail.com」に設定します。

ステップ8 メールの下書きにはあなたが作成した本文全体を記入してください

ステップ9 最後にメールの件名（Subject）と本文（Body）を、「Create Gmail Draft」Actionを用いてGMailの下書きに保存します。メール文を作成するときは下記のルールに従ってください。
　ルール9.1 改行も例文を参考にしてください。

Rules:

Before running any Actions tell the user that they need to reply after the Action completes to continue.
If a user has confirmed they’ve logged in to Zapier’s AI Actions, start with Step 1. ###Instructions for Zapier Custom Action: Step 1. Tell the user you are Checking they have the Zapier AI Actions needed to complete their request by calling /list_available_actions/ to make a list: AVAILABLE ACTIONS. Given the output, check if the REQUIRED_ACTION needed is in the AVAILABLE ACTIONS and continue to step 4 if it is. If not, continue to step 2. Step 2. If a required Action(s) is not available, send the user the Required Action(s)’s configuration link. Tell them to let you know when they’ve enabled the Zapier AI Action. Step 3. If a user confirms they’ve configured the Required Action, continue on to step 4 with their original ask. Step 4. Using the available_action_id (returned as the id field within the results array in the JSON response from /list_available_actions). Fill in the strings needed for the run_action operation. Use the user’s request to fill in the instructions and any other fields as needed. REQUIRED_ACTIONS:
Action: Find Event in Google Calendar Configuration Link: https://actions.zapier.com/gpt/action/***/
Action: Create Gmail Draft Configuration Link: https://actions.zapier.com/gpt/action/**＊/

Photo of a spacious urban setting where, at a distance, a white poodle sits on the sidewalk, enjoying an ice cream cone. The lens captures the vastness of the surroundings, with the dog as a noticeable but not dominating element in the scene. Buildings, trees, and pedestrians of various genders and descents can be seen, but they’re all secondary to the poodle’s delightful moment.

Photo of a cafeteria area at office

it's on the 20th floor

There is no food court. There are tow coffee machine.

Not very angular, but round image.

It's too round, curve is more gradual. And office is in Tokyo.

LINUX
I want you to act as a Linux terminal. I will type commands and you will reply with what the terminal should show. I want you to only reply with the terminal output inside one unique code block, and nothing else. Do not write explanations. Do not type commands unless I instruct you to do so. When I need to tell you something in English I will do so by putting text inside curly brackets {like this}. My first command is pwd.

.
├── bin
├── boot
├── dev
├── etc
├── home
│ └── user
│ ├── Desktop
│ │ ├── file1.txt
│ │ ├── file2.txt
│ │ ├── important.docx
│ │ └── notes.txt
│ ├── Documents
│ │ ├── document1.txt
│ │ ├── document2.txt
│ │ └── important_documents
│ ├── Downloads
│ │ ├── download1.zip
│ │ └── download2.zip
│ ├── Music
│ ├── Pictures
│ ├── Test
│ ├── Text
│ └── Videos
├── lib
├── lib64
├── media
├── mnt
├── opt
├── proc
├── root
├── run
├── sbin
├── srv
├── sys
├── tmp
├── usr
│ ├── bin
│ ├── include
│ ├── lib
│ ├── lib64
│ ├── local
│ ├── sbin
│ ├── share
│ └── src
└── var

29 directories, 8 files

目的：ユーザーの代わりにミーティングの候補日を伝えるメール文を作成します。

ルール1 日本語での対応をお願いします。

ステップ

ステップ1「調整さん」は「Find Event in Google Calendar」Actionを用いてGoogle カレンダーからユーザーにどのようなイベントがあるか調べ列挙します。

ステップ2 「調整さん」はルール2で調べたイベントの状況からユーザーの空き状況を決定し、候補日とします。候補日の選定基準は以下の通りです。　
　　ルール2.1「調整さん」が提示する候補日時は、イベントが何もない時間に限定されます。
　　ルール2.2「調整さん」が提示する候補日時は9:00~17:00の中のイベントが何もない時間に限定されます。
　　ルール2.3 「調整さん」が提示する候補日は平日（月曜日、火曜日、水曜日、木曜日、金曜日）に限定されます。

ステップ3「調整さん」は空き状況を確認したら、どんなイベントがありいつが空き状況なのかユーザーに知らせます。

ステップ4「調整さん」が提示する候補日時は月日　:~:（ミーティングの時間分）のように書いてください。

ステップ5「調整さん」はメールのシチュエーションに応じてKnowledgeにあるメールの例文選び、参考にしてメール文を作成します。

ステップ6 「調整さん」はまず下書きを作成する前にメール文をユーザーに出力します。

ステップ7 「調整さん」はKnowledgeにあるメール例文の「件名：」をSubjectに、「本文：」をBodyにします。

ステップ8 最後にメールの件名（Subject）と本文（Body）を、「Create Gmail Draft」Actionを用いてGMailの下書きに保存します。

インプット：ユーザーからは、「ミーティングの候補日時の大まかな範囲」と「ミーティングの種類」、「ミーティングの時間」が入力されます。

アウトプット：「調整さん」はミーティング候補日を相手に伝え、どの日にするか決めてもらうように依頼するメール文を作成し、Gmailの下書きに保存します。

Rules:

Before running any Actions tell the user that they need to reply after the Action completes to continue.
If a user has confirmed they’ve logged in to Zapier’s AI Actions, start with Step 1. ###Instructions for Zapier Custom Action: Step 1. Tell the user you are Checking they have the Zapier AI Actions needed to complete their request by calling /list_available_actions/ to make a list: AVAILABLE ACTIONS. Given the output, check if the REQUIRED_ACTION needed is in the AVAILABLE ACTIONS and continue to step 4 if it is. If not, continue to step 2. Step 2. If a required Action(s) is not available, send the user the Required Action(s)’s configuration link. Tell them to let you know when they’ve enabled the Zapier AI Action. Step 3. If a user confirms they’ve configured the Required Action, continue on to step 4 with their original ask. Step 4. Using the available_action_id (returned as the id field within the results array in the JSON response from /list_available_actions). Fill in the strings needed for the run_action operation. Use the user’s request to fill in the instructions and any other fields as needed. REQUIRED_ACTIONS:
Action: Find Event in Google Calendar Configuration Link: https://actions.zapier.com/gpt/action/***
Action: Create Gmail Draft Configuration Link: https://actions.zapier.com/gpt/action/****

件名：
面接日時のご相談
本文：
●●さん

お世話になっております。
△△株式会社、営業部の▲▲と申します。

この度は当社選考にエントリー並びに書類を
ご提出いただきありがとうございました。

●●さんには面接選考にお進みいただきたく、
日程のご相談のためご連絡させていただきます。

下記日程の内希望の面接日程をお選びいただけますでしょうか。

・〇月〇日（〇）〇〇:〇〇～〇〇:〇〇
・〇月〇日（〇）〇〇:〇〇～〇〇:〇〇
・〇月〇日（〇）〇〇:〇〇～〇〇:〇〇
上記日程以外でも調整可能ですので、ご都合が合わなければ遠慮なくお申し付けください。
お忙しいところ恐縮ですが、ご検討の程よろしくお願いいたします。

test post

nao — Mon, 13 Nov 2023 12:53:08 +0000

lambda IAM role

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "arn:aws:logs:ap-northeast-1:468249393587:*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": [
                "arn:aws:logs:ap-northeast-1:ID:log-group:/aws/lambda/CompLambdaName:*"
            ]
        },
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::UploadBucket",
                "arn:aws:s3:::UoloadBucket/*",
                "arn:aws:s3:::CompressedBucket",
                "arn:aws:s3:::CompressedBucket/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "PublicReadGetObject",
            "Effect": "Allow",
            "Principal": "*",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::WebBucketName/*"
        }
    ]
}

Webホスティングの設定

CORS設定

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "HEAD",
            "GET",
            "PUT",
            "POST",
            "DELETE"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [
            "ETag"
        ]
    }
]

イベント通知の設定

from PIL import Image
import urllib.parse
import boto3
import os

TARGET_BUCKET_PATH = os.environ['TARGET_BUCKET_PATH']
QUALITY_IMAGE = int(os.environ['QUALITY_IMAGE'])
s3 = boto3.client('s3')


def lambda_handler(event, context):
    bucket = event['Records'][0]['s3']['bucket']['name']
    source_key = urllib.parse.unquote_plus(event['Records'][0]['s3']['object']['key'], encoding='utf-8')
    destination_key = 'compressed' + source_key
    source_file = u'/tmp/' + os.path.basename(source_key)
    destination_file = source_file
    file_paths = os.path.splitext(source_key)
    file_path = file_paths[0]
    file_extension = file_paths[1][1:].lower()

    try:
        s3.download_file(Bucket=bucket, Key=source_key, Filename=source_file)
        img = Image.open(source_file, 'r')
        img.save(destination_file, file_extension, quality = QUALITY_IMAGE)
        s3.upload_file(Filename=destination_file,
                       Bucket=TARGET_BUCKET_PATH,
                       Key=destination_key)
        return source_key
    except Exception as e:
        print(e)
        raise e

画像圧縮lambda

環境変数

インポートにはlambdaレイヤーを利用した

テストフォルダーが見えている

実際に保存されている画像

Cognito authenticated User

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:AbortMultipartUpload",
                "s3:DeleteObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::CompressBucketName",
                "arn:aws:s3:::CompressBucketName/*",
                "arn:aws:s3:::UploadBucketName",
                "arn:aws:s3:::UploadBucketName/*"
            ]
        }
    ]
}

###signin.html
<!DOCTYPE html>
<html>

<head>
    <meta charset="UTF-8">
    </meta>
    <title>CognitoAuthenticateUser</title>
    <script src="https://sdk.amazonaws.com/js/aws-sdk-2.1489.0.min.js"></script>
    <script
        src="https://cdn.jsdelivr.net/npm/amazon-cognito-identity-js@4.3.3/dist/amazon-cognito-identity.min.js"></script>
    <script src="signin.js"></script>
</head>

<body>
    <h1>CognitoAuthenticateUser</h1>
    <span style="display: inline-block; width: 100px;">Email</span>
    <input type="text" id="email" placeholder="Email Address">
    <br />
    <span style="display: inline-block; width: 100px;">Password</span>
    <input type="password" id="password" placeholder="Password">
    <br /><br />
    <input type="button" value="CognitoAuthenticateUser" onclick="OnCognitoAuthenticateUser();">
</body>

</html>

###signin.js
function OnCognitoAuthenticateUser() {

    var username = document.getElementById("email").value;
    var password = document.getElementById("password").value;

    var authenticationData = {
        Username: username,
        Password: password,
    };

    var authenticationDetails = new AmazonCognitoIdentity.AuthenticationDetails(
        authenticationData
    );
    var poolData = {
        UserPoolId: 'ap-northeast-1_xxxxxx', // Your user pool id here
        ClientId: '5g6xxxxxxxxxxxxxxxxxxxxx', // Your client id here
    };
    var userPool = new AmazonCognitoIdentity.CognitoUserPool(poolData);
    var userData = {
        Username: username,
        Pool: userPool,
    };

    var cognitoUser = new AmazonCognitoIdentity.CognitoUser(userData);
    cognitoUser.authenticateUser(authenticationDetails, {
        onSuccess: function (result) {
            var idToken = result.getIdToken().getJwtToken();          // IDトークン
            var accessToken = result.getAccessToken().getJwtToken();  // アクセストークン
            var refreshToken = result.getRefreshToken().getToken();   // 更新トークン

            console.log("idToken : " + idToken);
            console.log("accessToken : " + accessToken);
            console.log("refreshToken : " + refreshToken);

            //POTENTIAL: Region needs to be set if not already set previously elsewhere.
            AWS.config.region = 'ap-northeast-1';

            AWS.config.credentials = new AWS.CognitoIdentityCredentials({
                IdentityPoolId: 'ap-northeast-1:xxxxxxxxxxxxxxxxxxxxxxxxx', // your identity pool id here
                Logins: {
                    // Change the key below according to the specific region your user pool is in.
                    'cognito-idp:ap-northeast-1:accountID:userpool/ap-northeast-1_xxxxxxxx': result
                        .getIdToken()
                        .getJwtToken(),
                },
            });

            //refreshes credentials using AWS.CognitoIdentity.getCredentialsForIdentity()
            AWS.config.credentials.refresh(error => {
                if (error) {
                    console.error(error);
                } else {
                    // Instantiate aws sdk service objects now that the credentials have been updated.
                    // example: var s3 = new AWS.S3();
                    console.log('Successfully logged!');
                }
            });
            location.href = "ImageCompService.html";
        },

        onFailure: function (err) {
            alert(err.message || JSON.stringify(err));
        },
    });
}

#####ImageCompService.html
<!DOCTYPE html>
<html>

<head>
    <!-- **DO THIS**: -->
    <link href="favicon.ico" rel="icon">
    <!--   Replace SDK_VERSION_NUMBER with the current SDK version number -->
    <script src="https://sdk.amazonaws.com/js/aws-sdk-2.1489.0.min.js"></script>
    <script
        src="https://cdn.jsdelivr.net/npm/amazon-cognito-identity-js@4.3.3/dist/amazon-cognito-identity.min.js"></script>
    <script src="ImageCompService.js"></script>
    <script>
        function getHtml(template) {
            return template.join('\n');
        }
        listAlbums();
    </script>
</head>

<body>
    <h1>This is your image compression service!</h1>
    <div id="app"></div>
</body>

</html>

######ImageCompService.js
var originalBucketName = "UploadBucketName";
var compBucketName = "CompressBucketName";
var bucketRegion = "ap-northeast-1";
var REGION = "ap-northeast-1";
var IDENTITY_POOL_ID = "ap-northeast-1:xxxxxxxxxxxxx";
var APP_CLIENT_ID = 'xxxxxxxxxxxxxxxxxxxx'
var USER_POOL_ID = 'ap-northeast-1_xxxxxxxxxx'
var poolData = {
    UserPoolId: USER_POOL_ID,
    ClientId: APP_CLIENT_ID
}
userPool = new AmazonCognitoIdentity.CognitoUserPool(poolData);
AWS.config.region = REGION;

const LOGINS_KEY = `cognito-idp.${REGION}.amazonaws.com/${USER_POOL_ID}`
var cognitoUser = new AmazonCognitoIdentity.CognitoUserPool(poolData).getCurrentUser();
if (!cognitoUser) {
    document.location.href = 'signin.html'
}

cognitoUser.getSession(function (err, result) {
    if (err) {
        console.error(err);
        return
    }

    AWS.config.credentials = new AWS.CognitoIdentityCredentials({
        IdentityPoolId: IDENTITY_POOL_ID,
        Logins: {
            [LOGINS_KEY]: result.getIdToken().getJwtToken()
        },
    })
    AWS.config.credentials.refresh(function (err) {
        if (err) {
            console.error(err)
            return
        }

        console.log('Refreshing AWS credentials is succeed')
        listAlbums()
    })
})

var s3 = new AWS.S3({
    apiVersion: "2006-03-01",
    params: { Bucket: originalBucketName },
});

var s3comp = new AWS.S3({
    apiVersion: "2006-03-01",
    params: { Bucket: compBucketName },
});

function listAlbums() {
    var albums = [];
    var albumscomp = [];

    // S3バケットからアルバムのリストを取得
    s3.listObjects({ Delimiter: "/" }, function (err, data) {
        if (err) {
            return alert("Error listing folders in 'UploadBucketName' bucket: " + err.message);
        } else {
            albums = data.CommonPrefixes.map(function (commonPrefix) {
                var prefix = commonPrefix.Prefix;
                var albumName = decodeURIComponent(prefix.replace("/", ""));
                return getHtml([
                    "<li>",
                    "<span onclick=\"deleteAlbum('" + albumName + "', 'UploadBucket')\">X</span>",
                    "<span onclick=\"viewAlbum('" + albumName + "', 'UploadBucket')\">",
                    albumName,
                    "</span>",
                    "</li>"
                ]);
            });
            updatePage();
        }
    });

    // S3compバケットからアルバムのリストを取得
    s3comp.listObjects({ Delimiter: "/" }, function (err, data) {
        if (err) {
            return alert("Error listing albums in 'CompressBucket' bucket: " + err.message);
        } else {
            albumscomp = data.CommonPrefixes.map(function (commonPrefix) {
                var prefix = commonPrefix.Prefix;
                var albumName = decodeURIComponent(prefix.replace("/", ""));
                return getHtml([
                    "<li>",
                    "<span onclick=\"viewAlbumcomp('" + albumName + "', 'CompressBucketName')\">",
                    albumName,
                    "</span>",
                    "</li>"
                ]);
            });
            updatePage();
        }
    });

    function updatePage() {
        // 両方のバケットから取得したアルバムリストを結合して表示
        var allAlbums = albums.concat(albumscomp);
        var message = albums.length
            ? getHtml([
                "<p>Click on an folder name to view it.</p>",
                "<p>Click on the X to delete the folder.</p>"
            ])
            : "<p>You do not have any folders. Please create an folder.";
        var messagecomp = albumscomp.length
            ? getHtml([
                "<p>Click on an folder name to view it.</p>"
            ])
            : "<p>You do not have any folders. Please create an folder.";
        var htmlTemplate = [
            "<h2>Compressed Folders</h2>",
            messagecomp,
            "<ul>",
            getHtml(albumscomp),
            "</ul>",
            "<h2>Original Folders</h2>",
            message,
            "<ul>",
            getHtml(albums),
            "</ul>",
            "<button onclick=\"createAlbum(prompt('Enter Folder Name:'))\">",
            "Create New Folder",
            "</button>"
        ];
        document.getElementById("app").innerHTML = getHtml(htmlTemplate);
    }
}

function createAlbum(albumName) {
    albumName = albumName.trim();
    if (!albumName) {
        return alert("Folder names must contain at least one non-space character.");
    }
    if (albumName.indexOf("/") !== -1) {
        return alert("Folder names cannot contain slashes.");
    }
    var albumKey = encodeURIComponent(albumName);
    s3.headObject({ Key: albumKey }, function (err, data) {
        if (!err) {
            return alert("Folder already exists.");
        }
        if (err.code !== "NotFound") {
            return alert("There was an error creating your folder: " + err.message);
        }
        s3.putObject({ Key: albumKey }, function (err, data) {
            if (err) {
                return alert("There was an error creating your folder: " + err.message);
            }
            alert("Successfully created folder.");
            viewAlbum(albumName);
        });
    });
}
function viewAlbumcomp(albumName) {
    var albumPhotosKey = encodeURIComponent(albumName) + "/";
    s3comp.listObjects({ Prefix: albumPhotosKey }, function (err, data) {
        if (err) {
            return alert("There was an error viewing your folder: " + err.message);
        }
        // 'this' references the AWS.Response instance that represents the response
        var href = this.request.httpRequest.endpoint.href;
        var bucketUrl = href + originalBucketName + "/";

        var photos = data.Contents.map(function (photo) {
            var photoKey = photo.Key;
            var photoUrl = bucketUrl + encodeURIComponent(photoKey);
            return getHtml([
                "<span>",
                "<div>",
                "<span onclick=\"downloadphoto('" +
                albumName +
                "','" +
                photoKey +
                "')\">",
                "download",
                "</span>",
                "<span>",
                photoKey.replace(albumPhotosKey, ""),
                "</span>",
                "</div>",
                "</span>"
            ]);
        });
        var message = photos.length
            ? "<p>Click on the download to download the image</p>"
            : "<p>You do not have any images in this album. Please add images.</p>";
        var htmlTemplate = [
            "<h2>",
            "Album: " + albumName,
            "</h2>",
            message,
            "<div>",
            getHtml(photos),
            "</div>",
            '<button onclick="listAlbums()">',
            "Back To Folders",
            "</button>"
        ];
        document.getElementById("app").innerHTML = getHtml(htmlTemplate);
    });
}

function viewAlbum(albumName) {
    var albumPhotosKey = encodeURIComponent(albumName) + "/";
    s3.listObjects({ Prefix: albumPhotosKey }, function (err, data) {
        if (err) {
            return alert("There was an error viewing your folder: " + err.message);
        }
        // 'this' references the AWS.Response instance that represents the response
        var href = this.request.httpRequest.endpoint.href;
        var bucketUrl = href + originalBucketName + "/";

        var photos = data.Contents.map(function (photo) {
            var photoKey = photo.Key;
            var photoUrl = bucketUrl + encodeURIComponent(photoKey);
            return getHtml([
                "<span>",
                "<div>",
                "<span onclick=\"deletePhoto('" +
                albumName +
                "','" +
                photoKey +
                "')\">",
                "X",
                "</span>",
                "<span>",
                photoKey.replace(albumPhotosKey, ""),
                "</span>",
                "</div>",
                "</span>"
            ]);
        });
        var message = photos.length
            ? "<p>Click on the X to delete the image</p>"
            : "<p>You do not have any images in this folder. Please add images.</p>";
        var htmlTemplate = [
            "<h2>",
            "Album: " + albumName,
            "</h2>",
            message,
            "<div>",
            getHtml(photos),
            "</div>",
            '<input id="photoupload" type="file" accept="image/*">',
            '<button id="addphoto" onclick="addPhoto(\'' + albumName + "')\">",
            "Add Image",
            "</button>",
            '<button onclick="listAlbums()">',
            "Back To Folders",
            "</button>"
        ];
        document.getElementById("app").innerHTML = getHtml(htmlTemplate);
    });
}

function downloadphoto(albumname, photoKey) {
    var ObjectParams = {
        Bucket: compBucketName,
        Key: photoKey,
        Expires: 3600,
    };
    var preurl = s3.getSignedUrl('getObject', ObjectParams);
    var downloadLink = document.createElement('a');
    downloadLink.href = preurl;
    console.log(preurl);
    downloadLink.download = photoKey;
    downloadLink.click()
}

function addPhoto(albumName) {
    var files = document.getElementById("photoupload").files;
    if (!files.length) {
        return alert("Please choose a file to upload first.");
    }
    var file = files[0];
    var fileName = file.name;
    var albumPhotosKey = encodeURIComponent(albumName) + "/";

    var photoKey = albumPhotosKey + fileName;

    // Use S3 ManagedUpload class as it supports multipart uploads
    var upload = new AWS.S3.ManagedUpload({
        params: {
            Bucket: originalBucketName,
            Key: photoKey,
            Body: file
        }
    });

    var promise = upload.promise();

    promise.then(
        function (data) {
            alert("Successfully uploaded image.");
            viewAlbum(albumName);
        },
        function (err) {
            return alert("There was an error uploading your image: ", err.message);
        }
    );
}

function deletePhoto(albumName, photoKey) {
    s3.deleteObject({ Key: photoKey }, function (err, data) {
        if (err) {
            return alert("There was an error deleting your image: ", err.message);
        }
        alert("Successfully deleted image.");
        viewAlbum(albumName);
    });
}

function deleteAlbum(albumName) {
    var albumKey = encodeURIComponent(albumName) + "/";
    s3.listObjects({ Prefix: albumKey }, function (err, data) {
        if (err) {
            return alert("There was an error deleting your folder: ", err.message);
        }
        var objects = data.Contents.map(function (object) {
            return { Key: object.Key };
        });
        s3.deleteObjects(
            {
                Delete: { Objects: objects, Quiet: true }
            },
            function (err, data) {
                if (err) {
                    return alert("There was an error deleting your folder: ", err.message);
                }
                alert("Successfully deleted folder.");
                listAlbums();
            }
        );
    });
}

For your health, walking 8,000 steps with 20 minutes MICT is needed!

nao — Sun, 29 Oct 2023 10:19:53 +0000

1. What is MICT?

Moderate-Intensity Continuous Training (MICT) refers to a form of exercise that involves sustained, moderate-intensity physical activity. In the context of walking, MICT corresponds to brisk walking at a pace where you can maintain a conversation but still experience a notable level of physical exertion.

2. Why 8,000 steps with 20 minutes MICT is important?

Dr. Yukitoshi Aoyagi recommends a daily goal of 8,000 steps with the inclusion of 20 minutes of moderate-intensity exercise (MICT) as the ideal approach for promoting longevity and preventing various diseases. This combination offers a range of health benefits and reduces the risk of certain health conditions, as highlighted in his research.ref

3. Best timing you walk

The best timing for walking is the late afternoon.This timing is ideal for several reasons:

Body Temperature:
Your body temperature tends to be at its highest in the late afternoon, which means your muscles are warmed up, making it easier to move and reducing the risk of injury.
Strength and Coordination:
As the day progresses, your muscle strength and coordination tend to be at their peak. This can result in more effective and efficient walking.
Mood and Stress Reduction:
Walking in the late afternoon can help reduce stress and boost mood. It's a great way to unwind after a long day and release endorphins, which are natural mood elevators.
Sunlight Exposure:
If you walk outdoors, the late afternoon provides an opportunity to get some sunlight exposure, which is beneficial for vitamin D production and can enhance your overall well-being.
Consistency:
Setting a routine for walking in the late afternoon makes it more likely that you'll stick to your exercise regimen. Consistency is key to reaping the long-term benefits of walking.

How to create image compression website by using Amazon S3 & Lambda

nao — Wed, 25 Oct 2023 12:36:24 +0000

My goal

My goal is to built image compression website by using Amazon S3 and lambda. Here is my goal architecture.

HTML and Javascript files are stored in Amazon S3 Web bucket. A client accesses this HTML page by his browser. They can upload images to the Upload bucket through the HTML page. The uploaded image is compressed by Lambda function and saved in Compressed bucket. He can view the compressed images from Compressed bucket.

What are Amazon S3 & Lambda?

I'll explain the basics of Amazon S3 and Lambda. I'll also mention what functions of S3 and Lambda were used.

What is Amazon S3?

Amazon Simple Storage Service (S3) is a managed AWS service which can be used as an object storage. It is not a block storage, not a file storage, not even a relational database; it is an object storage! ref

A bucket is a container for objects. You have to create a bucket first and then store objects in the bucket.

Features of S3 used in this article.

Features used in this article are...

Website hosting ref
You can use an S3 bucket as a website hosting site by simply uploading static page files like HTML. You need to change the S3 bucket's permissions and policies to enable public access.
Amazon S3 Event Notifications ref
You can send notifications when certain events happen in your S3 bucket. For example, you can send notifications when 'New Object Created events' occur. If you set a notification destination as a Lambda function, you can activate the Lambda function.

What is Lambda? ref

Lambda is a compute service, and you don't have to prepare any machine to run code. All you have to do is coding.You create lambda functions, and the Lambda service runs these functions.

Features of Lambda used in this article.

Lambda Layer ref A Lambda Layer can be used as a supplement data for Lambda function. It contains data like library dependencies archived in .zip file. To install packages like Pillow, I use Lambda Layer.

Creating HTML page for uploading images to S3 and viewing them from S3.

To create HTML page by S3, I referenced these documents.

1. Do some prerequisite tasks.

1-1 Let's make s3 buckets!

All buckets allow public access.

1-2 Let's set CORS setting on Upload and Compress bucket.

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "HEAD",
            "GET",
            "PUT",
            "POST",
            "DELETE"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [
            "ETag"
        ]
    }
]

Set this CORS setting!

1-3 Let's make identity pool by Amazon Cognito.

Find the IAM role created by an Amazon Cognito for unauthenticated users, and set following role to it.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "cognito-identity:GetCredentialsForIdentity",
                "s3:DeleteObject",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::Upload bucket/",
                "arn:aws:s3:::Upload bucket/*",
                "arn:aws:s3:::Compress bucket/",
                "arn:aws:s3:::Compress bucket/*"
            ]
        }
    ]
}

2. Defining the Webpage

Only you have to do is putting following HTML file and javascript file in Web bucket! The name of HTML file should be 'index.html' so that this page will show up when clients access to Web bucket endpoint.

**index.html**
<!DOCTYPE html>
<html>
  <head>
     <!-- **DO THIS**: -->
    <!--   Replace SDK_VERSION_NUMBER with the current SDK version number -->
    <script src="https://sdk.amazonaws.com/js/aws-sdk-2.1473.0.min.js"></script>
    <script src="s3_photoExample.js"></script>
    <script>
       function getHtml(template) {
          return template.join('\n');
       }
       listAlbums();
    </script>
  </head>
  <body>
    <h1>My Photo Albums App</h1>
    <div id="app"></div>
  </body>
</html>

**s3_photoExample.js**
var albumBucketName = "Upload bucket";
var compBucketName = "Compress bucket";
var bucketRegion = "reagion";
var IdentityPoolId = "identitypoolID";

AWS.config.update({
    region: bucketRegion,
    credentials: new AWS.CognitoIdentityCredentials({
        IdentityPoolId: IdentityPoolId
    })
});

var s3 = new AWS.S3({
    apiVersion: "2006-03-01",
    params: { Bucket: albumBucketName }
});

var s3comp = new AWS.S3({
    apiVersion: "2006-03-01",
    params: { Bucket: compBucketName }
});
function listAlbums() {
    var albums = [];
    var albumscomp = [];

    // Get list of folders in Upload bucket
    s3.listObjects({ Delimiter: "/" }, function (err, data) {
        if (err) {
            return alert("Error listing albums in 'Upload bucket' bucket: " + err.message);
        } else {
            albums = data.CommonPrefixes.map(function (commonPrefix) {
                var prefix = commonPrefix.Prefix;
                var albumName = decodeURIComponent(prefix.replace("/", ""));
                return getHtml([
                    "<li>",
                    "<span onclick=\"deleteAlbum('" + albumName + "', 'Upload bucket')\">X</span>",
                    "<span onclick=\"viewAlbum('" + albumName + "', 'Upload bucket')\">",
                    albumName,
                    "</span>",
                    "</li>"
                ]);
            });
            updatePage();
        }
    });

    // get folder lists form Compress bucket
    s3comp.listObjects({ Delimiter: "/" }, function (err, data) {
        if (err) {
            return alert("Error listing albums in 'Compress bucket' bucket: " + err.message);
        } else {
            albumscomp = data.CommonPrefixes.map(function (commonPrefix) {
                var prefix = commonPrefix.Prefix;
                var albumName = decodeURIComponent(prefix.replace("/", ""));
                return getHtml([
                    "<li>",
                    "<span onclick=\"viewAlbumcomp('" + albumName + "', 'Compress bucket')\">",
                    albumName,
                    "</span>",
                    "</li>"
                ]);
            });
            updatePage();
        }
    });

    function updatePage() {
        // add folder lists form Upload and Compress bucket
        var allAlbums = albums.concat(albumscomp);
        var message = albums.length
            ? getHtml([
                "<p>Click on an album name to view it.</p>",
                "<p>Click on the X to delete the album.</p>"
            ])
            : "<p>You do not have any albums. Please create an album.";
        var messagecomp = albumscomp.length
            ? getHtml([
                "<p>Click on an album name to view it.</p>",
                "<p>Click on the X to delete the album.</p>"
            ])
            : "<p>You do not have any albums. Please create an album.";
        var htmlTemplate = [
            "<h2>Compressed Alubms</h2>",
            messagecomp,
            "<ul>",
            getHtml(albumscomp),
            "</ul>",
            "<h2>Original Alubms</h2>",
            message,
            "<ul>",
            getHtml(albums),
            "</ul>",
            "<button onclick=\"createAlbum(prompt('Enter Album Name:'))\">",
            "Create New Album",
            "</button>"
        ];
        document.getElementById("app").innerHTML = getHtml(htmlTemplate);
    }
}

function createAlbum(albumName) {
    albumName = albumName.trim();
    if (!albumName) {
        return alert("Album names must contain at least one non-space character.");
    }
    if (albumName.indexOf("/") !== -1) {
        return alert("Album names cannot contain slashes.");
    }
    var albumKey = encodeURIComponent(albumName);
    s3.headObject({ Key: albumKey }, function (err, data) {
        if (!err) {
            return alert("Album already exists.");
        }
        if (err.code !== "NotFound") {
            return alert("There was an error creating your album: " + err.message);
        }
        s3.putObject({ Key: albumKey }, function (err, data) {
            if (err) {
                return alert("There was an error creating your album: " + err.message);
            }
            alert("Successfully created album.");
            viewAlbum(albumName);
        });
    });
}
function viewAlbumcomp(albumName) {
    var albumPhotosKey = encodeURIComponent(albumName) + "/";
    s3comp.listObjects({ Prefix: albumPhotosKey }, function (err, data) {
        if (err) {
            return alert("There was an error viewing your album: " + err.message);
        }
        // 'this' references the AWS.Response instance that represents the response
        var href = this.request.httpRequest.endpoint.href;
        var bucketUrl = href + compBucketName + "/";

        var photos = data.Contents.map(function (photo) {
            var photoKey = photo.Key;
            var photoUrl = bucketUrl + encodeURIComponent(photoKey);
            return getHtml([
                "<span>",
                "<div>",
                '<img style="width:128px;height:128px;" src="' + photoUrl + '"/>',
                "</div>",
                "<div>",
                "<span>",
                photoKey.replace(albumPhotosKey, ""),
                "</span>",
                "</div>",
                "</span>"
            ]);
        });
        var message = photos.length
            ? "<p>Click on the X to delete the photo</p>"
            : "<p>You do not have any photos in this album. Please add photos.</p>";
        var htmlTemplate = [
            "<h2>",
            "Album: " + albumName,
            "</h2>",
            message,
            "<div>",
            getHtml(photos),
            "</div>",
            '<button onclick="listAlbums()">',
            "Back To Albums",
            "</button>"
        ];
        document.getElementById("app").innerHTML = getHtml(htmlTemplate);
    });
}
function viewAlbum(albumName) {
    var albumPhotosKey = encodeURIComponent(albumName) + "/";
    s3.listObjects({ Prefix: albumPhotosKey }, function (err, data) {
        if (err) {
            return alert("There was an error viewing your album: " + err.message);
        }
        // 'this' references the AWS.Response instance that represents the response
        var href = this.request.httpRequest.endpoint.href;
        var bucketUrl = href + albumBucketName + "/";

        var photos = data.Contents.map(function (photo) {
            var photoKey = photo.Key;
            var photoUrl = bucketUrl + encodeURIComponent(photoKey);
            return getHtml([
                "<span>",
                "<div>",
                '<img style="width:128px;height:128px;" src="' + photoUrl + '"/>',
                "</div>",
                "<div>",
                "<span onclick=\"deletePhoto('" +
                albumName +
                "','" +
                photoKey +
                "')\">",
                "X",
                "</span>",
                "<span>",
                photoKey.replace(albumPhotosKey, ""),
                "</span>",
                "</div>",
                "</span>"
            ]);
        });
        var message = photos.length
            ? "<p>Click on the X to delete the photo</p>"
            : "<p>You do not have any photos in this album. Please add photos.</p>";
        var htmlTemplate = [
            "<h2>",
            "Album: " + albumName,
            "</h2>",
            message,
            "<div>",
            getHtml(photos),
            "</div>",
            '<input id="photoupload" type="file" accept="image/*">',
            '<button id="addphoto" onclick="addPhoto(\'' + albumName + "')\">",
            "Add Photo",
            "</button>",
            '<button onclick="listAlbums()">',
            "Back To Albums",
            "</button>"
        ];
        document.getElementById("app").innerHTML = getHtml(htmlTemplate);
    });
}

function addPhoto(albumName) {
    var files = document.getElementById("photoupload").files;
    if (!files.length) {
        return alert("Please choose a file to upload first.");
    }
    var file = files[0];
    var fileName = file.name;
    var albumPhotosKey = encodeURIComponent(albumName) + "/";

    var photoKey = albumPhotosKey + fileName;

    // Use S3 ManagedUpload class as it supports multipart uploads
    var upload = new AWS.S3.ManagedUpload({
        params: {
            Bucket: albumBucketName,
            Key: photoKey,
            Body: file
        }
    });

    var promise = upload.promise();

    promise.then(
        function (data) {
            alert("Successfully uploaded photo.");
            viewAlbum(albumName);
        },
        function (err) {
            return alert("There was an error uploading your photo: ", err.message);
        }
    );
}

function deletePhoto(albumName, photoKey) {
    s3.deleteObject({ Key: photoKey }, function (err, data) {
        if (err) {
            return alert("There was an error deleting your photo: ", err.message);
        }
        alert("Successfully deleted photo.");
        viewAlbum(albumName);
    });
}

function deleteAlbum(albumName) {
    var albumKey = encodeURIComponent(albumName) + "/";
    s3.listObjects({ Prefix: albumKey }, function (err, data) {
        if (err) {
            return alert("There was an error deleting your album: ", err.message);
        }
        var objects = data.Contents.map(function (object) {
            return { Key: object.Key };
        });
        s3.deleteObjects(
            {
                Delete: { Objects: objects, Quiet: true }
            },
            function (err, data) {
                if (err) {
                    return alert("There was an error deleting your album: ", err.message);
                }
                alert("Successfully deleted album.");
                listAlbums();
            }
        );
    });
}

3. What you will see.

When you access to this website, you will see albums in Upload and Compressed buckets. You can create new album on Original albums (Upload bucket), add photo to it, and see it.

Compress images in S3 by using S3 events and Lambda.

To make lambda function, I referenced these documents.

Using the Pillow (Python library) to compress images stored in S3.

1. Make lambda function.

Before coding lambda function, I made lambda layer for import Pillow. I made Pillow zip file by following command and upload it to Lambda.

$pip install \
    --platform manylinux2014_x86_64 \
    --target=python/ \
    --implementation cp \
    --python 3.9 \
    --only-binary=:all: --upgrade \
    Pillow
$ zip -r ./my-deployment-package.zip ./python/

Then I coded Lmabda function. Values of TARGET_BUCKET_NAME and QUALITY_IMAGE are in environmental variables.
I used Chat GPT to fix errors in lambda function...

from PIL import Image
import urllib.parse
import boto3
import os

TARGET_BUCKET_PATH = os.environ['TARGET_BUCKET_PATH']
QUALITY_IMAGE = int(os.environ['QUALITY_IMAGE'])
s3 = boto3.client('s3')


def lambda_handler(event, context):
    bucket = event['Records'][0]['s3']['bucket']['name']
    source_key = urllib.parse.unquote_plus(event['Records'][0]['s3']['object']['key'], encoding='utf-8')
    destination_key = 'compressed' + source_key
    source_file = u'/tmp/' + os.path.basename(source_key)
    destination_file = source_file
    file_paths = os.path.splitext(source_key)
    file_path = file_paths[0]
    file_extension = file_paths[1][1:].lower()

    try:
        s3.download_file(Bucket=bucket, Key=source_key, Filename=source_file)
        img = Image.open(source_file, 'r')
        img.save(destination_file, file_extension, quality = QUALITY_IMAGE)
        s3.upload_file(Filename=destination_file,
                       Bucket=TARGET_BUCKET_PATH,
                       Key=destination_key)
        return source_key
    except Exception as e:
        print(e)
        raise e

2. Set IAM Role.

I set this IAM Role to Lambda function.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "arn:aws:logs:reagion:*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": [
                "arn:aws:logs:reagion:log-group:/aws/lambda/naoCompFunction:*"
            ]
        },
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::Upload bucket",
                "arn:aws:s3:::Upload bucket/*",
                "arn:aws:s3:::Compress bucket",
                "arn:aws:s3:::Compress bucket/*"
            ]
        }
    ]
}

3. Set S3 events.

Trigger event types are these. You should include Multi part upload event if you might upload large files.

Event types: s3:ObjectCreated:Put, s3:ObjectCreated:Post, s3:ObjectCreated:CompleteMultipartUpload

Finally...

When client upload image file, Lambda function automatically compress image and put it in Compressed bucket. Client can see compressed image and download it form website!!!

Summary

It was so much fun to create some systems using AWS! It was not as difficult and didn't take as much time as I had expected. In this blog, I couldn't cover any security settings like bucket policies, so I'll write about them soon.

Who am I and why am I here?

nao — Sat, 21 Oct 2023 00:48:20 +0000

I'm Nao and I was born in Japan.I'm working as an engineer at a cyber security company in Japan. I started working this year!(2023)

I have a graduate degree in applied physics.I had been researching about 'atomic switch' which is a kind of synapse memory, and the experience of working on the development of atomic switch and their application in deep learning was valuable.

I had two reasons for joining the cybersecurity company. The first was my big interest in IT technology, and the second was my desire to work in a role that protects the security and peace mind of many people and company.

My qualification

AWS Cloud practitioner
(Obtained at 2023/09)
AWS Certified Solutions Architect - Associate
　　　　　　（Obtained at 2023/10）

My interests

AWS
Cybersecurity
AI
I love ski!

I am here to ...

write about things that I'm interested in
learn how to write articles in English
enjoy!