Troubleshooting EMR Cluster Failure: Service Role Has Insufficient EC2 Permissions

Evgenii Kliuchnikov — Tue, 27 May 2025 14:19:17 +0000

If you encounter an error like:

ElasticMapReduce Cluster with Id cluster-name is in state TERMINATED_WITH_ERRORS and failed to stabilize due to the following reason: {Code: VALIDATION_ERROR, Message: Service role EMR_DefaultRole has insufficient EC2 permissions}
This typically means your EMR service role (EMR_DefaultRole) does not have the required permissions to launch EC2 instances for your cluster.

Step 1: Check CloudTrail for Details

Go to AWS CloudTrail and look for RunInstances events around the time your cluster failed.
You may see an error like:

User: arn:aws:sts::xxx:assumed-role/EMR_DefaultRole/CCSSession is not authorized to perform: ec2:RunInstances on resource: arn:aws:ec2:us-east-1:xxx:subnet/subnet-02xxx because no identity-based policy allows the ec2:RunInstances action

Step 2: Understand the Cause
If you are using the AmazonEMRServicePolicy_v2 managed policy, it restricts EC2 actions (like RunInstances) to only those subnets (and security groups) tagged with:

Key: for-use-with-amazon-emr-managed-policies Value: true

If your subnet or security group is not tagged this way, EMR cannot launch instances in it.

Step 3: Solution — Add the Required Tag
To fix this:

Go to the AWS Console → VPC → Subnets.
Find the subnet referenced in your EMR cluster (e.g., subnet-02cdb82893447260a).
Add the following tag:

Key: for-use-with-amazon-emr-managed-policies Value: true
Repeat for any security groups referenced by your EMR cluster.

Step 4: Retry Your EMR Cluster
After tagging, re-launch your EMR cluster.
It should now have the permissions needed to launch EC2 instances.

AWS S3 VPC Endpoint (Доступ до S3 з приватної мережі)

Evgenii Kliuchnikov — Wed, 08 Mar 2023 12:54:12 +0000

Як ми знаємо, щоб отримати доступ до S3 бакета, наприклад з EC2 інстансу нам потрібне інтернет з'єднання.

Приклад:

Тобто, прибравши Internet Gateway з цієї схеми і лишивши EC2 інстанс з'єднання з інтернетом, ми не зможемо отримати доступ до нашого S3 бакета.

S3 VPC Endpoint може вирішити цю проблему.

VPC Endpoint - це віртуальний масштабований мережевий компонент, який ви створюєте у VPC і використовуєте як приватну точку входу до підтримуваних служб AWS і сторонніх додатків.
В контексті AWS, VPC Gateway Endpoint - забезпечує надійне підключення до AWS S3, не вимагаючи доступу до Інтернету.

За використання VPC Endpoint додаткова плата не стягується.

Hands On:)

Перейдіть до VPC сервісу в AWS консолі, перейдіть до розділу “Endpoints” та виберіть “Create endpoint”.

Service category - виберіть “AWS services”.
Services - додайте фільтр:
Type: Gateway
Виберіть com.amazonaws.region.s3
VPC - оберіть потрібну VPC в якій ви хочете створити ендпоінт.

Route tables - виберіть таблицю маршрутизації яка буде використана для Ендпоінта.
Policy - оберіть Full access , щоб дозволити всі операції для будь-якого користувача чи сервісу для всіх ресурсів через VPC Endpoint, або згенеруйте свою Policy.

Тепер якщо ви зайдете на свій EC2 інстанс який знаходиться в приватній мережі, ви зможете підключатись до своїх s3 бакетів.

DEV Community: Evgenii Kliuchnikov

Troubleshooting EMR Cluster Failure: Service Role Has Insufficient EC2 Permissions

AWS S3 VPC Endpoint (Доступ до S3 з приватної мережі)