삽질기록

AWS EC2를 사용하다보면 백업을 하기위해서 이미지(AMI)를 생성하거나, Snapshot을 사용하기도 합니다. 이 포스팅에서는 EC2 AMI 와 Snapshot 의 차이와 비용발생에 대해 간단하게 알아보겠습니다. 📍 AMI 이미지 생성방식과 EBS 생성방식의 차이 AMI 이미지 생성방식은 EC2 인스턴스의 전체 백업(인스턴스와 + 저장소) 을 생성하는 것이고, 이미지를 복원할 때는 새로운 인스턴스와 EBS 볼륨이 생성되어 복원됩니다. EBS 스냅샷 생성방식은 EBS볼륨을 백업하는 방식입니다. 스냅샷은 생성하는 시점 그대로 저장이 됩니다. EBS만 백업하는 것입니다. 그래서 복원할 때는 새로운 인스턴스가 생성되지 않습니다. 📍 서울리전(ap-northeast-2)기준으로 비용에서는 어떤 차이가 있을까요..

문득 S3 미리 정의된 URL로 다운로드하거나 액세스하는 것을 퍼블릭하게 노출시키지 않는 방법이 뭐가 있을까?고민하다가 IP기반으로 액세스를 허용하고 제한할 수 있을까 하고 간단하게 테스트해본 내용입니다. 테스트를 위해 버킷과 객체를 준비해줍니다. 1. 버킷 생성 2. 객체를 선택하고 미리 서명된 URL 과 공유를 선택합니다. S3 버킷 정책에 내 IP 만 접근할 수 있도록 버킷정책을 꾸려보자 테스트는 내 현재 IP와 VPN 사용해서 다른 IP를 획득하여 액세스가 가능한지 여부에 대해 확인해볼 예정이다. 3. S3 버킷 정책 설정 - IP S3 버킷 정책 { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowIPs", "Effect": "Allow", "P..

API를 통해 데이터를 가져와 AWS RDS 적재하는 역할의 Lambda를 사용하면서 겪은 삽질기(경험 부족)입니다. 제가 만든 Lambda 는 위의 캡쳐 사진처럼 간단합니다. 또한 다음과 같은 역할을 수행하고자 합니다. 외부 인터넷을 통해 API를 호출하여 데이터를 가져온다. AWS RDS에 접근하여 데이터를 적재한다. 이 Lambda 에는 1) 외부 인터넷을 접속할 수 있는 인터넷 게이트웨이가 필요하며, 2) RDS과 같은 AWS 리소스를 사용하기 위해선 해당 VPC 망에 존재해야합니다. Lambda 의 VPC 활성화 옵션을 통해 RDS 와 같은 VPC 로 지정하였고, 서브넷 또한 퍼블릭 서브넷으로 지정하였습니다. 람다는 기본적으로 인터넷과 통신이 되기 때문에 당연히 될거라 배제하고 진행했었습니다. ..

AWS를 비용 효율적으로 사용할 수 있는 방법에는 Reserved Instances와 Savings Plans, Spot Instances 세가지 방법이 있습니다. 이 세가지 방법에 대해 한번 알아보겠습니다. RI는 인스턴스를 예약 약정거는 방식 SP는 시간당 사용 금액을 미리 계산하는 방식 Spot Instance는 고객이 설정한 가격 선에서 싼 값에 올라온 인스턴스들을 가져다 쓰는 방식 만약 RI와 SP 둘다 결제해놓고 사용한다고 가정했을 때에는 RI가 우선순위가 더 높다. 📍 RI (Reserved Instances) AWS EC2의 요금은 한 달 기준으로 인스턴스를 사용한 시간에 따라 요금이 책정되는 방식입니다. 일정기간동안 인스턴스를 예약해서 사용을 하겠다는 의미이고, 옵션에 따라 다르지만 On..

프로젝트를 진행해보면서 DB Connection과 쿼리로 인한 메모리 및 CPU 사용량이 비정상적인 경우를 종종 볼 수 있었습니다. 이 부분을 어떻게 관리하면 좋을까 고민하던 중 slow query라는 것을 알게되었고 또 그 쿼리로그를 슬랙으로 보낼 수 있다는 것을 알게 되어 여러 블로그를 참조하며 작성하였습니다. slowquery란? slowquery 는 클라이언트의 요청을 받아 응답하는 과정에서 오래 걸리는 query에 대한 log를 의미합니다. 특정 작업이 오래 걸린다면 log를 통해 원인을 파악할 수 있으니 slow query를 사용하면 분석이 가능할 것이라 생각합니다. 어떻게 슬랙으로 보낼까요? 전체 구조는 다음과 같습니다. 1.AWS RDS 설정 모니터링할 인스턴스의 slow query를 설정..

Amazon S3 란? Amazon Simple Storage Service로 객체 스토리지 서비스입니다. S3 특징 S3의 버킷은 무한대의 객체를 저장할 수 있으므로 스토리지의 요구를 미리 추정하여 관리할 필요가 없어 확장/축소에 신경쓰지 않아도 된다. 사용한 스토리지 만큼 요금이 청구되며 데이터 전송부분에서는 해당 리전 내에서는 데이터 송수신은 무료 (다른 AWS 리전으로는 무료가 아니다!) 인터넷으로 데이터를 송수신 시에도 가격이 매우 저렴하다. (aws S3 요금) 더 자세한 개념은 여기를 참고해주세요 s3 다뤄보기 전에 우선 AWS CLI 를 다운하고, 앞서 만든 AWS IAM 사용자를 추가해야 합니다. # aws configure 를 실행시킵니다. aws configure 네 개의 항목이 나오..

AWS 프리티어로 간단하게 내 이름을 출력하는 웹서버를 만들어 보자 ec2 는 "Elastic Compute Cloud" 의 약자이며 한 대의 컴퓨터를 임대한다는 개념 입니다. (해당 서버 ec2 스펙은 "amazon linux" 혹은 "ubuntu 서버" 프리티어를 선택하였습니다) "인스턴스 세부 정보 구성" 하단에서 간단하게 쉘스크립트를 삽입하여 인스턴스 첫 부팅 때 실행하게 한다. (사실 쉘스크립트 작성하지 않고 생성해준 ec2 서버에 접속하여 직접 구축할 수 있지만, 쉘스크립트 이용하여 보다 편하게 할 수 있습니다) 쉘 스크립트 명령어 #!/bin/bash yum update -y yum install -y httpd systemctl start httpd systemctl enable httpd..