AWS 클라우드 서비스 인프라 구축 이해와 해킹, 보안 - 섹션 6
[섹션 6] AWS 서비스 로그 통합 모니터링
AWS 클라우드 서비스 로그 이해
클라우드 자원별 로그
- EC2 생성/삭제, S3 스토리지 로그, 데이터베이스 로그, 서버리스 자원 로그, 컨테이너 로그 등
- 각 자원별로 Cloud Watch를 이용하여 확인 및 통합 가능
- Cloud Watch 에이전트를 이용하여 EC2의 로그를 확장해서 통합 분석 가능
네트워크 트래픽 로그
- 가상 네트워크 VPC Flow 로그
- 각 VPC 별로 플로우 로그를 생성하여 관리
자원 이벤트 로그
- AWS SDK, CLI를 이용한 API 로그 관리
- API를 호출한 IP 주소와 호출한 사용자 계정 추적 가능
비용 이벤트 로그
- 클라우드 서비스를 이용할 때 각 자원별/태그별 비용 확인
- 정해진 예상 금액 이상으로 사용할 때 경고 메시지(메일) 기능
AWS Cloud Watch에서 비용 경보 설정
Cloud Watch : AWS 리소스와 애플리케이션의 모니터링 및 로그 관리 서비스를 제공하여 성능 및 운영 상태를 실시간으로 추적하고 알림을 설정할 수 있게 해주는 도구
'경보 > 결제 > 경보 생성' 을 통해 정해진 조건을 벗어나면 알림이 발생하도록 할 수 있음
AWS CloudTrail을 이용한 로그 관리
CloudTrail 의 개요
- AWS 계정 관리, 규정 준수, 운영 및 위험 감사를 지원하는 서비스
- 기록된 정보를 참고하여 사용자, 역할, 서비스에 수행한 작업에 대한 정보를 검토할 수 있음
- AWS에서 서비스하고 있는 모든 행위의 이벤트를 모아서 분석, 리소스 변경 추적 등 가능
* Cloud Watch는 통합로그 분석의 관점, Cloud Trail은 로그 수집은 동일하나 사용자 행위에 대해 중점적으로 관리
CloudTrail 이벤트 종류
- 관리 이벤트 : 계정 리소스에서 수행되는 관리 작업에 대한 정보 제공
- 데이터 이벤트 : 리소스에서 수행되는 리소스 작업의 정보 제공 (요금 발생)
- Insights 이벤트 : 계정에서 발생된 비정상적인 활동 기록 (요금 발생)
* 로그들은 S3에 저장이 되며, S3 사용량에 따라 요금이 부과됨
'CloudTrail > 추적생성' 에서 설정 가능
제대로 확인하려면 관리 이벤트+데이터 이벤트까지 로깅하는 것이 좋음
'CloudTrail > 이벤트 기록'에서 로그를 간편하게 확인 가능
VPC Flow 로그
VPC Flow 로그
- VPC와의 IP 트래픽을 캡처하는데 도움
- VPC 흐름 로그의 데이터는 CloudWatch 로그 또는 S3 버킷에 게시할 수 있음
- 허용된 트래픽만 기록하거나 거부된 트래픽 또는 둘 다를 기록하도록 선택 가능
- VPC 수준, 서브넷 수준, 네트워크 인터페이스 수준 등 다양한 수준에서 생성
- VPC와의 모든 IP 트래픽을 기록할 수 있지만, Accept/Reject, ALL 등을 선택 가능
VPC 로그 이벤트 수집 실습
앞선 실습에서 만들었던 VPC 퍼블릭 대역에 실습
1. 인스턴스 생성
2. cloudwatch에 로그 그룹(로그가 쌓이는 공간) 생성
3. IAM 정책 생성 -> 역할 생성 -> 신뢰관계 설정 (뭔소리지..뭐가 무슨 기능인지 모르겠)
4. vpc flow log 생성
*로그 데이터 게시 대상 : S3 버킷 (장기적 보관, ELK로 통합로그할거면), CloudWatch Logs
AWS CloudWatch 통합 로그 분석
CloudWatch
- AWS에서 제공하는 AWS의 자원과 애플리케이션을 모니터링할 수 있는 관리 서비스
- 모니터링하는 모든 자원의 로그와 지표 정보들을 수집하여 시각화할 수 있음
기본 대시보드 구성
EC2 인스턴스 정보에서 '대시보드 추가' > 대시보드 생성 또는 기존 대시보드 추가
위젯 유형 선택 가능
Agent 로그 정보 수집
IAM > 역할 > 역할 생성 > 2단계 권한 추가 단계에서 'cloudwatchagent' 검색하여 ~serverPolicy 선택 > 인스턴스의 IAM 역할 수정
서버에 CloudWatch 에이전트 설치
sudo dpkg -i amazon-cloudwatch-agent.deb
sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard
위 명령어를 통해 에이전트 설치, 이후 세부 설정하고 설치 완료
sudo su-
cd /opt/aws/amazon-cloudwatch-agent/bin
./amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json -s
위 명령어로 실행
./amazon-cloudwatch-agent-ctl -m ec2 -a status : 정보 확인
cloudwatch > 모든 지표 > CWAgent 에서 쌓인 로그 확인 가능
Agent 웹 로그 수집
sudo apt install apache2 : 아파치 설치
sudo service apache2 start : 아파치 시작
sudo nikto -h [아파치 페이지 주소] : 웹공격 로그 남기기 (칼리)
config.json 파일을 웹 로그도 수집하도록 수정
./amazon-cloudwatch-agent-ctl -m ec2 -a stop : agent 정지
./amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json -s : 수정된 config 파일을 가져와서 다시 실행
CloudWatch > 로그 > 로그 그룹 > agent_apache 에서 로그 이벤트 확인 가능
수집된 로그 통합해보기
VPC 로그, apache 로그 등을 통합해서 대시보드에 표시
apache 로그 > Logs Insights에서 보기 > 대시보드에 추가
대시보드에서 위젯 추가를 통해 여러 지표를 대시보드에 불러옴