SaaS 설치Cluster 생성초기에 CloudMOA에 로그인했을 때, 구성된 Cluster가 존재하지 않기 때문에 아래와 같은 화면이 나

타납니다.

Settings → Agent Installation 메뉴를 클릭하여 화면으로 이동 합니다.

초기 화면 진입시 Create Cluster 버튼을 클릭하여 Cluster를 생성합니다.

생성하실 Cluster의 Name을 기입하고 OK 버튼을 클릭하면, "입력하신 이름으로 클러스터를 생성하

시겠습니까?"라는 알림창이 뜨며, OK 버튼을 클릭할 경우, Cluster가 생성됩니다.

Caution

Cluster Name은 역슬래시(\)와 개행문자를 제외하고, 30자 이내로 적어야 합니다.

Agent 구성 정보Install Agent 버튼을 클릭하여 Agent 설치를 진행합니다.

CloudMOA를 구성하는 각 Agent들의 역할과 데이터 흐름을 나타냅니다.

방화벽 설정고객사 Cluster를 구성하는 모든 Node의 오픈되어야 할 방화벽 정보를 나타냅니다.

Caution

방화벽이 제대로 오픈되지 않을 경우, 설치가 정상적으로 진행되지 않을 수 있습니다.

Agent Yaml 다운로드

순번 항목 내용

Cluster 선택 Agent를 설치할 Cluster를 선택합니다.

Namespace 입력

Agent를 설치할 Namespace를 입력합니다.

※ Namespace는 영어 소문자와 숫자, 특수기호(-)만을 사용하여,50자 이내로 적어야 합니다.

Kubernetes 버전선택

선택된 Cluster에 설치된 Kubernetes의 버전을 선택합니다.

※ CloudMOA는 Kubernetes 버전 1.12부터 1.20까지 지원합니다.

Caution

선택된 Cluster에 입력하신 Namespace가 존재하지 않는 경우, 설치가 정상적으로 진행되지 않

을 수 있습니다.

선택한 Cluster, Namespace, Kubernetes 버전 정보가 올바른지 확인하고, Download 버튼을 클릭하

면, CloudMOA-Agent Yaml 파일의 다운로드를 진행합니다.

다운로드를 정상적으로 완료한 후, Yaml 파일을 kubectl 명령어의 사용이 가능한 서버에 위치시킵니

다.

Command 실행 및 확인주어진 kubectl 명령어를 Copy 버튼을 클릭하여 복사한 후, 명령어를 사용할 수 있는 서버에 입력합

니다.

서버에 Agent가 정상적으로 설치되었는지, 확인할 수 있습니다.

지금 확인하기를 선택한 경우

Agent 설치 성공

Agent 설치 실패

나중에 확인하기를 선택한 경우

설치가 정상적으로 완료되었다면, Cluster 내 구성 정보 데이터를 확인이 가능합니다.

설치에 필요한 환경서버 아키텍처 및 구성요소CloudMOA 솔루션은 클라우드 네이티브 환경에서 운영되는 Infrastructure, 즉 VM 호스트 및 쿠버네

티스 노드에 대한 모니터링을 할 수 있을 뿐만 아니라, 이러한 Infrastructure를 기반으로 다양한

Workload 종류에 대한 모니터링 및 서비스 모니터링이 가능하게 설계되어 있습니다.

아래 그림은 CloudMOA 솔루션의 전체 아키텍처를 나타내는 그림으로, 그림의 왼쪽은 모니터링 대상

고객사 클라우드 환경을 나타내고, 그림의 가운데에는 CloudMOA 솔루션이 설치되는 수집 클러스터

를 나타냅니다. CloudMOA 솔루션은 고객사 업무에 가능한 영향을 주지 않도록 고객사 업무 환경과

는 별도의 쿠버네티스 클러스터에 설치하는 것을 권장드립니다만, 필요한 경우에는 고객사 업무가 구

동되는 클러스터에 같이 설치도 가능합니다.

고객사 업무 클러스터에는 CloudMOA 솔루션과의 통신을 담당하는 CloudMOA Agent가 각 노드마다

설치됩니다. 추가로 고객사 업무 클러스터에서 Metric 데이터를 수집하고 전달하는 Prometheus, 그리

고 선택적으로 서비스 Trace 데이터를 수집하고 전달하기 위한 Jaeger Collector가 고객사 업무 클러

스터마다 한 개씩 설치됩니다.

CloudMOA 솔루션 내부 엔진 모듈은 다음과 같이 구성됩니다.

수집 클러스터

번호 모듈명 설명

API ServerAPI 서버는 UI 화면에서 사용자가 요청한 데이터를 가공한 후 사용자에게 전달하며, 고객사에 설치한 CloudMOA Agent와 직접 통신하여 Management 기능을 수행하기도 합니다.

UI Server사용자가 볼 수 있는 UI 화면에 대한 이미지 파일과 JavaScript 소스를 제공합니다.

CollectorAgent를 통해 수집된 Topology 데이터와 고객사 클러스터에서 수집된 서비스 Trace 데이터를 kafka로부터 가져와서 분석한 후에ElasticSearch에 저장하는 역할을 합니다.

Analysis ModulePrometheus에 수집된 데이터를 근거로 고객사의 클러스터에 있는각 Entity에 대한 health 상태를 스코어링하여 ElasticSearch에 저장하는 역할을 합니다.

Kafka모니터링 대상 고객사 클러스터에서 수집된 Metric, Topology 그리고 Trace 데이터를 전달받아 중계하는 역할을 합니다. 데이터는 목적에 따라 각각 Prometheus, Collector가 받아서 처리합니다.

Prometheus시계열 Metric 데이터를 저장하고 관리하는 데이터베이스입니다.Kafka를 통해 모니터링 대상 고객사 클러스터에서 전달받은 Metric데이터를 저장 및 관리합니다.

ElasticSearchElasticSearch는 Kafka를 통해 고객사 환경에서 수집된 Topology 데이터나 Trace 데이터를 저장하고 관리하는 역할을 합니다.

PostgreSQL사용자 정보, 권한 관리, 화면 설정 등의 CloudMOA 운영과 관련된메타 데이터를 저장하는 데이터베이스입니다.

HarborDocker 이미지 저장소로써, CloudMOA 솔루션 운영에 필요한 모듈Docker 이미지들을 저장하고 배포하는 공간입니다.

관제 클러스터

번호 모듈명 설명

Node Exporter Node에 관련된 Metric 시계열 데이터를 수집하여 고객사 클러스터에 설치된 Prometheus에 전달하는 역할을 합니다.

CloudMOAAgent

관제 대상 클러스터의 Topology 데이터를 수집하여 Kafka를 통해수집 클러스터에 전달하는 역할을 하며, 그 밖에 API 서버와의 TCP연결을 통해 관리 기능, Log Viewer 기능 등을 수행합니다.

PrometheusPrometheus는 다양한 Exporter들과 연결될 수 있으며, 기본적으로Node Exporter와 cAdvisor를 통해 수집한 Metric 데이터를 Kafka를통해 수집 클러스터에 전달하는 역할을 합니다.

Jaeger CollectorJaeger Collector는 Jaeger Agent로부터 수집된 어플리케이션 서비스 Tracing 데이터를 Kafka를 통해 수집 클러스터에 전달하는 역할을 합니다.

네트워크 구성도

CloudMOA 솔루션의 각 구성요소간 다양한 네트워크 통신을 처리하기 위해 필요한 포트 정보 및 연

결 설정에 대해 설명합니다. CloudMOA 솔루션 설치에 필요한 네트워크 포트는 아래 그림과 같습니

다. 만약 기본 포트 번호를 다른 서비스에서 이미 사용 중인 경우에는 다른 포트 번호로 변경하여 사

용합니다. 또한 동일한 하드웨어 장비에 여러 개의 CloudMOA 인스턴스를 설치하는 경우에도 포트

번호가 중복되지 않도록 설정에 주의해야합니다.

아래는 CloudMOA 솔루션을 사용하기 위해 외부에 오픈해야 하는 네트워크 포트에 대한 정보를 요약

한 테이블입니다.

타겟 포트 프로토콜 구분 설명

UI Server 80 HTTP 외부CloudMOA UI화면 접속

API Server 8080 HTTP 외부CloudMOA API호출

API Server 10100 TCP 외부Agent 컨트롤 및Log 데이터 전송

Kafka9095, 32500,32501

TCP 외부모니터링 데이터전송

Harbor 5000 TCP 외부Docker ImagePull

아래는 CloudMOA 솔루션에서 사용하는 네트워크 포트에 대한 소스와 타겟별 상세 사용 정보를 나타

낸 테이블입니다.

소스 타겟 포트 프로토콜 구분 설명

Web Client UI Server 80 HTTP 외부클라이언트UI 화면

Web Client API Server 8080 HTTP 외부클라이언트API 호출

CloudMOAAgent

API Server 10100 TCP 외부Agent 컨트롤 및 Log 데이터 전송

CloudMOAAgent

Kafka 9095, 32500,32501

TCP 외부 Topology 데이터 전송

PrometheusServer

Kafka9095, 32500,32501

TCP 외부Metric 데이터 전송

JaegerCollector

Kafka9095, 32500,32501

TCP 외부Trace 데이터전송

PrometheusRepository

Kafka9094, 32400,32401

TCP 내부Metric 데이터 수집

Collector Kafka9094, 32400,32401

TCP 내부Topology,Trace 데이터수집

고객사 클러스터

Harbor 5000 TCP 외부DockerImage Pull

CloudMOA클러스터

Harbor 5000 TCP 내부DockerImage Pull

설치에 필요한 최소 스펙웹 브라우저: Chrome 71.0.3578.80 이상

수집 서버 스펙: 서버 X3대(권장) / 서버 X2대(최소)

기준 스펙

OS Linux Kernel 3.1x 이상 (64bit)

CPU 8Core(권장) / 4Core(최소)

Memory 64GB(권장) / 32GB(최소)

HDD 모니터링 대상 수에 따라 유동적 (최소 500GB

이상)

Agent 스펙(고객사 환경)

기준 스펙

OS All Available (Kubernetes/Docker 기반 환경)

CPU 3% 이내

Memory 500MB 이내

HDD 1GB 이내

Prometheus/Jaeger Collector 설치 노드

기준 스펙

OS All Available (Kubernetes/Docker 기반 환경)

CPU 4Core(권장)

Memory 16GB(권장)

HDD 100GB 이내 (고객사 Prometheus 활용 고려)

CloudMOA 설치 방법수집 서버 클러스터 설치수집 서버 클러스터는 CloudMOA의 동작을 담당하는 모듈이 설치되는 환경을 의미합니다. 관제 대상

클러스터로부터 수집된 모니터링 정보를 저장, 분석, 표현하는 CloudMOA 엔진 모듈 및 기반 소프트

웨어를 설치합니다.

배포의 편의성을 위해 CloudMOA 엔진 모듈 및 기반 소프트웨어들을 Docker 이미지 형태로 만들어

졌으며, 필요시 Scale-out과 같이 유연한 대응을 할 수 있도록 쿠버네티스 클러스터에 Docker 이미지

를 구동시키는 방식으로 설치합니다.

사전 설치

1. Source 1.imxc_install.sh 실행합니다. (환경변수 적용을 위해 source 명령어로 실행합니다.)

2. 메인화면에서 "2. Install > 1. rpm packages" 를 실행하여 기본 리눅스 package 설치합니다.

설정 정보 입력

1. 메인화면에서 1". Config > 1. Master Config" 또는 "2. Worker Config" 실행합니다.

i. Master Config 실행 이후 과정 (Master 노드)

순번

내 용

Hostname 입력합니다. (default 상태라면 변경하기 원하는 hostname을 입력합니다.)

Master 노드의 IP 입력합니다.

CloudMOA 웹 URL 접속 프로토콜 입력합니다. ( 기본값 : HTTP )

CloudMOA 웹 Demo URL 접속 프로토콜 입력합니다. ( 기본값 : HTTP )

LDAP 사용여부 입력합니다.

Prometheus의 persistent-volume을 띄울 worker 노드의 hostname 입력합니다. 수집서버 워커 노드 갯수에 따라 할당할 노드 정보 예시를 제공합니다. 설치할 장비의hostname으로 대입하여 입력하시면 됩니다.

ElasticSearch의 persistent-volume을 위치시킬 두 대의 worker 노드 hostname 을 입력합니다.

Zookeeper를 위치시킬 worker 노드들의 hostname 입력합니다. (3개의 노드 정보를입력하게 되어있는데, worker 노드가 1개 또는 2개인경우, 이미 할당된 노드에 중복으로 위치시키셔도 됩니다.)

PostgreSQL을 위치시킬 worker 노드의 hostname을 입력합니다.

Docker Private Registry를 위치시킬 worker 노드의 hostname을 입력합니다.

Audit Log의 저장 경로를 입력합니다. ( 기본값 : /var/log )

ElasticSearch, PostgreSQL, Prometheus, Kafka, Zookeeper 각각에 대한 pv 데이터 저장 경로를 입력합니다. ( 기본값 : /media/imxc/data )

Intermax APM이 있는 경우 Intermax가 설치된 노드의 IP 입력합니다. (없는 경우 빈칸으로 엔터 치셔도 무방합니다.)

CloudMOA 구성에 필요한 설치파일(yaml 파일)들을 위치시킬 경로를 입력합니다.

Master 노드를 Worker 노드처럼 사용할 것인지 여부를 선택합니다. (클러스터 구성하는 노드의 수가 2대인 경우 필수조건. 그 이상이라면 선택사항.)

NTP 시간 설정여부 결정합니다. (y를 체크한 경우 Time 서버의 IP 입력합니다.)

Worker 노드의 host에 접근하기 위해 Worker 노드의 IP / ID / PW를 각각 입력합니다.

Worker 노드 추가가 필요없다면 additional 노드 추가하지 않습니다.

방화벽 off 여부 체크합니다. (방화벽이 켜져있으면 docker registry 접근에 문제가 생깁니다.)

ii. Worker Config 실행 후 (Worker 노드)

순번 내 용

Hostname 입력합니다. (default 상태라면 변경하기 원하는 hostname을 입력합니다.)

CloudMOA 구성에 필요한 설치파일(yaml 파일)들을 위치시킬 경로를 입력합니다.

NTP 시간 설정여부 결정합니다. (y를 체크한 경우 Time 서버의 IP 입력합니다.)

CloudMOA 수집 클러스터 설치

1. Main 화면에서 "2. Install > Docker CE 19.03.1" 실행합니다.(공통)

2. Main 화면에서 "2. Install > Kubernetes 15.0.3" 실행합니다.

i. Master 노드를 먼저 설치한 후, Master 노드가 정상적으로 설치되면

ii. Worker 노드 설치합니다.

3. Main 화면에서 "2. Install > 4. CloudMOA" 실행합니다. (CloudMOA 구성에 필요한 yaml 파일들

을 위의 config에서 입력한 경로에 설치합니다.)

4. Main 화면에서 "3. Deploy" 실행합니다. (실제 제품 배포, Master 노드에서만 실행합니다.)

참고) CloudMOA는 helm을 사용하여 배포합니다. 현재, 설치과정에서kafka / imxc-collector / imxc-api-server / jaeger-collector /jaeger-query가 서로 의존관계이다 보니 초기에 에러가 발생할 수있습니다. 하지만 kafka와 ElasticSearch가 Running이 되면 다른

5. 관제대상 에이전트 설치를 위해 Harbor를 설치 또는 사용합니다. 기존의 insecure docker-

registry 를 통한 에이전트 배포시에는, 관제대상 클러스터의 docker daemon 에 docker-registry

url 세팅하기 위해 docker restart 명령을 사용하였습니다. docker restart 명령은 고객사에서 운용

중인 서비스를 재시작 시키므로 고객사 업무에 장애를 유발합니다. Harbor는 https 인증서를 설

치하는데, 이를 통해 배포대상 클러스터 각 노드에 인증서를 복사하기면 하면 부작용없이 모듈

배포가 가능합니다. 인스톨러에서는 고객사가 이미 운용중인 Harbor 사용, 수집서버에 Harbor

설치하여 사용하는 2가지 방식을 지원합니다.

i. 고객사가 운용중인 Harbor 사용. 고객사 Harbor 의 특정 프로젝트에 관제대상 설치용 이미

지들을 푸시한다.

ii. 수집서버에 Harbor 설치.

파드들도 정상화 되므로 설치 중에 5분 이상 멈춰있거나 설치 후에 Pod의상태를 확인했을 때 CrashLoopOff나 Error 등의 오류가 발생한다면,kafka와 ElasticSearch의 상태를 확인바랍니다.)

harbor 이미지 로드, 푸시

tls 인증서 생성. harbor 관련 DB테이블, Persistent Volume, Secret 생성. Helm Chart Deploy

Harbor registry deploy 체크. harbor docker login

관제대상 에이전트 설치 이미지 푸시

웹브라우저 통해 harbor 접속하여 관제대상 설치용 이미지 푸시확인

6. 모든 단계가 완료되면 Main 화면의 "4. Check" 실행합니다. ( Master 노드 )

참고) "4. Check" 기능은 추후 지원 예정입니다. 현재는 CloudMOA 제품 설치시 "kubectl get

pods" 명령어를 사용하여 파드의 실행상태를 체크하시기 바랍니다.

CloudMOA Agent 설치

CloudMOA agent는 관제 대상 클러스터에 설치되는 모듈입니다. 배포 편이성을 위해 주요 모듈 및

기반 소프트웨어들을 Docker 이미지화 하였습니다. CloudMOA agent 설치는 Ansible과 Helm을 통해

관제 대상 클러스터에 설치되도록 진행되며, 모든 설치는 수집 서버 클러스터의 Master 노드에서 진

행합니다.

1. "Source 2. Agent_install.sh" 로 실행합니다. (환경변수 적용을 위해 source 명령어로 실행해야 합

니다.)

2. Main 화면에서 "1. Config" 실행합니다.

i. 수집서버의 Master 노드 IP 입력합니다.

ii. Intermax APM이 설치되어 있는 경우 Intermax APM 이 설치된 IP 입력합니다.

iii. CloudMOA agent 설치파일(yaml 파일)을 위치시킬 경로를 입력합니다.

iv. CloudMOA agent 설치를 진행할 클러스터들 각각의 Master 노드 IP / PW / 클러스터명 입

력합니다. (클러스터명이 따로 없는 경우 원하는 이름으로 설정합니다.)

v. Jaeger Agent의 Cluster IP를 입력합니다. 관제대상 클러스터의 Cluster IP 대역대를 확인하

여 사용되지 않는 IP로 세팅하면 됩니다.

vi. 다른 Master 노드 추가 여부 입력합니다.

vii. CloudMOA agent 설치를 진행할 클러스터의 Worker 노드 IP 입력합니다.

viii. Worker 노드 추가합니다.

ix. CloudMOA agent 설치를 진행할 클러스터가 Harbor 로부터 image pull 할 수 있도록, 각 노

드에 인증서 복사 및 docker login 실행해줍니다.

3. Main 화면에서 "2. Install" 실행합니다.

agent 설치에 필요한 파일 ( helm-chart, helm binary ) 등을 tar 압축. 관제대상 클러스터 master 노드

에 복사. 압축해제 합니다.

4. Main 화면에서 "3. Deploy" 실행합니다.

관제대상 클러스터에서 helm-chart deploy 가 완료되면 다음과 같은 완료메세지 확인 가능합니다.

관제대상 클러스터에서 deploy가 잘 이루어졌는지 확인합니다.

웹 UI에 접속하여 관제대상 클러스터 추가되었는지 확인합니다.

※ CloudMOA agent / Prometheus / Node-exporter / metric-server / jaeger-agent배포

Tip

Service Tracing를 가능하게 하는 Jaeger Agent가 고객사의 java Application에 옵션으로 지정되

어 있어야 합니다. Java application에 적용시 아래의 옵션을 입력해주시기 바랍니다.*

application에 java option으로 specialagent를 같이 기동하도록 변경합니다.

\$ java -Dsa.spring -Dsa.tracer=jaeger -Djava.security.egd=file:/dev/./urandom –noverify -

javaagent:/opentracing-specialagent-1.3.3.jar -jar /app.jar\</programlisting>

1. 고객사 deployment.yaml 파일에 아래의 환경변수 추가합니다.

jaeger를 사용하기 위해선 고객사의 yaml 파일(deployment 등)에 아래의 환경변수 설정 내용이 추가

되어야 하며 아래의 CLST_ID 환경변수의 value값에 적당한 클러스터 이름을 입력해주시기 바랍니다.

apiVersion: v1... env: - name: CLST_ID value: $CLUSTER_ID # need to edit # - name: NODE_ID valueFrom: fieldRef: fieldPath: spec.nodeName - name: NAMESPACE valueFrom:

1. 배포가 완료되면 Main화면의 "4. Check" 실행을 통해 설치가 정상적으로 완료되었는지 확인 후

정상적으로 파드가 Running 되고 있다면 설치가 완료됐다고 판단하시면 됩니다.

설치 후 화면 확인

Login 화면

위와 같은 로그인 화면에서 로그인 ID와 비밀번호를 입력하고 로그인합니다. 처음 제품을 설치하는

경우 관리자 계정 ID가 'admin'으로 설정되어 있습니다. 로그인 후에 반드시 관리자 계정 비밀번호를

변경하고 사용합니다.

fieldRef: fieldPath: metadata.namespace - name: POD_ID valueFrom: fieldRef: fieldPath: metadata.name - name: JAEGER_SERVICE_NAME valueFrom: fieldRef: fieldPath: metadata.labels['app'] - name: JAEGER_AGENT_HOST value: jaeger-agent - name: JAEGER_TAGS value: xm_clst_id=$(CLST_ID),xm_node_id=$(NODE_ID),xm_namespace=$(NAMESPACE),xm_pod_id=$(POD

Infrastructure Topology 화면

로그인을 하면 위의 화면이 나오는데, 위의 화면에서 각각의 작은 원들은 클러스터를 나타냅니다.(노

란색 상자부분) 이 클러스터 연결정보를 통해 연결되지 않은 클러스터는 없는지, 리소스 수집정보(빨

간색 상자부분)가 정상적으로 수집되고 있는지 확인합니다. 만일 클러스터 연결정보가 누락되어있거

나 리소스 수치가 0으로 나타나는 경우, 클러스터로부터 데이터가 수집되고있는지 확인하세요.

Inrastructure Overview 화면

Overview화면의 수치들이 모두 정상적으로 나타나고 있는지 확인합니다. 위의 빨간색 박스로 표시된

부분들의 수치가 정상적으로 나타나고 있지 않다면 Cassandra의 데이터 수집상태를, 하단의 노란색

박스로 표시된 부분에 데이터가 표시되지 않고있다면 Prometheus의 데이터 수집상태를 확인해주세

요.

Service Details 화면Service Details 화면은 사용자가 운영하는 Application에 Jaeger Agent가 설정되어야 볼 수 있습니다.

사용자가 운영하는 Application에 Jaeger Agent가 설정되어있다면 위와 같은 화면을 볼 수 있습니다.

만일, 위 화면에 데이터가 나타나지 않는다면, Jaeger Agent와 Kafka의 연결상태 및 Jaeger Collector

/ Ingester의 연결상태를 확인해주세요.

위의 모든 화면에서 데이터가 정상 출력된다면 CloudMOA의 상태는 정상이라고 판단할 수 있으며 이

제부터 CloudMOA를 통해 고객사의 클러스터들을 모니터링할 수 있습니다.

솔루션 구성요소와 유지보수

고객에게 인도되는 항목CloudMOA 솔루션을 구입하는 고객에게는 다음과 같은 항목(솔루션 안내서 및 프로그램)이 제공됩니

다.

프로그램 설치용 CD

솔루션 안내서

사용자 안내서

레퍼런스 안내서

설치 안내서

솔루션 지원 서비스CloudMOA 솔루션을 구입하는 고객에게는 솔루션의 안정적인 운영을 위해 1년간 무상으로 유지보수

서비스를 제공합니다.