분류 전체보기106 k8s nifi-1.13.2 zookeeper-3.6.3 k8s에서 zookeeper cluster와 nifi cluster를 실행한다. version name version zookeeper 3.6.3 nifi 1.13.2 기본 apache nifi 이미지는 flow.xml.gz 파일의 위치 및 각 repository의 위치를 수정할 수 없기에 docker image를 수정함. nifi image DOCKERFILE : https://github.com/kyeongseooh/k8s-nifi-1.13.2 zookeeper.yaml apiVersion: v1 kind: Service metadata: name: zk-hs labels: app: zk spec: ports: - port: 2888 name: server - port: 3888 name: leade.. 2022. 10. 2. kubeadm join 시 pending kubeadm join 시 아래와 같은 에러가 발생하며 pending되는 현상 발생 [preflight] Running pre-flight checks 원인은 node join을 위한 token이 expired 되었기 때문임. token을 새로 생성해 해결 가능함. kubeadm token create kubeadm token list TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS barq1g.ij8a85snmlnnrqu1 23h 2022-10-01T08:51:57Z authentication,signing system:bootstrappers:kubeadm:default-node-token --discovery-token-ca-cert-hash는 변경되지 않기.. 2022. 9. 30. haproxy 환경 구성 hostname ip os 역할 server01 192.168.56.101 CentOS 7 HA-Proxy version haproxy server02 192.168.56.102 CentOS 7 web ui 1 server03 192.168.56.103 CentOS 7 web ui 2 환경 설정 [server 01 ~ server03에서 작업] 1. 방화벽 해제 systemctl stop firewalld ; systemctl disable firewalld 2. selinux 비활성화 setenforce 0 sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config HTTP WEB UI [server 02 ~ server03.. 2022. 9. 22. external etcd backup & restore external etcd를 backup하고, restore한다. 작업순서 1. busybox pod을 생성 2. etcd backup 3. pod delete 4. restore 1. busybox pod을 생성한다. yaml file 작성 apiVersion: v1 kind: Pod metadata: name: busybox namespace: default spec: containers: - image: busybox command: - sleep - "3600" imagePullPolicy: IfNotPresent name: busybox restartPolicy: Always pod 생성 [root@km ~]# kubectl create -f busy.yaml pod/busybox created .. 2022. 9. 18. k8s external etcd 구성 아래 그림과 같이 외부에 etcd 서버를 별도로 구성하고, kube-apiserver를 통해 etcd에 read/write하도록 구성한다. 서버 구성은 아래와 같음 172.30.1.144 km.dd.io 172.30.1.145 kw.dd.io 172.30.1.146 etcd1.dd.io ● etcd 노드에서 실행 1. 방화벽 해제 systemctl stop firewalld ; systemctl disable firewalld 2. selinux 비활성화 setenforce 0 sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config 3. kubernetes yum repository 설정 cat 2022. 9. 17. etcd backup, restore etcdctl을 사용해 etcd를 backup한다. 작업 전 준비사항 etcd를 backup하기 위해서는 ca.crt, server.crt, server.key가 필요함 crt 및 key등의 인증정보는 etcd가 구동중인 서버의 /etc/kubernetes/pki/etcd에 존재 (default) etcd가 구동중인 서버가 아닌 타 서버에서 etcd backup을 위해서는 etcd server에 있는 인증정보를 복사해와야함 1. etcd는 kube-system에 static pod으로 존재한다. etcd가 pod이 구동 중인지 확인한다. [root@km ~]# kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE coredns-64897985d-7.. 2022. 9. 15. kafka kafka-reassign-partitions.sh를 사용한 파티션 재할당 kafka-reassign-partitions는 아래와 같은 경우 사용된다. 브로커 간의 리더 불균형을 제어 한 브로커에서 다른 브로커로 파티션을 재할당하여 기존 클러스터를 확장 동일한 브로커의 로그 디렉토리 간에 파티션을 재할당하여 브로커에서 사용 가능한 디스크 간의 스토리지 로드 불균형을 해결 여러 브로커의 로그 디렉토리 간에 파티션을 재할당해 여러 브로커에서 스토리지 로드 불균형을 해결 test topic의 partition은 아래와 같이 분산되어 있다. # server01 [root@server01 ~]# ll -d /kafka/kafka-logs/t* drwxr-xr-x. 2 root root 204 Aug 23 07:12 /kafka/kafka-logs/test-2 [root@server01 .. 2022. 9. 13. python fake data (mimesis) https://mimesis.name/en/master/getting_started.html#basic-usage Getting Started — Mimesis 6.0.0 documentation Data Providers Mimesis support over twenty different data providers available, which can produce data related to food, people, computer hardware, transportation, addresses, and more. See API for more info. Warning Data providers are heavy objects since eac mimesis.name mimesis 6.0.0 inst.. 2022. 9. 10. python fake data with multiprocess (Faker) from concurrent.futures import ProcessPoolExecutor import os import threading import time from faker import Faker import csv fake = Faker() csv_save_dir = './save_csv/' worker_count = 5 per_row = 20000 file_name = "test.txt" file_num = list(range(worker_count)) if not os.path.exists(csv_save_dir): os.makedirs(csv_save_dir) def write_fake_data(file_num): csv_file_save_path = os.path.join(csv_save.. 2022. 9. 9. CentOS 7 smtp 서버 구축 centos 7에 smtp 서버를 구축한다. 1. package 설치 yum -y install sendmail sendmail-cf 2. 설정 파일 수정 :set number로 줄번호를 확인 후 수정한다. 118 line의 Addr=0.0.0.0으로 수정 162 line의 hdm2.dd.io는 smtp server의 hostname으로 수정 vi /etc/mail/sendmail.mc 118 DAEMON_OPTIONS(`Port=smtp,Addr=0.0.0.0, Name=MTA')dnl 162 dnl MASQUERADE_AS(`hdm2.dd.io')dnl 3. sendmail.mc를 통해 sendmail.cf 생성 m4 /etc/mail/sendmail.mc > /etc/mail/sendmail.cf .. 2022. 5. 12. 이전 1 ··· 5 6 7 8 9 10 11 다음 반응형
