하하하하하

[Docker] docker: write /DB/tmp/GetImageBlob275657822: no space left on device.

forgiveall — Mon, 25 Oct 2021 12:07:42 +0900

Docker

환경
- CentOS Linux release 7.9.2009 (Core)
- Docker 20.10.5, build 55c4c88

1. Error - 오류

docker: write /DB/tmp/GetImageBlob275657822: no space left on device.

새로운 Docker Image를 불러오는 과정에서 "장치에 남은 저장공간이 없다" 라는 메시지를 받는다.

2. Problem - 문제

용량이 부족합니다.

Docker Image 저장경로의 파티션의 용량이 부족한 상황이 발생.

Docker 이미지(image) 기본 저장경로
```
  /var/lib/docker
```
용량 확인하기
```
  df -h
```

3. Solved - 해결

방법-가) 파티션의 용량을 확보합니다.

방법-나) Image 저장경로의 파티션 용량을 변경하거나

Ref
- https://serverfault.com/questions/771921/how-to-shrink-home-and-add-more-space-on-centos7
- https://knoow.tistory.com/179
예1) Home용량을 줄이고 Root용량 늘리기
1. backup the contents of /home
```
 tar -czvf /root/home.tgz -C /home .
```
2. test the backup
```
 tar -tvf /root/home.tgz
```
3. unmount home
```
 umount /dev/mapper/centos-home
```
4. remove the home logical volume
```
 lvremove /dev/mapper/centos-home
```
5. recreate a new 400GB logical volume for /home, format and mount it
```
lvcreate -L 400GB -n home centos
mkfs.xfs /dev/centos/home
mount /dev/mapper/centos-home
```
6. extend your /root volume with ALL of the remaining space and resize (-r) the file system while doing so
```
 lvextend -r -l +100%FREE /dev/mapper/centos-root
```
7. restore your backup
```
 tar -xzvf /root/home.tgz -C /home
```

방법-다) Image 저장경로를 여유가 있는 파티션영역으로 변경합니다.

Ref
- https://tiqndjd12.tistory.com/60

예1)

image를 저장할 경로를 정합니다.

경로가 없다면 미리 생성합니다.
```
  mkdir /home/docker-images
```

설정파일을 편집합니다.

  sudo vi /lib/systemd/system/docker.service

ExecStart를 정의하는 부분에 --data-root=/home/docker-images/ 옵션을 추가해줍니다.

  ExecStart=/usr/bin/dockerd -g /DB -H fd:// --containerd=/run/containerd/containerd.sock

  ExecStart=/usr/bin/dockerd -g /DB -H fd:// --containerd=/run/containerd/containerd.sock --data-root=/home/docker-images/

docker service를 다시 시작합니다.

 sudo service docker stop

 sudo service docker status

 sudo service docker start

 sudo service docker status

확인합니다.
```
 sudo docker info grep | Root
```

[Groovy] TestAnnotationValue.groovy: -1: Attribute 'shortProp2' should have type 'java.lang.Short'; but found type 'java.lang.Integer' in @test.bug.annotation.TestAnnotation

forgiveall — Sun, 2 May 2021 15:56:00 +0900

Groovy

Bug Report

1. Error - 오류

이전에는 Annotation Interface를 정의 할 때 문제가 발생했었는데 (https://issues.apache.org/jira/browse/GROOVY-6025)

이번 Error는 Annotation을 적용하고 short값을 정의 할 때 문제가 발생한다.

Test해 본 결과, 2.5.4 버전부터 발생하는 것으로 보인다. ㅠ_ㅠ

\\some\\project\\TestAnnotationValue_Groovy.groovy: -1: Attribute 'shortProp2' should have type 'java.lang.Short'; but found type 'java.lang.Integer' in @test.bug.annotation.TestAnnotation

동작하는 버전
- Groovy between 2.1.3 and 2.5.3 (tested by 2.1.3 / 2.4.13 / 2.5.3)
동작하지 않는 버전
- Since Groovy 2.5.4. (tested by 2.5.4 / 2.5.14 / 3.0.8)

2. Problem - 문제

버그 같다. 또는 지원하지 않을 것 같다.

3. Not Solved - 미해결

short을 사용하지 않고 int로 우회해서 사용해야 할 것 같다.

개인적으로 이건 꼭 개선되었으면 해서 Groovy Jira에 찾아가서 report를 남겼다.

Cannot compile when set short value to annotation by already defined short variable since version 2.5.4: https://issues.apache.org/jira/browse/GROOVY-10068

Test Code

Groovy 개발자님들이 해결해주시길 간절하게 바라며..

Test Code를 작성해보았다.

/**
 * 1. Create some annotation.
 */
@Retention(RetentionPolicy.RUNTIME)
public @interface TestAnnotation {

    short shortProp1() default (short) -1;
    short shortProp2() default (short) -1;

    int intProp1() default -1;
    int intProp2() default -1;

    long longProp1() default -1L;
    long longProp2() default -1L;

    boolean booleanProp() default false;

}

/**
 * 2. Create code values for annotation.
 */
public interface TestCode {

    public final static short SHORT_0 = 0;

    public final static short SHORT_1 = 0;

    public final static int INT_0 = 0;

    public final static int INT_1 = 1;

    public final static long LONG_0 = 0L;

    public final static long LONG_1 = 1L;

}

/**
 * 3-1. It all works on Java class
 */
@TestAnnotation(
        intProp1 = 1,
        intProp2 = TestCode.INT_1,
        longProp1 = 1L,
        longProp2 = TestCode.LONG_1,
        shortProp1 = 1,
        shortProp2 = TestCode.SHORT_1,
        intProp3 = TestCode.SHORT_1
)
class TestAnnotationValue_Java {

    Integer objectId;

}

/**
 * 3-2. 'int' and 'long' works on all version of groovy
 *      But 'short' does not works on some groovy version.
 */
@TestAnnotation(
        intProp1 = 1,
        intProp2 = TestCode.INT_1,

        longProp1 = 1L,
        longProp2 = TestCode.LONG_1,

        /**
         * Defining directly
         *  - It always does not works on groovy class
         **/
//        shortProp1 = 1,

        /**
         * [SOLUTION 2.1.3 ~ 2.5.3]  Defining as an already defined short variable
         *  - It works on Groovy between 2.1.3 and 2.5.3 (tested by 2.1.3 / 2.4.13 / 2.5.3)
         *  - But, It does not works since Groovy 2.5.4. (tested by 2.5.4 / 2.5.14 / 3.0.8)
         **/
//        shortProp2 = TestCode.SHORT_1,

        /**
         * [SOLUTION 2.5.4 ~ ..]  Defining as an already defined short variable
         *  - It works since Groovy 2.5.4
         *  - But, It does not works before Groovy 2.5.4.
         **/
        intProp3 = TestCode.SHORT_1
)
class TestAnnotationValue_Groovy {

    Integer objectId

}

4. Reference - 참조

Cannot compile when set short value to annotation by already defined short variable since version 2.5.4: https://issues.apache.org/jira/browse/GROOVY-10068
[Groovy] Error:Groovyc: Attribute 'bar' should have type 'java.lang.Short'; but found type 'java.lang.Object': https://forgiveall.tistory.com/430
Using short, byte, char annotation definition attribute constants should be supported: https://issues.apache.org/jira/browse/GROOVY-6025

[Lettuce] java.lang.ClassNotFoundException: reactor.core.scheduler.Schedulers

forgiveall — Thu, 22 Apr 2021 18:52:47 +0900

Redis

※ 환경
- Spring Boot 1.5.4
- Java 1.8
- Lettuce 5.0.1

1. Error - 오류

Redis 맛 좀 보기 위해서

나의 Spring Boot 1.5.4 Project속 특정 하위 모듈에 io.lettuce:lettuce-core:5.0.1.RELEASE를 Dependencies로 추가해 봤다.

build.gradle

  dependencies {
      ...
      implementation 'io.lettuce:lettuce-core:5.0.1.RELEASE'
      ...
  }

음~ 모듈 테스트는 아주 잘되지만.. bootRun 해보았더니, 다음 Error가 발생하였다.

2021-04-10 17:37:39.857 DEBUG 9792 --- [           main] i.n.util.ResourceLeakDetectorFactory     : Loaded default ResourceLeakDetector: io.netty.util.ResourceLeakDetector@1eb9ab8f
2021-04-10 17:37:39.863 DEBUG 9792 --- [           main] i.netty.util.internal.PlatformDependent  : org.jctools-core.MpscChunkedArrayQueue: available
2021-04-10 17:37:39.915  WARN 9792 --- [      Finalizer] i.l.c.resource.DefaultClientResources    : io.lettuce.core.resource.DefaultClientResources was not shut down properly, shutdown() was not called before it's garbage-collected. Call shutdown() or shutdown(long,long,TimeUnit) 
2021-04-10 17:37:39.962 ERROR 9792 --- [           main] o.s.boot.SpringApplication               : Application startup failed

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'redisConfig': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: reactor/core/scheduler/Schedulers
    at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessBeforeInitialization(InitDestroyAnnotationBeanPostProcessor.java:137) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyBeanPostProcessorsBeforeInitialization(AbstractAutowireCapableBeanFactory.java:409) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1620) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:555) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:483) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractBeanFactory$1.getObject(AbstractBeanFactory.java:306) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:230) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:302) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:197) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:761) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:867) ~[spring-context-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:543) ~[spring-context-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.refresh(EmbeddedWebApplicationContext.java:122) ~[spring-boot-1.5.4.RELEASE.jar:1.5.4.RELEASE]
    at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:693) ~[spring-boot-1.5.4.RELEASE.jar:1.5.4.RELEASE]
    at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:360) ~[spring-boot-1.5.4.RELEASE.jar:1.5.4.RELEASE]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:303) ~[spring-boot-1.5.4.RELEASE.jar:1.5.4.RELEASE]
    at org.springframework.boot.builder.SpringApplicationBuilder.run(SpringApplicationBuilder.java:134) [spring-boot-1.5.4.RELEASE.jar:1.5.4.RELEASE]
    at org.springframework.boot.builder.SpringApplicationBuilder$run.call(Unknown Source) [spring-boot-1.5.4.RELEASE.jar:1.5.4.RELEASE]
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:48) [groovy-2.4.11.jar:2.4.11]
    at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:113) [groovy-2.4.11.jar:2.4.11]
    at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:125) [groovy-2.4.11.jar:2.4.11]
    at com.datastreams.mdosa.boot.Application.main(Application.groovy:53) [main/:na]
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_211]
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_211]
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_211]
    at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_211]
    at com.intellij.rt.execution.CommandLineWrapper.main(CommandLineWrapper.java:64) [idea_rt.jar:na]
Caused by: java.lang.NoClassDefFoundError: reactor/core/scheduler/Schedulers
    at io.lettuce.core.resource.DefaultClientResources.<init>(DefaultClientResources.java:171) ~[lettuce-core-5.0.1.RELEASE.jar:na]
    at io.lettuce.core.resource.DefaultClientResources$Builder.build(DefaultClientResources.java:461) ~[lettuce-core-5.0.1.RELEASE.jar:na]
    at io.lettuce.core.resource.DefaultClientResources.create(DefaultClientResources.java:229) ~[lettuce-core-5.0.1.RELEASE.jar:na]
    at io.lettuce.core.AbstractRedisClient.<init>(AbstractRedisClient.java:96) ~[lettuce-core-5.0.1.RELEASE.jar:na]
    at io.lettuce.core.RedisClient.<init>(RedisClient.java:86) ~[lettuce-core-5.0.1.RELEASE.jar:na]
    at io.lettuce.core.RedisClient.create(RedisClient.java:135) ~[lettuce-core-5.0.1.RELEASE.jar:na]
    at com.datastreams.mdosa.redis.config.RedisCon.redisClient(RedisCon.java:19) ~[main/:na]
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_211]
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_211]
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_211]
    at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_211]
    at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleElement.invoke(InitDestroyAnnotationBeanPostProcessor.java:366) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleMetadata.invokeInitMethods(InitDestroyAnnotationBeanPostProcessor.java:311) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessBeforeInitialization(InitDestroyAnnotationBeanPostProcessor.java:134) ~[spring-beans-4.3.9.RELEASE.jar:4.3.9.RELEASE]
    ... 26 common frames omitted
Caused by: java.lang.ClassNotFoundException: reactor.core.scheduler.Schedulers
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382) ~[na:1.8.0_211]
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[na:1.8.0_211]
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[na:1.8.0_211]
    ... 40 common frames omitted

2. Problem - 문제

SpringBoot는 Vesion 2 부터 Lettuce를 지원한다.

근본적으로 Lettuce 5.0.1 에서는 io.projectreactor:reactor-core:3.1.2.RELEASE를 의존하고 있는데

Spring Boot 1.4 또는 1.5에서 낮은 버전의 동일 의존성(io.projectreactor:reactor-core:2.0.8.RELEASE)을 가지고 있기 때문에

충돌이 일어나서 낮은 버전을 참조하고 있기 때문이다.

build.gradle

  dependencies {
      ...
      implementation 'io.lettuce:lettuce-core:5.0.1.RELEASE'
      ...
  }

3. Solved - 해결

[방법 가]. Spring Boot 2로 업그레이드

Spring Boot 2 부터 Lettuce를 지원한다 하니 해당 버전을 사용하는 것이 더 바람직 하겠다.

build.gradle
```
  dependencies {
      ...
      implementation "org.springframework.boot:spring-boot-starter-data-redis:${spring_boot_version}"
      ...
  }
```
- 따로 Jedis와 다르게 Lettuce는 의존성 따로 명시 하지 않아도 된다고 하는데.. (나중에 해보고 다시 적겠다.)

[방법 나]. 강제 명시

당신의 Main 모듈에서 강제로 의존성을 걸어 주어야 한다.

build.gradle

  dependencies {
      ...
      implementation "io.projectreactor:reactor-core:3.1.2.RELEASE"
      ...
  }

4. Reference - 참조

Introduction to Lettuce – the Java Redis Client: https://www.baeldung.com/java-redis-lettuce
NoClassDefFoundError: reactor/core/scheduler/Schedulers: https://github.com/mokies/ratelimitj/issues/10#issuecomment-349818518
java.lang.ClassNotFoundException: reactor.core.scheduler.Schedulers: https://github.com/lettuce-io/lettuce-core/issues/801#issuecomment-397693617

[Kafka] 시작

forgiveall — Tue, 20 Apr 2021 14:45:59 +0900

Kafka

큰 인프라의 개발환경을 경험하는 개발자가 아니지만, 어찌저찌 Kafka를 구축하는 Project를 경험하였다.

자료와 정보를 얻기가 정말 힘들었고 혼란도 많았지만.. 나름대로 내용을 간단히 정리해 보았다.

1. Kafka 소개

1-1. 개요

LinkedIn 개발자들이 만들었다.
고가용성, 확장성, 고성능, 분산 데이터 스트리밍 플랫폼
- ※ 고가용성(高可用性, HA, High Availability): 시스템이 상당히 오랜 기간 동안 지속적으로 정상 운영이 가능한 성질 (Wiki)
- ※ 확장성(Scale-Out): 장비를 추가해서 확장하여 성능을 향상시키는 방식
Loosely Coupled, FileSystem
구독-발행 모델의 메세지 큐 (Pub-Sub Model Message Queue)

1-2. 요약

[Producer] ==> (Zookeeper:[Kafka-Sever],[Kafka-Sever]...) ==> [Consumer]
- Zookeeper: '분산 코디네이션 서비스'를 제공하는 오픈소스 프로젝트로서, Kafka는 Zookeeper로 클러스터를 구성한다. 단일 구성시에도 필수.
- Broker: Topic(주제) 단위로 Message들을 관리합니다.
- Topic(주제): 1개 이상으로 구성된 Partition에 분산되어 Message가 저장되게 하는 논리 단위.
- Producer: 특정 Topic에 Message들을 Publish(발행)한다. Message는 각 Partition에 나뉘어 저장된다.
- Consumer: Topic을 Message들을 Subscribe(구독)한다. 성공적으로 읽어갈 때마다 Partition 내의 Offset(위치)를 Commit한다. 다시 Topic에 접근할 때는 해당 Offset 정보를 통해 이어서 읽어 갈 수 있다.
- Consumer Group: 1개의 Topic에 대응하는 Consumer가 Publish 속도 등에 균형을 맞추기 위해 Consumer 확장 기능.
- Rebalance: Consumer Group에 Consumer가 추가/삭제될 때, 소유권 이동이 발생하는 현상
Replication: 장애에 대비하여 데이터 유실을 방지, 지속적인 서비스를 제공하기 위해 구성
- Topic 단위로 Replication Factor를 지정한다. 지정한 수 만큼 Broker에 복제한다.
- 내부적으로는 Partition 별로 복제한다.
- ISR(In Sync Replica): Replication Group을 의미. 1개의 Leader와 여러개의 Follower로 구성한다.
  - Leader:
    - Leader를 통해서만 읽기/쓰기 작업이 진행된다. 장애가 발생되어도 정상인 Broker가 있다면, 새로운 Leader Broker가 선출된다.
    - Leader는 주기적으로 Follower를 감시하고, 일정시간 동안 반응이 없다면 ISR 그룹에서 추방한다.
  - Follower:
    - Leader의 data를 그대로 복제한다.
    - Leader의 data와 같은 형상을 유지하기 위해 짧은 주기로 동기화합니다.

2. Kafka 환경

2-1. 필수

OS: Linux / Windows
JDK: Kafka 버전별 호환되는 JDK 버전을 확인!
- 대체로 Java8 이 일반적. (2021년 4월 기준)
- 2.0.0 부터는 Java7 중단.
- 2.1.0 부터는 Java11 지원.
- ※ Confluent Platform을 사용자 참조: https://docs.confluent.io/platform/current/installation/versions-interoperability.html

2-2. 필요성

Kafka 사용전, 먼저 어떤 Data(Message)를 취급할 것인가를 확인!

A) 단순 Log Data인가?
- Log성 누적 정보인가?
B) 식별 Data인가?
- 날짜 Data가 포함된 Message인가?
- 순차적 숫자 Data가 포함된 Message인가?
C) 변경사항 Data인가?
- 변경 Data가 포함된 Message인가?

2-3. 제품

Web상에서 정보검색시, 혼란스럽지 않도록 알아야 할 몇몇 솔루션 알기.

'Apache Kafka'와 'Confluent Platform으로 구성된 Kafka'의 구성과 설정이 조금은 상이할 수 있기에 유의해야 한다.

2-3-1. Apache Kafka

OpenSource로 개발되고 있다.

-	-
URL	http://kafka.apache.org/
Download	https://kafka.apache.org/downloads
License	APACHE LICENSE, VERSION 2.0
Quick Start	local

2-3-2. Confluent Platform

Apache Kafka를 활용하여, Confluent 사에서 다양한 기능과 솔루션을 제공하고 있다.

무료 Community License로도 여러 Connector와 편리한 도구를 제공하고 있다.

-	-
URL	https://www.confluent.io/get-started/#confluent-platform
Download	https://www.confluent.io/get-started/#confluent-platform
License	https://docs.confluent.io/platform/current/installation/license.html
Quick Start	docker, local / docker(ce), local(ce)

※ 종류
- Develop License: 클러스터 당 1개의 Broker만 사용하는 전제로 플랫폼의 모든 기능을 사용 가능.
- Trial License: 30일 체험판 기간동안 모든 기능을 사용 가능.
- Enterprise License: 모든 기능 사용 가능.
- Community License: 내장된 Connector와 Confluent Hub의 몇몇 Connector, REST Proxy, ksqlDB, Schema Registry 등을 사용 가능.

2-3-3. Debizium

Apache Kafka에 변경사항만 전송할 수 있도록, DB의 CDC기능을 이용한 Kafka-Connector(Source) 를 제공하고 있다.

(단, Source DB에 대한 관리권한 등이 없거나 CDC 기능을 사용할 수 없다면 적용이 어려울 수 있다.)

-	-
URL	https://debezium.io/
Download	https://debezium.io/releases/
License	APACHE LICENSE, VERSION 2.0
Quick Start	docker

※ 참고
- CDC(Change Data Capture) 오픈 소스 Debezium 쓸까? 말까?: https://www.sosconhistory.net/soscon2019/content/data/session/Day%202_1730_2.pdf
- Streaming data changes in MySQL into ElasticSearch using Debezium, Kafka, and Confluent JDBC Sink Connector: https://medium.com/dana-engineering/streaming-data-changes-in-mysql-into-elasticsearch-using-debezium-kafka-and-confluent-jdbc-sink-8890ad221ccf

3. Kafka 체험

Kafka 팀에서 제공해주는 친절하고 이해하기 쉬운 예제가 있다.

원문 링크와 함께 개인적으로 간결히 재정리 하였다.

예제 - Quick Start
- 원문: http://kafka.apache.org/quickstart
- 환경:
  - Linux / Windows
  - Kafka 2.7.0
  - Java 8 버전 이상
  - 9092 Port
  - 터미널 4개
- 구성:
  - bin/zookeeper-server-start.sh:
  - bin/kafka-server-start.sh
  - bin/kafkac-topic.sh
  - bin/kafkac-console-producer.sh
  - bin/kafkac-console-consumer.sh
  - ※ Windows에서 실행시 bin/{FILE}.sh이 아니라 bin/windows/{FILE}.bat를 이용한다. - 예) bin/windows/zookeeper-server-start.bat

3-1. Kafka 환경 설치

Download:
- https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Extract
```
  tar -xzf kafka_2.13-2.7.0.tgz
```

3-2. Kafka 환경 실행

Run

  cd kafka_2.13-2.7.0
  bin/zookeeper-server-start.sh config/zookeeper.properties
  bin/kafka-server-start.sh config/server.properties

※ zookeeper와의 의존성을 제거하려는 움직임이 있는 듯 하지만 아직은 실행이 필요하다.

3-3. Kafka에 Topic 생성

Create Topic

  bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

Check Topic

  bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

3-4. console-producer와 console-consumer로 data를 Topic에 쓰기/읽기

kafka-console-producer 실행

  bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

아무 글이나 입력해 본다.
```
  hello kafka!?
```
kafka-console-consumer 실행
```
  bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
```
- ※ --from-beginning 옵션으로 topic에 기존에 입력되었던 data를 실행과 함께 출력한다.
- 실행과 함께 출력된 Message
```
 hello kafka!?
```
추가적으로 kafka-console-producer창에 가서 아무 말이나 더 입력해보면, 바로 kafka-console-consumer에 출력되는 것을 볼 수 있다.

3-5. Stop all

다음 순으로 [CTRL] + [C]로 종료.

kafka-console-producer
kafka-console-consumer
kafka-server-start
zookeeper-server-start

3-6. Remove data

FileSystem에 저장된 data까지 지우고 싶다면, 다음 2 경로를 제거한다.
- /tmp/kafka-logs
- /tmp/zookeeper
예)
```
  rm -rf /tmp/kafka-logs /tmp/zookeeper
```
※ Windows의 경우 실행한 드라이브의 Root에 생성되어 있다.
- C:\\tmp\\kafka-logs
- C:\\tmp\\zookeeper

4. Kafka API

Kafka 팀에서 다음 API를 제공해주고 있다.

INTRODUCTION: http://kafka.apache.org/intro#intro_apis
API 종류
- Producer API: 여러 topic에 Event Stream을 publish(쓰기) 처리.
- Consumer API: 여러 topic을 subscribe(읽기)하고 produce된 Event Stream을 처리.
- Streams API: transformations(변환), aggregations(집계) 및 joins(병합), windowing, 이벤트 시간 기반 처리 등.. Event Stream을 처리하는 higher-level functions을 제공.
- Connect API: 외부시스템/애플리케이션에서 Event Stream을 읽기/쓰기, Data 가져오기/내보내기. 그러나 Kafka 커뮤니티에서 이미 즉시 사용할 수있는 수백 개의 커넥터를 제공 중..
- Admin API: Topic, Broker 및 Kafka객체를 관리/검사.

5. Reference

CDC(Change Data Capture) 오픈 소스 Debezium 쓸까? 말까?: https://www.sosconhistory.net/soscon2019/content/data/session/Day%202_1730_2.pdf
Streaming data changes in MySQL into ElasticSearch using Debezium, Kafka, and Confluent JDBC Sink Connector: https://medium.com/dana-engineering/streaming-data-changes-in-mysql-into-elasticsearch-using-debezium-kafka-and-confluent-jdbc-sink-8890ad221ccf
[Kafka] #1 - 아파치 카프카(Apache Kafka)란 무엇인가?: https://soft.plusblog.co.kr/3
[Kafka] #2 - 아파치 카프카(Apache Kafka) 설치 및 실행, Quickstart: https://soft.plusblog.co.kr/4
APACHE KAFKA QUICKSTART: http://kafka.apache.org/quickstart
Supported Versions and Interoperability: https://docs.confluent.io/platform/current/installation/versions-interoperability.html
내부 데이터 파이프라인에 Kafka Streams 적용하기: https://engineering.linecorp.com/ko/blog/applying-kafka-streams-for-internal-message-delivery-pipeline/
[Kafka 101] 카프카 메시지와 토픽과 파티션 (Kafka Message, Topic and Partition): https://always-kimkim.tistory.com/entry/kafka101-message-topic-partition
kafka 설정을 사용한 문제해결: https://saramin.github.io/2019-09-17-kafka/
[번역] 카프카 컨슈머 소개: 새 아파치 카프카 0.9 컨슈머 클라이언트 시작하기: https://free-strings.blogspot.com/2016/05/09.html
[카프카(Kafka) 어플리케이션 제작 ] #2. 컨슈머: https://team-platform.tistory.com/37
Kafka 이해하기 - 카프카의 구성요소, 동작원리, Exactly-delivery-once 모델 차용: https://medium.com/@umanking/%EC%B9%B4%ED%94%84%EC%B9%B4%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0-%ED%95%98%EA%B8%B0%EC%A0%84%EC%97%90-%EB%A8%BC%EC%A0%80-data%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0%ED%95%B4%EB%B3%B4%EC%9E%90-d2e3ca2f3c2
Kafka Replication (복제): https://goodgid.github.io/Kafka-Replication/
[Kafka] Zookeeper: 분산 애플리케이션을 관리하는 코디네이션 시스템: https://ooeunz.tistory.com/113
[kafka][용어정리] ISR : In Sync Replica: https://log-laboratory.tistory.com/234?category=1109284

[Kafka] 오류: 기본 클래스 org.apache.zookeeper.server.quorum.QuorumPeerMain을(를) 찾거나 로드할 수 없습니다

forgiveall — Tue, 20 Apr 2021 14:07:18 +0900

Kafka

1. Error - 오류

오류: 기본 클래스 org.apache.zookeeper.server.quorum.QuorumPeerMain을(를) 찾거나 로드할 수 없습니다

2. Problem - 문제

Windows(윈도우)용 실행파일은 따로 있다.

3. Solved - 해결

bin/{FILE}.sh이 아니라 bin/windows/{FILE}.bat를 이용한다.

예)
- bin/zookeeper-server-start.sh ==> bin/windows/zookeeper-server-start.bat
```
  bin/windows/zookeeper-server-start.bat
```
- bin/kafka-server-start.sh ==> bin/windows/kafka-server-start.bat
- bin/kafka-topic.sh ==> bin/windows/kafka-topic.bat
- bin/kafka-console-producer.sh ==> bin/windows/kafka-console-producer.bat
- bin/kafka-console-consumer.sh ==> bin/windows/kafka-console-consumer.bat

4. Reference - 참조

Windows에서 Apache Kafka 오류-주 클래스 QuorumPeerMain을 찾거나로드 할 수 없습니다: https://www.javaer101.com/ko/article/14155627.html

in a nutshell?

forgiveall — Tue, 20 Apr 2021 12:23:12 +0900

간단히 말해서

예1)

How does Kafka work in a nutshell?

카프카는 간단히 말해서 어떻게 작동합니까?

[Kafka] windows10 kafka-tool 오류..

forgiveall — Mon, 19 Apr 2021 14:23:02 +0900

Kafka

Kafka-Tool

1. Error - 오류

[2020-10-20 22:18:22,415] WARN The configuration 'metrics.context.connect.kafka.cluster.id' was supplied but isn't a known config. (org.apache.kafka.clients.producer.ProducerConfig)
[2020-10-20 22:18:22,416] WARN The configuration 'metrics.context.connect.group.id' was supplied but isn't a known config. (org.apache.kafka.clients.producer.ProducerConfig)
[2020-10-20 22:18:23,231] WARN [Producer clientId=connector-producer-test_001-0] Error while fetching metadata with correlation id 3 : {test_001_DOBJ_LOG=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

2. Problem - 문제

Bug: https://issues.apache.org/jira/browse/KAFKA-7020

Windows10(윈도우10)에서 Kafka 모니터링&관리 도구인 Kafka Tool로 topic을 하나 지웠더니 발생했다.

3. Solved - 해결

Kafka 다 끄고
c:\tmp\에 자동으로 kafka-logs 와 zookeeper 폴더가 생겨있는데 이를 2개 다 지우자.

p.s 또한, 애시당초 Windows에서의 구축은 불안정할 수 있다. Linux를 이용하랏 ~

4. Reference - 참조

AccessDeniedException when deleting a topic on Windows Kafka: https://stackoverflow.com/questions/50755827/accessdeniedexception-when-deleting-a-topic-on-windows-kafka?rq=1

[Spark] on Windows 10 - 윈도우10에서 스파크 실행 시 필수 설정.

forgiveall — Sun, 18 Apr 2021 14:32:23 +0900

Spark

Spark on Windows 10

Windows 환경에서 Spark를 사용할 때, HDFS 관련된 오류가 발생한다.

Windows에서는 winutils.exe 파일을 다운로드하여 특정위치에 위치시키고

HADOOP_HOME 환경변수를 설정해야하는 수고로움이 필요하다.

1. Error - 오류

Windows 에서 Spark를 실행시 다음 오류가 발생한다.

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:382)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:397)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:390)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)
    at org.apache.hadoop.security.SecurityUtil.getAuthenticationMethod(SecurityUtil.java:611)
    at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:274)
    at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:262)
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:807)
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:777)
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:650)
    at org.apache.spark.util.Utils$.$anonfun$getCurrentUserName$1(Utils.scala:2412)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2412)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:303)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2555)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$1(SparkSession.scala:930)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:921)
    at com.tutorial.spark.SimpleApp.main(SimpleApp.java:10)

2. Problem - 문제

...

3. Solved - 해결

Download winutils.exe to C:\hadoop\bin.
- https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe
Set Environment Variable
- HADOOP_HOME
```
  C:\hadoop
```
- Path
```
  %HADOOP_HOME%\bin
```
run CMD or PowerShell with Privilige

4. Reference - 참조

How To Install Apache Spark On Windows 10: https://phoenixnap.com/kb/install-spark-on-windows-10
Problems running Hadoop on Windows: https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems
winutils/hadoop-2.7.1/bin/: https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin
윈도우에서 spark-shell 실행하기: https://javacan.tistory.com/entry/%EC%9C%88%EB%8F%84%EC%9A%B0%EC%97%90%EC%84%9C-sparkshell-%EC%8B%A4%ED%96%89%ED%95%98%EA%B8%B0
아파치 스파크 (Apache Spark) 설치 - Window 10 환경: https://alphahackerhan.tistory.com/9

[Windows 10] 에어팟(AirPods) 윈도우에 연결하기

forgiveall — Sun, 18 Apr 2021 13:01:34 +0900

Windows 10

에어팟(AirPods) 윈도우에 연결하기

Windows PC와 페어링될까?

애플제품이 자신들기기에 워낙 의존적이라 안될 줄만 알았는데! 웬걸!! ... 된다!!! ㅎㅎㅎ

아싸뵹! 나의 노트북(Gram)과 에어팟(AirPods Pro)를 연결하니 개꿀이다! :D

Bluetooth가 가능하다면 연결이 된다.

한번 연결시키면, 다른 기기로 연결 전환도 어렵지 않다

1. Windows '`설정`' 하기

설정을 연다. (단축키: [Win Key] + [I] )
[장치]를 선택한다.
[Bluetooth 및 기타 디바이스]를 선택한다.
'Bluetooth'를 '켬'
상단의 [Bluetooth 또는 기타 장치 추가]를 눌러 '디바이스 추가' 팝업이 열리면 Bluetooth를 선택한다.
에어팟의 덮개를 열고, 뒷면의 동그란 버튼을 꾸우우우~우욱 길게 누르고 있으면, 반대편 정면에 알림등이 하얗게 빛이난다.
목록에 나타나면 선택하고 [완료]한다.

2. 재연결

다시 스마트폰(휴대폰)과 연결하려면 ???

해당 기기 [설정]의 [블루투스] 메뉴에 가서 간단히 연결시킨다.

다시 윈도우와 연결하려면 ???

윈도우의 [설정] > [장치] > [Bluetooth 및 기타 디바이스]을 열고 오디오란에 나타난 AirPods의 [연결] 버튼을 누른다.

3. Reference - 참조

How To : 에어팟과 에어팟 프로를 윈도우 10과 페어링하는 방법: https://www.itworld.co.kr/news/153333
AirPod를 Windows 10에 연결하는 방법 (간단한 단계): https://soundartifacts.com/ko/how-to/316-how-to-connect-airpods-to-windows-10-in-simple-steps.html
How to pair Apple AirPods with your Windows 10 PC in less than a minute: https://www.cnet.com/how-to/how-to-pair-apple-airpods-with-your-windows-10-pc-in-less-than-a-minute/

[Windows] 모니터에서 사라진 창 끄집어내기

forgiveall — Wed, 14 Apr 2021 00:25:08 +0900

Windows

2021년도 4월.. Windows 10에서 아직도 이런 현상이 있다니 ㅠㅠ

캐당황..

1. 모니터에서 안보이는 창

분명 작업표시줄을 보니 프로그램은 켜진 것 같은데..

모니터상에서는 보이지가 않는다..

모니터 밖 어딘가 있는 거 같은데.. 어딨는건지..

창을 복구 하고 싶은데.. 어떻게 해야하는 건지..

2. 끄집어내자!

숨겨진 프로그램을 작업표시줄에서 선택하거나 [Alt] + [Tab] 으로 선택한다.
먼저 [Win Key] + [방향키] 로 모니터 안으로 돌아오도록 조정해본다.

3. 그래도 안나온다고!!?

다시 프로그램을 선택하고 [Alt] + [Space] 를 누르면 창 크기 및 위치에 대한 컨텍스트 박스가 뜬다.
여기서 급하면 최대화(X)로 빠르게 화면에 보이게 띄울 수는 있을 것이다.
- 하지만, 다시 프로그램을 사용할 때 곤혹스러울 수 있다.
이동(M)을 선택하면 마우스가 해당 창의 상단으로 이동된다.
- 화면에서 보이지 않겠지만, 조심스럽게 처음엔 마우스를 움직이지 말고 왼쪽 버튼을 꾸욱눌러 드래그를 하면서 움직여보자.
- 또는 방향키로 움직여서 끄집어낼 수 있다.

도전!?

4. Reference

화면에서 사라진 창 이동시키기, 모니터 밖에 있는 창 보이게하기, 스크린 밖에 있는 창 복구: https://neweducation2.tistory.com/2090

하하하하하

[Docker] docker: write /DB/tmp/GetImageBlob275657822: no space left on device.

Docker

1. Error - 오류

2. Problem - 문제

3. Solved - 해결

방법-가) 파티션의 용량을 확보합니다.

방법-나) Image 저장경로의 파티션 용량을 변경하거나

방법-다) Image 저장경로를 여유가 있는 파티션영역으로 변경합니다.

[Groovy] TestAnnotationValue.groovy: -1: Attribute 'shortProp2' should have type 'java.lang.Short'; but found type 'java.lang.Integer' in @test.bug.annotation.TestAnnotation

Groovy

1. Error - 오류

2. Problem - 문제

3. Not Solved - 미해결

Test Code

4. Reference - 참조

[Lettuce] java.lang.ClassNotFoundException: reactor.core.scheduler.Schedulers

Redis

1. Error - 오류

2. Problem - 문제

3. Solved - 해결

[방법 가]. Spring Boot 2로 업그레이드

[방법 나]. 강제 명시

4. Reference - 참조

[Kafka] 시작

Kafka

1. Kafka 소개

1-1. 개요

1-2. 요약

2. Kafka 환경

2-1. 필수

2-2. 필요성

2-3. 제품

2-3-1. Apache Kafka

2-3-2. Confluent Platform

2-3-3. Debizium

3. Kafka 체험

3-1. Kafka 환경 설치

3-2. Kafka 환경 실행

3-3. Kafka에 Topic 생성

3-4. console-producer와 console-consumer로 data를 Topic에 쓰기/읽기

3-5. Stop all

3-6. Remove data

4. Kafka API

5. Reference

[Kafka] 오류: 기본 클래스 org.apache.zookeeper.server.quorum.QuorumPeerMain을(를) 찾거나 로드할 수 없습니다

Kafka

1. Error - 오류

2. Problem - 문제

3. Solved - 해결

4. Reference - 참조

in a nutshell?

[Kafka] windows10 kafka-tool 오류..

Kafka

Kafka-Tool

1. Error - 오류

2. Problem - 문제

3. Solved - 해결

4. Reference - 참조

[Spark] on Windows 10 - 윈도우10에서 스파크 실행 시 필수 설정.

Spark

Spark on Windows 10

1. Error - 오류

2. Problem - 문제

3. Solved - 해결

4. Reference - 참조

[Windows 10] 에어팟(AirPods) 윈도우에 연결하기

Windows 10

에어팟(AirPods) 윈도우에 연결하기

1. Windows '설정' 하기

2. 재연결

다시 스마트폰(휴대폰)과 연결하려면 ???

다시 윈도우와 연결하려면 ???

3. Reference - 참조

[Windows] 모니터에서 사라진 창 끄집어내기

Windows

1. 모니터에서 안보이는 창

2. 끄집어내자!

3. 그래도 안나온다고!!?

4. Reference

1. Windows '`설정`' 하기