본문 바로가기

분류 전체보기95

nifi updaterecord로 oracle nvl, ms coalesce 함수 사용하기 nifi updaterecord로 특정 column의 값이 null 일 경우 다른 값으로 대체하는 작업을 수행해봄 또한 "yyyy-MM-ddTHH:mm:ssZ" format의 문자열을 yyyy-MM-dd HH:mm:ss로 변환하고 9시간을 더해봄 apache nifi 1.9.2와 cloudera cfm nifi 1.13.2 버전에서 테스트하였음. GenerateFlowFile을 사용해 테스트 데이터를 생성함. a,b 2022-03-03T08:15:00Z,testString 2022-03-03T08:15:00Z, apache nifi 1.9.2 apache nifi 1.9.2에서는 coalesce function을 지원하지 않는 것으로 파악된다. 결국 UpdateRecord를 2번 쓰는 방법으로 coale.. 2022. 3. 4.
nifi mergerecord로 여러 개의 flowfile 하나로 병합하기 nifi mergerecord는 schema가 동일한 여러 개의 flowfile을 하나로 병합해주는 프로세서로, csv, json, avro format 모두에서 사용 가능하다. header가 다르면 merge하지 못함. 여러가지 테스트 케이스를 통해 동작원리를 파악해보려고함 generateflowfile1의 Custom Text test1,test2,test3 a,b,c generateflowfile1의 Custom Text test1,test2,test3 a1,b1,c1 generateflowfile1의 Custom Text test1,test2,test3 a2,b2,c2 TEST CASE 1 mergerecord의 config를 default값으로 두고 generateflowfile1, 2, 3을 .. 2022. 3. 2.
nifi invokehttp로 ssl 적용된 https 페이지에서 데이터 가져오기 nifi inovokehttp로 ssl 적용된 https에 접근하는 방법 개방된 네트워크에서는 https에 별다른 설정없이 붙긴 하는 데 사설 인증서를 쓰는 경우 종종 안 붙는 경우가 있어서 정리함 제대로 설정하지 않으면 아래와 같은 error log가 발생함 Yielding processor due to exception encountered as a source processor: javax.net.ssl.SSLHandshakeException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested targ.. 2022. 3. 1.
nifi template 보호되어 있는 글 입니다. 2022. 2. 27.
NIFI QUEUE MONITORING (use controller service) template : https://kyeongseo.tistory.com/entry/nifi-template 특정 프로세서에서 bottleneck이 걸려 flowfile이 몰려있는 경우 slack으로 메시지를 보낼 수 있도록 함 [전체 flow] [flow 설명] queryrecord json에서 필요한 정보만 parsing함 backpressure가 활성화된 connection만 parsing mergerecord 중요) queryrecord와 mergerecord 사이의 connection은 반드시 single node로 setting해줘야함. 모든 flowfile이 하나의 node로 가야 제대로 merge된다. flowfile이 노드 수만큼 생성된다. 중복제거를 위해 flowfile을 모두 합쳐준다.. 2022. 2. 26.
반응형

티스토리툴바