- java설치 $ sudo apt-get install openjdk-17-jdk - 카프카 다운로드 $ wget https://downloads.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz (https://downloads.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz) - 카프카 실행 $ ./kafka_2.13-3.5.0/bin/zookeeper-server-start.sh ./kafka_2.13-3.5.0/config/zookeeper.properties $ ./kafka_2.13-3.5.0/bin/kafka-server-start.sh ./kafka_2.13-3.5.0/config/server.properties $ ./kafka..

설정 및 서비스 등록 ** 노드 설치, nvm 설치 후 진행 $ whiche node /usr/local/bin/node $ vi server.js # 실행할 js파일에 사용할 노드 명시 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ #!/usr/local/bin/node ... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ $ sudo vi /etc/systemd/system/nodesearch.service ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ [Unit] Description=node server [Service] WorkingDirectory=/home/ubuntu/node/sear..

Local 1. Anaconda 설치 2. 아래 순서대로 진행 # 작업디렉토리 생성 $ mkdir pythonSearch $ cd pythonSearch $ python -m venv venv-ha $ cd venv-ha $ cd bin $ source ./activate (venv-ha) $ pip install sqlalchemy (venv-ha) $ pip install psycopg2 # 라이브러리 관리 $ pip freeze requirements.txt $ pip install -r requirements.txt 3. IDE 에서 해당 venv 로 프로젝트 오픈 4. 인터프리터 구성에 들어가서 파이썬 모듈을 {venv위치}/bin/python 을 선택 후 적용 Linux Ubuntu 1. ve..

1. https://nifi.apache.org/download.html 에서 Apache NiFi Binary 1.21.0 [OpenPGP] [SHA-256] [SHA-512] 클릭 후 다운로드 2. 압축 해제 3. {nifi 설치파일경로}/bin/nifi-env.sh 에서 JAVA_HOME 경로 설정 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home 4. User/Password 정보는 {nifi 설치파일경로}/logs/nifi-app.log 파일에서 Username 검색. 5. 실행 및 종료 ./{nifi 설치파일경로}/bin/nifi.sh start # 종료 : stop 6. https://localhost:84..

1. 개요 * 기존 ELK( Elasticsearch, Logstash, Kibana ) * NiFi 를 이용하여 Data Lake 를 구축 - DFM( Data Flow Management ) * nar 파일을 이용하여 컴포넌트 생성 * 설치가 반이다. - Elastic Search 는 러닝커버가 제로! - Elastic Search * 10 > Sola // -> 구글기반에서 많이 사용됨 - Apache Lucene 기반의 JAVA 오픈소스 분산 검색엔진 - 역인덱스, 데이터를 컬럼을 모두 쪼개어서 단어에 인덱스를 부여하고 문서를 매핑시킴 - scoreing, bool, should (포함되었으면 좋겠는), must(반드시 포함되어야하는), ..._not - 쿼리에서 우선순위를 결정할 수 있음 - ..