zeroco2

클러스터 : 물리적인 노드 인스턴스들의 모임이다. 클러스터는 모든 노드의 검색과 색인 작업을 관장하는 논리적인 개념이다. RDB에서는 모든 요청을 서버 하나에서 처리하지만, ES의 경우 다수의 서버로 분산해서 처리하는 것이 가능해서 대용량 데이터를 처리할 수 있다. 이렇게 대용량을 분산 처리 하기 위해 다양한 형태의 노드들을 조합해서 클러스터를 구성해야 하는데, 기본적으로 "마스터 노드" 가 전체적인 클러스터를 관리하고, "데이터 노드"가 실제 데이터를 관리한다. ES는 설정 에 따라 4가지 유형의 노드를 제공한다. 마스터 노드(Master Node) - 클러스터를 상태 관리 - 노드 추가와 제거 같은 클러스터의 전반적인 관리를 한다. - 메타 데이터 관리 Index 생성, 삭제 등 클러스터 관련된 전반..

ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];] 인덱스 setting 확인 > GET my_index/_settings { "my_index": { "settings": { "index": { "refresh_interval": "5s", "number_of_shards": "1", "blocks": { "read_only_allow_delete": "true" }, "provided_name": "my_index", "creation_date": "1586831203626", "number_of_replicas": "0", "uuid": "", "version": { "created": "603..

POST /ma_customer_coupon/_delete_by_query { "query": { "match_all": {} } }

term : 정확하게 맞는 검색어 질의 match : 검색어 분석후 질의 match_phrase : 검색어 분석후 질의 0.terms(복수개의 term 검색) { "query": { "bool": { "filter": [ { "bool": { "must": [ { "terms": { "tagInfo.tags": [ "냉장고" ] } } ] } } ] } } } 0-1.terms고 검색한 내용중 userId로 집계(aggregation) { "from": 0, "size": 0, "query": { "bool": { "filter": [ { "bool": { "must": [ { "terms": { "tagInfo.tags": [ "냉장고" ] } } ] } } ] } }, "aggs": { "group_..

빅데이터 파이프라인을 복잡하게 구축한 회사에서는 엘라스틱 서치를 어떻게 사용할까? 어떻게 사용하는지 알아보겠다. 1. 우버에서 "가이로스" 실시간 데이터 통찰 플랫폼의 사용 우버에서 "가이로스"를 통해 가격 책정, 최대 도착예정시간 계산, 수요/공급 예측 을 한다. Kafka와 Hadoop생태계(HDFS/Hive/Presto)를 연계하여 실시간 분석과 장기적 분석을 지원하여, 동적인 가격 정책과 환경 친화적인 운전 경로를 운전자에게 제공하도록 하고 있다. 아래 그림을 보면, 카프카 토픽을 통해 데이터를 받아 파이프라인을 거쳐 분석대상 데이터가 엘라스틱 서치에 저장되며, 고객의 질의가 가이로스 질의 서비스를 거쳐 엘라스틱의 검색/집계 쿼리를 활용하도록 한다. 장기적인 데이터 분석으로 위해 HDFS에 백업되..

이전까지는 ELK 스택이 검색엔진을 만들기 위해 쓰는 스택인줄 알았다. 하지만 새로운 환경에서 업무를 진행하게되는 상황이 생겼다. 여기의 Data Pipeline은 스크립트를 통해 고객 행동을 Logstash를 통해 수집하고 log를 적재한다. 그리고 그 로그를 kafka를 통해 Elasticsearch Cluster에 저장한다. 그 저장한 Elasticsearch 에 저장된 데이터를 Hadoop에 백업 하여 데이터 분석을 하는 로직으로 구성이된다. 이런 상황에서 ELK스택에 대한 학습이 필수적이다고 생각하여 ELK 스택에 대해서 공부하기로 하였다. 검색엔진이 아닌 빅데이터 플랫폼에서 사용하는 것을 기준으로 학습을 하려 한다. 어떤점에서 ELK가 쓰이는지, 왜 써야되는지 다른 대안이 있다면 무엇인지 알아..