728x90 DataBase/Clickhouse5 [ClickHouse] 클릭하우스 Memory exceeded 클릭하우스 메모리 초과 클릭하우스의 데이터가 많고 쿼리 조회량이 많아 지는 경우 다음과 같은 에러가 발생 할 수 있다. DB::Exception: Memory limit (for query) exceeded: would use 18.64 GiB (attempt to allocate chunk of 4227918 bytes), maximum: 18.63 GiB 클릭 하우스의 Maxmum Memory 계산법 max_server_memory_usage 는 아래와 같은 공식으로 정해진다 max_server_memory_usage = max_memory_usage * max_server_memory_usage_to_ram_ratio max_memory_usage 는 기본 적으로 10GB 로 환경설정 파일에 정의 .. 2024. 1. 20. [ClickHouse] ORDER BY, PARTITION BY, Granules 적용기 ORDER BY, PARTITION BY 먼저 각각의 기능에 대해 알아보자. Table 생성시 적용가능한 옵션들 테이블 생성시 아래와 같은 필수값과 옵션을 줄수 있다. 우리는 그중 ORDER BY 와 PARTITION BY 를 보자 다른 옵션값에 대란 자세한 사항은: https://vprog1215.tistory.com/392 해당글 참고 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( ) ENGINE = MergeTree() ORDER BY expr [PARTITION BY expr] [PRIMARY KEY expr] [SAMPLE BY expr] [TTL expr [DELETE|TO DISK 'xxx'|TO VOLUME 'xxx.. 2023. 8. 30. [ClickHouse] 클릭하우스 클러스터 구축 클러스터 구축 클릭하우스를 이용하여 클러스터를 구축해보자. 클러스터란? 데이터베이스 클러스터링은 하나의 데이터 베이스를 두개 이상의 서버또는 인스턴들을 구성하는 것을 얘기한다. 클러스터의 메인 특징 Data redundancy - 데이터 이중화 Load balancing - 트래픽을 균등하게 나눠준다. High availability - 데이터 베이스가 사용가능한 시간 Monitoring and automation. - 모니터링 및 자동화 클릭하우스 클러스터 구축하기 (리플리케이션) 아래와 같이 클러스터를 구축할 예정이다. 두개의 서버 CH_NODE1 과 CH_NODE2에 샤드를 생성한다. 복제 용도 그리고 CH_CLUSTER 를 만들어 아래 두대의 서버를 하나로 관리해보자. 클릭하우스 클러스터 구축하기.. 2023. 5. 27. [ClickHouse] 클릭하우스 MergeTree 테이블 엔진 클릭하우스 테이블 엔진 클릭하우스에서는 다양한 테이블 엔진을 지원한다. 유용한 테이블 엔진이 많기 때문에 조사해볼 필요가 있었다. 클릭하우스를 적용하려는 사람들은 반드시 읽어보면 좋다. MergeTree 테이블 종류 이보다 더 많은 mergetree 가 있지만 실제로 필요한것들 위주로 정리를 했습니다. MergeTree SummingMergeTree AggregatingMergeTree ReplacingMergeTree CollapsingMergeTree (이해가 쉽게 되질 않아 이부분은 다시 정리를 할 예정입니다.) MergeTree 클릭하우스 기능의 핵심. pk 별로 데이터를 정렬하여 저장한다. 대용량 데이터를 테이블에 삽입 할 수 있도록 설계됨. 데이터 수집시 자동 데이터 중복 제거 기능이 있다. .. 2023. 3. 25. 이전 1 2 다음 728x90 반응형
