Что такое CLICKHOUSE и колоночные СУБД

• ClickHouse — аналитическая столбцовая СУБД от Яндекса.  

• Используется для веб-аналитики в Яндекс Метрике.  

• Данные представлены в виде столбцов, а не строк.  

• СУБД классифицируются по модели организации данных: реляционные SQL и нереляционные новый SQL.  

• Реляционные СУБД хранят данные в строках таблиц, используя SQL-синтаксис.  

• ClickHouse относится к реляционным СУБД, но данные хранятся в колонках двумерных таблиц.  

• В строковых СУБД данные хранятся в строках, что замедляет выполнение запросов.  

• В столбцовых СУБД данные хранятся в колонках, что позволяет быстрее выполнять запросы.  

• Каждая колонка в столбцовой СУБД — это отдельная таблица.  

• Столбцовые СУБД используют только те колонки, которые участвуют в запросе.  

• Данные в столбцовых СУБД обычно хранятся в отсортированном виде.  

• Структура хранения напоминает индекс, но между колонками нет физической связи.  

• ClickHouse использует синтаксис SQL, но с дополнительными возможностями.  

• Технология имеет аналоги, такие как Parcel, Vertica, IQ и InfiniDB.  

• Для получения 100 миллионов записей ClickHouse требуется всего 1 секунда.  

• ClickHouse позволяет сжимать данные, что ускоряет поиск.  

• Сэмплирование позволяет проверять запросы на части данных без обработки всего массива.  

• ClickHouse эффективен в аналитике проектов, мобильных приложений, рекламных сетях, Real Time Bidding, телекоммуникациях, электронной коммерции, финансах и информационной безопасности.  

• ClickHouse подходит для задач с постоянным потоком событий и аналитикой в реальном времени.  

• Линейная масштабируемость: при репликации данных производительность всегда растёт.  

• Интерфейсы: CLI, TCP, HTTP, веб-версия на JavaScript.  

• Отсутствие первичного ключа, использование команды Order by для сортировки.  

• Отсутствие команд Update и Delete, возможность удаления и обновления данных.  

• Преимущества: работа с непрекращающимся потоком данных, высокая производительность.  

• Обработка данных от GPS-трекеров раз в несколько секунд.  

• Расчёт штрафов и рейтинга вождения на основе данных из базы.  

• Анализ результатов для корректировки работы водителей и продления срока службы техники.  

• Отсутствие транзакций и блокировок.  

• Асинхронное поступление данных, принцип «когда-нибудь».  

• Высокие требования к оперативной памяти сервера.  

• Риски атак при передаче данных по HTTP-протоколу.  

• Вставлять большие массивы данных, а не по одной строке.  

• Избегать чтения по одной строке, использовать систему для работы с большим количеством строк.  

• Агрегировать данные на стороне ClickHouse для увеличения скорости обработки.  

• Подбирать правильные типы данных для колонок для сжатия базы и ускорения поиска.  

• ClickHouse подходит для аналитики, статистических исследований и обработки большого количества данных.  

• Высокая производительность и линейная масштабируемость.  

• Выбор СУБД зависит от потребностей проекта.