stanislavvv: (Default)
stanislavvv ([personal profile] stanislavvv) wrote2017-12-08 12:28 pm

Статистика и БД...

Небольшая задачка: получать top10 клиентов и top10 доменов, жрущих место на почте. Графит как источних сих данных для графаны в целом справляется, но есть некоторые но:
- статистика складывается в influxdb, который не умеет сортировать по чему-либо кроме времени. Для получения топов приходится раз в 5 минут запускать по селекту на каждый вид статистики и пихать получившиеся значения в графит.
- графит хранит данные э... не совсем эффективно. То есть, если количество метрик увеличится ещё раза в три, то он перестанет справляться даже с записью.

Попробовал https://github.com/InfluxGraph/influxgraph в качестве источника данных. В теории всё нормально. На практике при количестве клиентов в статистике порядка полутора-двух тысяч (отдельно взятый сервер) создаётся запрос к influxdb объёмом килобайт в 30-40, чем сей influxgraph успешно давится, не доводя запрос до influxdb и выдавая 500-ю ошибку графане.

Пока смотрим в сторону яндексового кликхауса, но там есть нюансы типа того, что это не time series database и вообще нечто новое...

Post a comment in response:

(will be screened)
(will be screened if not validated)
If you don't have an account you can create one now.
HTML doesn't work in the subject.
More info about formatting

If you are unable to use this captcha for any reason, please contact us by email at support@dreamwidth.org