Локальный S3: Riak против Sx
Feb. 1st, 2016 11:46 amНа работе в качестве хранилища поставлен кластер из RiakCS + Riak.
В целом работает, но кой-чего там не устраивает (в частности, скорость работы при большом количестве файлов в бакетах).
Решили протестировать связку Sx+LibreS3. Поставили два идентичных по железу кластера + по одному фронтенду и потестили.
Итоги:
1) тест с миллионом файлов в бакете.
Riak - шустренько залил миллион, но зато чтение корня бакета заняло почти 7 минут и потребовало увеличения таймаута в конфиге s3cmd
Sx - за выходные так и не залил миллион, но чтение корня бакета при 700 тысячах - порядка 30 секунд.
В процессе залития у Sx наблюдаются глобальные тормоза на несколько минут при запуске gc на одном из узлов бекенда.
2) тест с крупным файлом
Сохранение:
Riak - тихо и мирно залил на скорости 3Мбайт/сек (у виртуалок ограничение по сети - 100Мбит, так что в сеть не упиралось)
Sx - начал заливать на скорости 10Мбайт/сек, но после залития последнего чанка затупил так, что время на операцию оказалось больше, чем в случае riak.
Скачивание:
Riak - отдал на скорости 6Мбайт/сек
Sx - отдал на сокрости 10Мбайт/сек
3) поддержка ACL и политик
Riak ACL поддерживает, политики - аналогично.
Sx не поддерживает ACL вообще, но поддерживает некоторые политики. И, похоже, отсутствие поддержки ACL таки даёт бОльший результат, чем результаты тестов производительности в смысле принятия решения.
Посмотревши на документацию ceph - там с ACL аналогично, так что, скорее всего, тоже отпадёт.
В целом работает, но кой-чего там не устраивает (в частности, скорость работы при большом количестве файлов в бакетах).
Решили протестировать связку Sx+LibreS3. Поставили два идентичных по железу кластера + по одному фронтенду и потестили.
Итоги:
1) тест с миллионом файлов в бакете.
Riak - шустренько залил миллион, но зато чтение корня бакета заняло почти 7 минут и потребовало увеличения таймаута в конфиге s3cmd
Sx - за выходные так и не залил миллион, но чтение корня бакета при 700 тысячах - порядка 30 секунд.
В процессе залития у Sx наблюдаются глобальные тормоза на несколько минут при запуске gc на одном из узлов бекенда.
2) тест с крупным файлом
Сохранение:
Riak - тихо и мирно залил на скорости 3Мбайт/сек (у виртуалок ограничение по сети - 100Мбит, так что в сеть не упиралось)
Sx - начал заливать на скорости 10Мбайт/сек, но после залития последнего чанка затупил так, что время на операцию оказалось больше, чем в случае riak.
Скачивание:
Riak - отдал на скорости 6Мбайт/сек
Sx - отдал на сокрости 10Мбайт/сек
3) поддержка ACL и политик
Riak ACL поддерживает, политики - аналогично.
Sx не поддерживает ACL вообще, но поддерживает некоторые политики. И, похоже, отсутствие поддержки ACL таки даёт бОльший результат, чем результаты тестов производительности в смысле принятия решения.
Посмотревши на документацию ceph - там с ACL аналогично, так что, скорее всего, тоже отпадёт.