stanislavvv: (Default)
С понедельника в отпуск, так что на работе ничего долговременного не делаю.
Зато есть некий микросервис на фласке (почти-REST, автогенерация swagger.json из docstring и т.д. и т.п.)
Сегодня привёл имена отдаваемых/принимаемых полей к политике партии + убрал ругань от pylint + дописал в Makefile создание virtualenv, дабы некоторые не ставили всё через apt-get install + таки написал мелкий скрипт для запуска сервиса через tornado.
Странно, но после всего, что натворил, сервис всё ещё работает.
Надо будет ещё посмотреть на https://github.com/NYTimes/openapi2proto и https://github.com/keenbrowne/flask-pbj и таки соорудить ещё и работу с protobuf там же, но, вероятно, не успею до начала отпуска.
Сабж, однако...
stanislavvv: (Default)
Поскольку нигде не нашел подходящих аккумуляторов к планшету, плюнул и купил что попало, подходящее по месту.
А не подходило в аккумуляторах (вернее, в платах защиты) отсутствие термодатчика.
Так что пришлось-таки перепаивать плату со старого аккумулятора.
Теперь сижу, тестирую, насколько хватит. Старого хватало минут на 40 и в качестве навигатора планшет уже не годился...
С учётом того, что планшету 4 года - надеюсь, что ещё пару лет он проработает как навигатор, видеоплеер, читалка и ssh-консоль. Веб через него, конечно, тоже можно смотреть, но современные браузеры там ставить некуда...
stanislavvv: (Default)
Попробовал сбербанковское приложение на телефон.
Ладно, я любитель рута и т.п. на телефоне, так что приложение в полную мощность не заработало, в отличие от приложения тинькова.
Но вот то, что с таким ограниченным функционалом, примерно соответствующим тому, что можно получить через смс, оно ело или даже скорее ЖРАЛО ресурсы телефона - мягко говоря, раздражает.
Снёс нафиг, так как иначе рисковал приехать с работы домой с полностью разряженным телефоном (когда выходил - было больше 90%, спустя час - порядка 50%).

Не отказался бы от приложения Sberbank Lite, которое умеет:
1) показывать баланс
2) уведомления не через смс
3) платежи по шаблонам
4) может быть, показывает банкоматы и расписания
И, главное, БОЛЬШЕ НИЧЕГО В СИСТЕМЕ НЕ ДЕЛАЕТ!
У меня и так есть антивирус, мне никуда не упёрлись соцфункции приложения и я однозначно не дам прав на список моих контактов и даже к списку приложений - ещё подумаю.

А пока - у меня есть на телефоне Firefox, который притворяется десктопным браузером и отлично показывает online.sberbank.ru. И да, к списку контактов там тоже доступа нет. Впрочем, от более лёгкого браузера, притворяющегося десктопным, я бы тоже не отказался...

P.S. Надо всё-таки новую батарейку. Или телефон, хотя текущий устраивает всем, кроме батарейки...
stanislavvv: (Default)
При генерации проекта надо указать генерить в корне, а не в подкаталоге.
Тогда подхватывает.
Заодно выяснил, что добавление freertos СИЛЬНО съедает память. Блинкер сразу стал кушать вместо килобайта - 40.
Осталось таки разобраться, как мигать при помощи самой freertos, так как пока оно всё сбоку...
stanislavvv: (Default)
Пытаюсь сгенерить при помощи STM32CubeMX нечто, пригодное к конвертации в Makefile.
Создаю проект, как сказано в https://github.com/baoshi/CubeMX2Makefile - настраиваю его на SW4STM32, генерю код.
Облом-с... Утилита с гитхаба сообщает, что проект не SW4STM32.
В общем, пока мигаю светодиодом при помощи https://github.com/libopencm3/libopencm3, но хочется чего-то бОльшего и с меньшими усилиями.
stanislavvv: (Default)
Всё отлично работает, данные из банка получаются и ваще зашибись.
Но есть одно но: спустя несколько суток коннекта типа-защита от внешних соединений прекращает работу.
В принципе наплевать и забить, но у меня нагиос настроен ругаться на наличие связи с сим сервером доступа - в штатном режиме это означает отсутствие связи с банком.
stanislavvv: (Default)
Притащили мне токен:

и говорят человеческим голосом:
- Хотим мы получать данные из сбербанка автомагически и загружать в свою систему! А то сейчас оно через ж только руками через копипасту!

Пришлось делать.
Сделалось следующее:
1) десктоп на lxde на базе Debian/Jessie
2) поставлена неофициальная бета-версия софтины с официального форума разработчика. Поставлена неофициальным путём - после пересборки пакета.
3) поставлен сервер x2go, дабы не ходить ногами или через яву в iLO до десктопа ради единственного клика в меню.
4) сей "десктоп" об одном юните был поставлен в датацентр на белом ip.

В датацентре выяснилось, что сия софтина полностью блокирует весь обмен вне своего впн для белого ип. От слова "совсем".
Из извращений прижилось поднятие алиаса с серым ип на "десктопе" и добавление той же подсетки на целевых серверах.

Теперь данный сервер запускается так:
1) после загрузки заходим через x2goclient и вводим пин в предлагаемую форму
2) отваливаемся по таймауту, так как несмотря на галочки, софтина таки отрубает соединения
3) снова заходим через x2goclient и убеждаемся, что сбербанковский фтп доступен.

Всё. Остальным занимается крон, скрипты и sshd.
stanislavvv: (Default)
Угораздило меня поработать в банках...
Теперь любой токен несут ко мне...
stanislavvv: (Default)
Написал на работе микросервис для данных о бекапах. Рад, щаслив, горд (С)

Посмотрел, что ещё даже непонятно, куда и как их деплоить.
Уже не щаслив.

Посмотрел, сколько мест, где потребуется переписывать только с моей стороны (собственно, скрипты бекапов/восстановления как на серверах, так и на хранилищах).
Уже не рад.

Спросил у программистов, когда, они смогут заняться - аж весной. Уже не горд.
stanislavvv: (Default)
Обнаружил два предположительно рабочих диска ide, на 10G и на 80G.
Но их происхождение помню, хотя и давно это было.
Похоже, надо чаще раскопки проводить, может ещё и монитор откопаю :-)
stanislavvv: (Default)
Копаясь в закромах (точнее, перетаскивая стеллаж в другое место) нашел у себя исправное железо:
1) ATX блок питания. Происхождение у меня неизвестно, так как все предыдущие компы сплавлял подальше в корпусе с БП.
2) Материнская плата с процессором (не смотрел под радиатором) и воткнутой памятью без маркировки. С происхождением аналогично. Диски - только ide.
3) Память 64Мб SDRAM и процессор P1-75 в одном антистатическом пакетике. Происхождение - то же.

Пункты 1 и 2 вместе запустились нормально, пропищав об отсутствии видеокабеля.
Вероятно, буду собирать комплект конструктора для детей, дабы варкрафт и т.п. запускалось не на ноуте.

Что делать с третьим пунктом - непонятно. Данный процессор, конечно, пригоден для использования в качестве расчёски, но по прямому назначению его просто некуда воткнуть.
stanislavvv: (Default)
В процессе эксплуатации после ремонта заодно выяснил, что провода к кнопкам должны быть многожильными или хотя бы мягкими.
И не такие толстые, как из витой пары.
В общем, там отвалилось после пары падений.
Зато кусок шлейфа от 80-контактного ide встал как тут и был.
stanislavvv: (Default)
"Что я, storage брату моему"
Это после размышлений о том, где хранить домашние бекапы (пока храню на работе, но надо бы ещё место).
stanislavvv: (Default)
Риак - странная штука. Вот например, как он планирует распределить место в кластере после добавления ещё одного узла:

Status Ring Pending Node
-------------------------------------------------------------------------------
valid 8.6% 8.6% 'riak@192.168.0.130'
valid 8.2% 7.8% 'riak@192.168.0.131'
valid 8.2% 7.4% 'riak@192.168.0.132'
valid 8.2% 7.4% 'riak@192.168.0.133'
valid 8.2% 7.4% 'riak@192.168.0.134'
valid 8.2% 7.4% 'riak@192.168.0.135'
valid 8.2% 7.4% 'riak@192.168.0.136'
valid 8.2% 7.4% 'riak@192.168.0.137'
valid 8.2% 7.4% 'riak@192.168.0.138'
valid 8.2% 7.4% 'riak@192.168.0.139'
valid 8.2% 7.4% 'riak@192.168.0.140'
valid 9.4% 9.4% 'riak@192.168.0.141'
valid 0.0% 7.4% 'riak@192.168.0.142'
-------------------------------------------------------------------------------
Valid:13 / Leaving:0 / Exiting:0 / Joining:0 / Down:0

Обратите внимание на то, что у .141 как был самый большой процент, так и остался.

При этом процент распределения соответствует и тому, какая доля места в кластере занята на диске именно этого сервера.
По-моему, они что-то не доработали...
stanislavvv: (Default)
Расставил по ранжиру в разных категориях.

Urls:
ceph - http://ceph.com
sx/libres3 - http://www.skylable.com/
riak/riak-cs - http://basho.com/ (они переименовали riak в riak kv, а riak-cs в riak s2, но софт от этого не поменялся), доки - http://docs.basho.com/

Сложность архитектуры (для случая использования протокола S3):

I. ceph - три вида узлов (или четыре, если выделить админский узел в отдельный) - хранилище, монитор, шлюз, общение между собой по ключам
II-III. riak/riak-cs и sx - по два вида узлов - бекенд (riak - БД, sx - файлохранилище) и фронтенд (riak-cs - умный фронтенд, который и реализует хранение файлов, libres3 - более-менее тупой конвертер протокола s3 в протокол хранилища)

Сложность установки:

I. ceph - связано со сложностью архитектуры и некоторой запутанностью документации, которая не столько документация, сколько справочник. Плюс не всегда очевидные расчёты параметров.
II. riak/riak-cs - можно всё сделать по документации, но без расчёта некоторых параметров можно получить либо кластер, который либо не сможет полностью использовать текущее железо, либо будет расчитан на бОльшее количество узлов и будет жрать память больше, чем требуется.
III. sx - тупо apt-get install и немного ответов на вопросы в sxsetup

Возможность донастройки:

I. ceph - практически всё, что может понадобиться настроить - можно настроить.
II. riak/riak-cs - часть настроек неочевидна, часть недокументирована, мне для некоторых приходилось лазить по спискам рассылки и по эрланговским исходникам. Часть настроек, которые вообще говоря, предназначены для riak, пишутся в настройки riak-cs.
III. sx - тупо нечего настраивать в конфиге. От слова вообще. Можно перераспределить место в кластере или ещё что-нибудь такое. Но сказать "дай открыть больше соединений, будет афигительная нагрузка" - нельзя.

Требования к железу (на тестовом кластере с репликацией 2x):

I. sx - пойдёт практически на чём угодно
II. ceph - в узлах osd хочет 1Гб памяти на каждый терабайт места, остальным - просто по гигабайту достаточно (вероятно, radosgw под нагрузкой захочет большего, но не факт)
III. riak/riak-cs - жрёт память. Процессора хочет немного - не больше пары-тройки ядер на узел даже в продакшне.

Достоинства:
sx/libres3 - простота установки и конфигурации
riak/riak-cs - работает практически сразу после установки, если нет особых требований - довольно удобен.
ceph - можно настроить всё, обладает довольно-таки приличным быстродействием

Недостатки:
sx/libres3 - практически не тюнится, имеет базы sqlite в качестве бекенда, виснет на несколько минут при срабатывании gc на любом из узлов.
riak/riak-cs - жрёт память на фронтенде непонятно куда, жрёт память на бекенде, жрёт место на диске в процессе нормальной работы (потом отдаёт обратно, но если места не хватило - падает), не может посчитать статистику объёма бакета, если в бакете несколько сот тысяч файлов (у меня для рабочего кластера проблемы начинались где-то на 600-800 тысячах файлов в зависимости от нагрузки), иногда riak-cs ни с того ни с сего говорит "all workers busy" и это до его рестарта.
ceph - хранит каждый чанк/объект в отдельном файле, что на рекомендуемом ими xfs чревато проблемами, и если там всё можно настроить, то вы таки будете всё настраивать.
stanislavvv: (Default)
Поскольку Sx проиграл (во время срабатывания gc ВЕСЬ кластер стоит колом) - решили присмотреться к ceph.
Ставится оно при помощи ключей и какой-то матери, если не пользоваться ceph-deploy (делал по http://docs.ceph.com/docs/master/install/manual-deployment/#long-form - поставилось). Если пользоваться ceph-deploy - не всегда можно получить то, что хочется, судя по содержимому этого самого ceph-deploy.

Кратенько о том, на чём тестил: кластер в составе mon (монитор кластера, которых в продакшне должно быть не менее трёх), 2*osd (хранилища), radosgw (интерфейс s3/swift/etc, сделал для его объектов двукратную репликацию в хранилище, как и в риаке).
Тестил - так же, как и sx, путём копирования каталога, содержащего тыщу файлов в тыщу подкаталогов + относительно большой файл и всё это в бакет по имени s3://test

Результаты тестов:

s3cmd ls s3://test - 20 секунд (против 7 минут riak)
s3cmd du s3://test - 8 минут (riak я тут не дождался)
Запись большого файла - порядка 7Мб/сек, чтение - упёрлось в 100Мбит виртуалки radosgw.

При этом riak-cs/riak содержал три узла под riak.

После добавления третьего osd и начала перебалансировки кластера s3cmd ls s3://test стал работать 1:15-1:20, что является вполне подходящим результатом для сильно нагруженного кластера даже по сравнению с ненагруженым риак.
Скорость чтения больших файлов не изменилась (от слова вообще). Менялась скорость перебалансировки и всё.

Пожалуй, ceph как хранилище с s3 мне нравится больше, чем riak, у которого есть NN граблей, которые нельзя обойти настройками.
stanislavvv: (Default)
Вчера прикупил-таки флешку и завёл доставленную Raspberry Pi 2.
Всё хорошо, красиво, душевно.
Но, блин, в комплекте есть Minecraft, от которого фанатеет сын. Хорошо еще, он не видел, что там есть...
Надо подумать, оставить его на месте и пускать в качестве поощрения или ну его на...
stanislavvv: (Default)
На работе в качестве хранилища поставлен кластер из RiakCS + Riak.
В целом работает, но кой-чего там не устраивает (в частности, скорость работы при большом количестве файлов в бакетах).
Решили протестировать связку Sx+LibreS3. Поставили два идентичных по железу кластера + по одному фронтенду и потестили.
Итоги:
1) тест с миллионом файлов в бакете.
Riak - шустренько залил миллион, но зато чтение корня бакета заняло почти 7 минут и потребовало увеличения таймаута в конфиге s3cmd
Sx - за выходные так и не залил миллион, но чтение корня бакета при 700 тысячах - порядка 30 секунд.

В процессе залития у Sx наблюдаются глобальные тормоза на несколько минут при запуске gc на одном из узлов бекенда.

2) тест с крупным файлом
Сохранение:
Riak - тихо и мирно залил на скорости 3Мбайт/сек (у виртуалок ограничение по сети - 100Мбит, так что в сеть не упиралось)
Sx - начал заливать на скорости 10Мбайт/сек, но после залития последнего чанка затупил так, что время на операцию оказалось больше, чем в случае riak.

Скачивание:
Riak - отдал на скорости 6Мбайт/сек
Sx - отдал на сокрости 10Мбайт/сек

3) поддержка ACL и политик
Riak ACL поддерживает, политики - аналогично.
Sx не поддерживает ACL вообще, но поддерживает некоторые политики. И, похоже, отсутствие поддержки ACL таки даёт бОльший результат, чем результаты тестов производительности в смысле принятия решения.

Посмотревши на документацию ceph - там с ACL аналогично, так что, скорее всего, тоже отпадёт.
stanislavvv: (Default)
Наступил на баг в mc. Нашел патч и отправил багрепорт.
Рад, щаслив, горд (С) дневник Дуремара

Осталось дождаться исправления в Debian/stable, если оно случится раньше следующего stable.
stanislavvv: (Default)
Сын узнал, что в Героях Меча и Магии 3 при наведении на объект можно увидеть, что это за объект.
Прибежал с криком "Папа, а ты знал, что тот маленький дядя из деревянного замка - гном?"
Теперь читает всё подряд, а не только что скажешь.

Profile

stanislavvv: (Default)
stanislavvv

July 2017

S M T W T F S
      1
2345678
910 1112131415
1617 1819202122
23242526272829
3031     

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 21st, 2017 10:27 am
Powered by Dreamwidth Studios