![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
stanislavvvДо меня периодически пытаются докапываться из банка на предмет, не помню ли я что-то и как это поправить. Вот, вспомнилось:
Вначале в Екатеринбурге появился маршрутизатор (он же универсальный сервер).
Появился он еще до меня, настраивал его![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
alexblues.
Была там почта, сайт (ну или нечто похожее), джаббер и самба.
Затем соорудили впн-канал до Новоуральска, где тогда была голова банка.
Затем был сервер АБС (если кто знает название "Банкир" - привет им).
Далее произошло совещание на предмет "а под чем будут сидеть операционисты".
Решили, что сидеть будут под линуксом. Выбрали Altlinux актуальной тогда версии 4.1.
Причём сразу с авторизацией в ldap (точнее, fedora-ds из того же альта) и домашним каталогом на нфс.
Ну а поскольку лдап - сделали виртуалку с центосью и openfire, так как пересобирать ejabberd ради лдап и архивации сообщений не шибко хотелось.
Виртуалки делались под Xen (он тогда был более ентерпрайз, чем kvm).
Затем решили, что не помешает и почту тож через лдап и прокси. Так всё, связанное с пользователями переехало в лдап.
В конце-концов в лдап пришла телефония и логины пользователей в АБС (отличающиеся от основного логина).
О телефонии: делал внешний подрядчик на базе asterisk. При этом телефония была распределенной, то есть по астериску в каждом отделении. При этом юзеры могли мигрировать по отделениям с изменением одного дополнительного поля в лдап, где указывался сервер с астериском для юзера.
Пользователи в отделениях работали по той же схеме, только лдап представлял собой r/o реплику центрального, nfs тоже был местный.
Впрочем, периодически они переезжали из отделения в отделение, причём техподдержка забывала перенастраивать рабочие станции на местный сервер, что приводило к казусам, когда рабочая станция пыталась читать домашний каталог по каналу в 2Мбит (Новоуральск-Екатеринбург, монополист-УСИ).
Кстати, винды местами всё-таки стояли. Часть софта - только под них (работа с криптоключами и т.п.).
Затем понадобился "Консультант+".
Вначале его поставили на виндовый сервер, который при большом количестве народу стал тормозить, так как использовался не только для него, но и для бухгалтерии.
Переставили на отдельный линуксовый сервер, на котором настроили freenx. 3Гб памяти с избытком хватало для ~70 человек народу.
Заодно сделал себе виртуалку под дебианом для своих целей. Было удобно ходить на неё через freenx и запускать vnc/rdp там, а не у себя. gprs иногда шибко медленный был, rdp с трудом пролазил, а по vnc вообще невозможно работать было (сейчас тоже, если в 32-м городке в инет выйти).
В процессе появилось несколько серверов вместо одного, общее хранилище для дисков виртуалок.
Добавилось N виртуалок под нужды банка (K*RHEL, L*Centos, пара винды под документооборот).
Добавились резервные каналы в отделения и интернет, взяли себе отдельную подсетку и настроили BGP.
Для пущего резервирования настроили OSPF на каналах до отделений. А openvpn пустили по отдельной подсетке.
Всё это наблюдал nagios. Его решили переделать, так как добавлять руками в конфигурацию хост ближе к концу второй сотни было уже несколько мучительно.
Переделали, добавили nconf для конфигурирования и nagvis для красивого размещения точек на вебморде для дежурного по банку.
В конце-концов нас достал Xen и произошел переезд на Vmware 4.1
Достал он тем, что сервер требовал перезагрузки как минимум раз в течение месяца, не говоря уже о прочей ручной работе.
Может быть в 5-й версии и исправили, но тогда актуальной была версия 4.3
Да и кластер, не требующий для работы (не для управления!) единого центра весьма подкупал.
Политика безопасности требовала, чтоб винды ходили в инет только по белому списку, что и было проделано.
Так как части народу инет таки требовался - соорудили виртуалку для выхода в инет на базе Debian и freenx.
Видео не посмотреть, так как 4 кадра в секунду, а в остальном - нормально.
Ну и так как дальше мне лень писать подробно, вот краткое резюме:
Маршрутизация:
в голове - циска, на которой инет-каналы с bgp и каналы до отделений с ospf + циска для внутренней маршрутизации (отделить dmz от локалки),
в отделениях - универсальные серверы с ospf.
Данные пользователей:
Домашние каталоги на NFS, логины/пароли/и т.п. - в ldap
Рабочие станции:
Допиленый линукс, вначале Altlinux 4.1, затем Debian Squeeze.
Допиливание состояло в предустановке набора софта, правке pam (для лдап и затем для етокенов)
и правке дефолтных значений гнома2 (чтоб слегка походил на винду)
Виртуализация:
Вначале Xen (сейчас выбрал бы kvm, а тогда для линуксовых вм это был лучший выбор, так как запускалось на процессорах без нужных флагов),
затем вмварь.
Сервера (в виртуалках):
Ldap (Centos-ds) с репликацией, два основных с автоподнятием ip и r/o реплика в отделения и на прокси с почтой
dns (в отделениях - кеширующий, в трёх - slave для локального view)
nfs (в голове - отдельный, в отделениях - на сервере-маршрутизаторе)
интранет - внутренний сайт на базе bitrix (если честно - задолбались допиливать)
интранет технический - самописные вебморды для всякого (редактор юзеров в лдапе под наш конфиг, например)
вебсайт для инета - отдельный сервер с апачем и пхп
сервера АБС (основной, резервный с репликацией базы с основного, для отчётов и N тестовых)
интернет-банк (несколько серверов с извращёнными связями между ними)
всякая хрень в количестве ~70 штук (всякий документооборот, самба, тестовые и т.п. сервера)
Что-то я забыл, что-то упустил специально (специфичное для банка, например).
Вначале в Екатеринбурге появился маршрутизатор (он же универсальный сервер).
Появился он еще до меня, настраивал его
alexblues.Была там почта, сайт (ну или нечто похожее), джаббер и самба.
Затем соорудили впн-канал до Новоуральска, где тогда была голова банка.
Затем был сервер АБС (если кто знает название "Банкир" - привет им).
Далее произошло совещание на предмет "а под чем будут сидеть операционисты".
Решили, что сидеть будут под линуксом. Выбрали Altlinux актуальной тогда версии 4.1.
Причём сразу с авторизацией в ldap (точнее, fedora-ds из того же альта) и домашним каталогом на нфс.
Ну а поскольку лдап - сделали виртуалку с центосью и openfire, так как пересобирать ejabberd ради лдап и архивации сообщений не шибко хотелось.
Виртуалки делались под Xen (он тогда был более ентерпрайз, чем kvm).
Затем решили, что не помешает и почту тож через лдап и прокси. Так всё, связанное с пользователями переехало в лдап.
В конце-концов в лдап пришла телефония и логины пользователей в АБС (отличающиеся от основного логина).
О телефонии: делал внешний подрядчик на базе asterisk. При этом телефония была распределенной, то есть по астериску в каждом отделении. При этом юзеры могли мигрировать по отделениям с изменением одного дополнительного поля в лдап, где указывался сервер с астериском для юзера.
Пользователи в отделениях работали по той же схеме, только лдап представлял собой r/o реплику центрального, nfs тоже был местный.
Впрочем, периодически они переезжали из отделения в отделение, причём техподдержка забывала перенастраивать рабочие станции на местный сервер, что приводило к казусам, когда рабочая станция пыталась читать домашний каталог по каналу в 2Мбит (Новоуральск-Екатеринбург, монополист-УСИ).
Кстати, винды местами всё-таки стояли. Часть софта - только под них (работа с криптоключами и т.п.).
Затем понадобился "Консультант+".
Вначале его поставили на виндовый сервер, который при большом количестве народу стал тормозить, так как использовался не только для него, но и для бухгалтерии.
Переставили на отдельный линуксовый сервер, на котором настроили freenx. 3Гб памяти с избытком хватало для ~70 человек народу.
Заодно сделал себе виртуалку под дебианом для своих целей. Было удобно ходить на неё через freenx и запускать vnc/rdp там, а не у себя. gprs иногда шибко медленный был, rdp с трудом пролазил, а по vnc вообще невозможно работать было (сейчас тоже, если в 32-м городке в инет выйти).
В процессе появилось несколько серверов вместо одного, общее хранилище для дисков виртуалок.
Добавилось N виртуалок под нужды банка (K*RHEL, L*Centos, пара винды под документооборот).
Добавились резервные каналы в отделения и интернет, взяли себе отдельную подсетку и настроили BGP.
Для пущего резервирования настроили OSPF на каналах до отделений. А openvpn пустили по отдельной подсетке.
Всё это наблюдал nagios. Его решили переделать, так как добавлять руками в конфигурацию хост ближе к концу второй сотни было уже несколько мучительно.
Переделали, добавили nconf для конфигурирования и nagvis для красивого размещения точек на вебморде для дежурного по банку.
В конце-концов нас достал Xen и произошел переезд на Vmware 4.1
Достал он тем, что сервер требовал перезагрузки как минимум раз в течение месяца, не говоря уже о прочей ручной работе.
Может быть в 5-й версии и исправили, но тогда актуальной была версия 4.3
Да и кластер, не требующий для работы (не для управления!) единого центра весьма подкупал.
Политика безопасности требовала, чтоб винды ходили в инет только по белому списку, что и было проделано.
Так как части народу инет таки требовался - соорудили виртуалку для выхода в инет на базе Debian и freenx.
Видео не посмотреть, так как 4 кадра в секунду, а в остальном - нормально.
Ну и так как дальше мне лень писать подробно, вот краткое резюме:
Маршрутизация:
в голове - циска, на которой инет-каналы с bgp и каналы до отделений с ospf + циска для внутренней маршрутизации (отделить dmz от локалки),
в отделениях - универсальные серверы с ospf.
Данные пользователей:
Домашние каталоги на NFS, логины/пароли/и т.п. - в ldap
Рабочие станции:
Допиленый линукс, вначале Altlinux 4.1, затем Debian Squeeze.
Допиливание состояло в предустановке набора софта, правке pam (для лдап и затем для етокенов)
и правке дефолтных значений гнома2 (чтоб слегка походил на винду)
Виртуализация:
Вначале Xen (сейчас выбрал бы kvm, а тогда для линуксовых вм это был лучший выбор, так как запускалось на процессорах без нужных флагов),
затем вмварь.
Сервера (в виртуалках):
Ldap (Centos-ds) с репликацией, два основных с автоподнятием ip и r/o реплика в отделения и на прокси с почтой
dns (в отделениях - кеширующий, в трёх - slave для локального view)
nfs (в голове - отдельный, в отделениях - на сервере-маршрутизаторе)
интранет - внутренний сайт на базе bitrix (если честно - задолбались допиливать)
интранет технический - самописные вебморды для всякого (редактор юзеров в лдапе под наш конфиг, например)
вебсайт для инета - отдельный сервер с апачем и пхп
сервера АБС (основной, резервный с репликацией базы с основного, для отчётов и N тестовых)
интернет-банк (несколько серверов с извращёнными связями между ними)
всякая хрень в количестве ~70 штук (всякий документооборот, самба, тестовые и т.п. сервера)
Что-то я забыл, что-то упустил специально (специфичное для банка, например).
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2013-08-08 02:34 am (UTC)Просто так получилось.
no subject
Date: 2013-08-08 07:29 am (UTC)