Похожая проблема с лагами и низкой производительностью сети была ещё во времена VMmanager 5. В основном причина была в traffic shaper, он же — tc.
Эту утилиту VMmanager 5 использует для настройки шейпера трафика на каждую виртуалку. И уже при кол-ве виртуалок 150+ на ноде, общая пропускная скорость порта на сервере падала при замерах скорости. Но если удалить все виртуалки и замерить скорость сети любыми утилитами, хоть через iperf3 или тем же speedtes-cli, скорость была равной скорости порта. При создании 150+ виртуалок с включенным шейпером трафика у каждой и общей нагрузки на порт от них в районе ~100Мбит/С на ноде с 1Гбит/с портом, замеряя скорость как на ноде, так и с любой виртуалки, получалось порядка 300-400Мбит/с и не больше.
Решения было только 2 (желательно было делать оба пункта):
1 — отключение шейпера в любом виде для виртуалок
2 — отключение tso gso и tx offload для бриджа и физ.сетевого интерфейса:
ethtool -K vmbr0 gso off; ethtool -K vmbr0 tso off; ethtool -K vmbr0 tx off
ethtool -K eno1 gso off; ethtool -K eno1 tso off; ethtool -K eno1 tx off
Вполне вероятно в VMmanager 6 они наступили на те же грабли, используя nftables, когда при большим количестве правил для nftables, проблема начинаются в сетевом стеке ниже уровнем, особенно при большом количестве packet per second на ноде.
ИМХО основная проблема контор на ISPsystem и ISPmanager в том, что они за 10+ лет разработки серьёзных продуктов, до сих пор не научились тестировать свои продукты под высокими нагрузками и с большим количеством различных сущностей в своих панелях, именно панелях, а не продуктах. Потому что продуктом скорее можно назвать законченный и стабильно работающее решение, в котором практически нет багов. Складывается ощущение, что за многие годы никто из крупных их клиентов, никогда к ним не обращался с такими проблемами. Либо если обращались такие крупняки, то видимо решения не было найдено или как обычно «задачу зарегистрировали, решим через пару лет или в следующей новой мажорной версии нашей панели, когда придумаем, как найти причину поднять цену в 2-3 раза».
2 простейших и известных кейса:
— для ispsystem это vmmanager и сетевые лаги при большом кол-ве виртуалок на ноде
— для ispmanager это резервное копирование, которое может делаться сутками при наличии большого количества сущностей у пользователей (и дело даже не в объёме файлов при архивации)
А если первые три, то будут iptables правила в ядре как и раньше.
Можно выбрать, какой вариант хотите, средствами дистра.
У меня при выборе второго, большой сложный скрипт с правилами начинал выполняться на порядок дольше.
Насколько я помню, в команде vmmanager был отдельный человек, который специализировался на сетях и занимался всеми подобными задачами. Т.е. если этот тикет дошёл до него, то можно верить, что всё действительно было тщательно изучено, и тому, что пишет isp, можно доверять. Если этого чувака ещё не уволили, конечно.
А вообще странная история. У isp крупнейший клиент – FirstVDS. У них до тысячи виртуалок может быть на одном узле, и не было этой проблемы? Учитывая, что у фестов прямой выход и на команду разработки, и лично на директора.
Варианты:
1. Фесты сами тюнят ОС и оборудование и нормально живут в итоге.
2. У фестов своя, прокачанная версия vmmanager.
3. Надо просто использовать ip-fabric, на котором таких проблем нет (надо тестировать).
4. Всё вышесказанное (наиболее вероятный вариант)
Во-первых, и nftables, и iptables – это просто фронтенд для netfilter. И если проблема на стороне netfilter, то выбор фронтенда её не решит. Во-вторых, iptables – такое же кривое говно, только полное дремучего легаси и нерешённых проблем. В-третьих, в современных ядрах в принципе нет поддержки iptables – да, там можно использовать iptables, и под капотом эти правила будут транслироваться в nftables
если ты не купишь сам, значит мудаки купят и сделают сайт подделку
так что бренд в любом случае если у него правильный грамотный сотрудник — захватывает все нужные зоны, во избежание будущих проблем и начинает их применять по смыслу
Интересная тема, но ты видел цены на их VPS? www.ovhcloud.com/en-ie/vps/
3-4 евро это уже 2 ГБ ОЗУ а не 1, и на SSD.
То есть в древние серверы надо ещё поставить SSD, на HDD виртуалки уже совсем не вариант, они будут невероятно тормозные. Да ещё без всякого рейда, как там.
А делать сильно дешевле 3-х евро не получится из-за дефицита IPv4. Разве что действительно только IPv6 делать такие, за 1-2 евро. Но IPv6-only пока что услуга не массовая, надо разбираться и уметь с этим работать.
> почему не популярны услуги как «вечный сервер»?
Потому что он не вечный, а только на время жизни компании где куплен, или пока ей не надоест и она не забанит клиента придумав какое-нибудь нарушение TOS, например.
Также после единоразовой оплаты, компании нет никакого стимула поддерживать качество услуги, можно делать дикий оверселл канала или ноды (если виртуалки), клиент что сделает, перестанет платить и уйдёт? Так он уже всё заплатил, а уйдёт — ну так ей даже и лучше.
> СВОЙ ЛИЧНЫЙ ПОСТОЯННЫЙ сервер как внутри страны где ты живешь, так и снаружи этой страны — это обязательное условие для комфортной жизни
С этим соглашусь, только не обязательно что он должен быть куплен (за 250к или нет) и именно личный, можно просто аренду дедика в хорошем ДЦ. И нормально всё продумать в плане развёртывания, чтобы переезд в случае смены хостера или если «сгорит», не оказывался большой проблемой.
Смысловые зоны затем, чтобы компания например продающая машины могла регаться в .car, проповедники в .bible и т.д.
А не одна компания раскидывала себя на миллион зон, вместо того чтобы развивать один базовый бренд и домен.
было бы правильно, если скидка предоставлялась только если человек полностью оплатил сервер на выбранный период оплаты. а так люди берут 24 месяца и отказываются от сервера, хотя они получили скидку и бесплатную установку
почему не отпугивает? кому-то все равно будет, а кому-то нет. особенно когда рег ру просит деньги за скрытие данных и когда продление домена в несколько раз дороже, нежели у других регистраторов
про восприятие действительно можно отдельным топиком рассуждать
например позиционирование аудитории, типо считать всех клиентов «клиентами шареда» или «клиентами которым требуется вдс или дедик с администрированием обязательно» или даже «техподдержка по телефону а не по тикету» и другие подобные мелочи — которые как бы говорят тебе клиенту, что тебя держат за нубаса и лоха.
необоснованно завышенные цены возможно тоже частично создают этот образ и воспринятие
особенно без рассказа в блогах как именно образуется эта цена
если бы рег-ру или тайм-веб рассказали за что именно они берут по 20 тысяч рублей, рассказали бы что куча бабок уходит на сотрудников, на ДЦ, на каналы, на защиты, на взятки стране, на откаты директорам. а им бедным остается лишь 20% от заработков. то сразу бы сложилось другое впечатление и ты бы в роли клиента понял, что да, цена действительно реальная и больше бы твой мозг не сопротивлялся этому восприятию ИХ реальности. это ведь не твоя проблема что они плохо распределяют свои финансы и переплачивают куче народу за пустоту, ведь так? не все компании умеют делать круто и без затрат.
требование денег не отпугивает клиента )
а вот восприятие клиентом бренда отпугивает
вот даже когда я блоги завел
12 лет назад или 14 лет назад, смотря откуда брать точку отсчета
так вот, мне как клиенту, как блоггеру хотелось в свой блог написать именно о КРУТОЙ СОВРЕМЕННОЙ МОДНОЙ компании и порекомендовать своим читателям крутой хостинг, а не «хостинг для лоха»
но мое мнение что нужно «делать красиво и модно» — будет неизменчиво в любом случае. у того же reg.ru я никогда ничего не куплю, потому что они не соответствуют моим понятиям современности и «идти в ногу со временем».
cash вообще не о том, для зарубежных людей кэш — это именно наличные бумажные, а не просто деньги.
Но тут сама идея не очень, неужели ты серьёзно думаешь что лучше если оплачивать услуги какого-нибудь hetzner.de вместо что там у них, panel.hetzner.de какого, открывался бы hetzner.money? Ну камон. Никто так не делает и выглядит странно.
Эту утилиту VMmanager 5 использует для настройки шейпера трафика на каждую виртуалку. И уже при кол-ве виртуалок 150+ на ноде, общая пропускная скорость порта на сервере падала при замерах скорости. Но если удалить все виртуалки и замерить скорость сети любыми утилитами, хоть через iperf3 или тем же speedtes-cli, скорость была равной скорости порта. При создании 150+ виртуалок с включенным шейпером трафика у каждой и общей нагрузки на порт от них в районе ~100Мбит/С на ноде с 1Гбит/с портом, замеряя скорость как на ноде, так и с любой виртуалки, получалось порядка 300-400Мбит/с и не больше.
Решения было только 2 (желательно было делать оба пункта):
1 — отключение шейпера в любом виде для виртуалок
2 — отключение tso gso и tx offload для бриджа и физ.сетевого интерфейса:
ethtool -K vmbr0 gso off; ethtool -K vmbr0 tso off; ethtool -K vmbr0 tx off
ethtool -K eno1 gso off; ethtool -K eno1 tso off; ethtool -K eno1 tx off
Вполне вероятно в VMmanager 6 они наступили на те же грабли, используя nftables, когда при большим количестве правил для nftables, проблема начинаются в сетевом стеке ниже уровнем, особенно при большом количестве packet per second на ноде.
ИМХО основная проблема контор на ISPsystem и ISPmanager в том, что они за 10+ лет разработки серьёзных продуктов, до сих пор не научились тестировать свои продукты под высокими нагрузками и с большим количеством различных сущностей в своих панелях, именно панелях, а не продуктах. Потому что продуктом скорее можно назвать законченный и стабильно работающее решение, в котором практически нет багов. Складывается ощущение, что за многие годы никто из крупных их клиентов, никогда к ним не обращался с такими проблемами. Либо если обращались такие крупняки, то видимо решения не было найдено или как обычно «задачу зарегистрировали, решим через пару лет или в следующей новой мажорной версии нашей панели, когда придумаем, как найти причину поднять цену в 2-3 раза».
2 простейших и известных кейса:
— для ispsystem это vmmanager и сетевые лаги при большом кол-ве виртуалок на ноде
— для ispmanager это резервное копирование, которое может делаться сутками при наличии большого количества сущностей у пользователей (и дело даже не в объёме файлов при архивации)
Это не так. Транслироваться они будут если использовать вторые три инструмента из этих:
/usr/sbin/iptables-legacy
/usr/sbin/iptables-legacy-restore
/usr/sbin/iptables-legacy-save
/usr/sbin/iptables-nft
/usr/sbin/iptables-nft-restore
/usr/sbin/iptables-nft-save
А если первые три, то будут iptables правила в ядре как и раньше.
Можно выбрать, какой вариант хотите, средствами дистра.
У меня при выборе второго, большой сложный скрипт с правилами начинал выполняться на порядок дольше.
А вообще странная история. У isp крупнейший клиент – FirstVDS. У них до тысячи виртуалок может быть на одном узле, и не было этой проблемы? Учитывая, что у фестов прямой выход и на команду разработки, и лично на директора.
Варианты:
1. Фесты сами тюнят ОС и оборудование и нормально живут в итоге.
2. У фестов своя, прокачанная версия vmmanager.
3. Надо просто использовать ip-fabric, на котором таких проблем нет (надо тестировать).
4. Всё вышесказанное (наиболее вероятный вариант)
так что бренд в любом случае если у него правильный грамотный сотрудник — захватывает все нужные зоны, во избежание будущих проблем и начинает их применять по смыслу
3-4 евро это уже 2 ГБ ОЗУ а не 1, и на SSD.
То есть в древние серверы надо ещё поставить SSD, на HDD виртуалки уже совсем не вариант, они будут невероятно тормозные. Да ещё без всякого рейда, как там.
А делать сильно дешевле 3-х евро не получится из-за дефицита IPv4. Разве что действительно только IPv6 делать такие, за 1-2 евро. Но IPv6-only пока что услуга не массовая, надо разбираться и уметь с этим работать.
Потому что он не вечный, а только на время жизни компании где куплен, или пока ей не надоест и она не забанит клиента придумав какое-нибудь нарушение TOS, например.
Также после единоразовой оплаты, компании нет никакого стимула поддерживать качество услуги, можно делать дикий оверселл канала или ноды (если виртуалки), клиент что сделает, перестанет платить и уйдёт? Так он уже всё заплатил, а уйдёт — ну так ей даже и лучше.
> СВОЙ ЛИЧНЫЙ ПОСТОЯННЫЙ сервер как внутри страны где ты живешь, так и снаружи этой страны — это обязательное условие для комфортной жизни
С этим соглашусь, только не обязательно что он должен быть куплен (за 250к или нет) и именно личный, можно просто аренду дедика в хорошем ДЦ. И нормально всё продумать в плане развёртывания, чтобы переезд в случае смены хостера или если «сгорит», не оказывался большой проблемой.
А не одна компания раскидывала себя на миллион зон, вместо того чтобы развивать один базовый бренд и домен.
например позиционирование аудитории, типо считать всех клиентов «клиентами шареда» или «клиентами которым требуется вдс или дедик с администрированием обязательно» или даже «техподдержка по телефону а не по тикету» и другие подобные мелочи — которые как бы говорят тебе клиенту, что тебя держат за нубаса и лоха.
необоснованно завышенные цены возможно тоже частично создают этот образ и воспринятие
особенно без рассказа в блогах как именно образуется эта цена
если бы рег-ру или тайм-веб рассказали за что именно они берут по 20 тысяч рублей, рассказали бы что куча бабок уходит на сотрудников, на ДЦ, на каналы, на защиты, на взятки стране, на откаты директорам. а им бедным остается лишь 20% от заработков. то сразу бы сложилось другое впечатление и ты бы в роли клиента понял, что да, цена действительно реальная и больше бы твой мозг не сопротивлялся этому восприятию ИХ реальности. это ведь не твоя проблема что они плохо распределяют свои финансы и переплачивают куче народу за пустоту, ведь так? не все компании умеют делать круто и без затрат.
а вот восприятие клиентом бренда отпугивает
вот даже когда я блоги завел
12 лет назад или 14 лет назад, смотря откуда брать точку отсчета
так вот, мне как клиенту, как блоггеру хотелось в свой блог написать именно о КРУТОЙ СОВРЕМЕННОЙ МОДНОЙ компании и порекомендовать своим читателям крутой хостинг, а не «хостинг для лоха»
но мое мнение что нужно «делать красиво и модно» — будет неизменчиво в любом случае. у того же reg.ru я никогда ничего не куплю, потому что они не соответствуют моим понятиям современности и «идти в ногу со временем».
зачем тогда придумали «смысловые» зоны?
типо .car
.bible
тд
все должно быть по смыслу разложено
только вот общество как раз не хочет делать красиво. именно дрочерство на красоту интернет брендинга.
Но тут сама идея не очень, неужели ты серьёзно думаешь что лучше если оплачивать услуги какого-нибудь hetzner.de вместо что там у них, panel.hetzner.de какого, открывался бы hetzner.money? Ну камон. Никто так не делает и выглядит странно.