Во-первых, и nftables, и iptables – это просто фронтенд для netfilter. И если проблема на стороне netfilter, то выбор фронтенда её не решит. Во-вторых, iptables – такое же кривое говно, только полное дремучего легаси и нерешённых проблем. В-третьих, в современных ядрах в принципе нет поддержки iptables – да, там можно использовать iptables, и под капотом эти правила будут транслироваться в nftables
А если первые три, то будут iptables правила в ядре как и раньше.
Можно выбрать, какой вариант хотите, средствами дистра.
У меня при выборе второго, большой сложный скрипт с правилами начинал выполняться на порядок дольше.
Насколько я помню, в команде vmmanager был отдельный человек, который специализировался на сетях и занимался всеми подобными задачами. Т.е. если этот тикет дошёл до него, то можно верить, что всё действительно было тщательно изучено, и тому, что пишет isp, можно доверять. Если этого чувака ещё не уволили, конечно.
А вообще странная история. У isp крупнейший клиент – FirstVDS. У них до тысячи виртуалок может быть на одном узле, и не было этой проблемы? Учитывая, что у фестов прямой выход и на команду разработки, и лично на директора.
Варианты:
1. Фесты сами тюнят ОС и оборудование и нормально живут в итоге.
2. У фестов своя, прокачанная версия vmmanager.
3. Надо просто использовать ip-fabric, на котором таких проблем нет (надо тестировать).
4. Всё вышесказанное (наиболее вероятный вариант)
а мы достоверно не знаем используют ли Фесты серверы с 1ТБ / 2 ТБ озу под ноды
они не разу в блоги не писали об этом, например vdsina.ru писала и фотки прикладывала(и буст у них пошел в тот момент как они сделали удобную-простую-свою-ПУ), а firstvds.ru не разу я не видел — поэтому что именно они использует — неизвестно
т.к. у них собственный ДЦ webdc — может быть там просто огромная куча серверов 256/512 например за 15 лет скопилась
например недавно я подсчитывал, что если бы 40000 вм от vdsina делались как делаю я — то понадобилось бы 160 стоек (что соразмерно ДЦ webdc)
у firstvds если открыть их AS 90000 IP адресов примерно, допустим они делают в 2-3 раза больше, чем делаю я. как раз подобный расчет вписывается в кол-во и кол-во стоек собственного ДЦ их. а значит вполне реальный сценарий.
если заполнять ангар серверами по 256 озу то таких проблем наверно нигде и не будет
банально как я делал на базе Хетзнера и ОВХ и никогда не было проблем из-за «малого кол-ва клиентов» на 1 сервер
я просто брал количеством этих серверов и становится крупным в сумме (антиддос уведомления овх мне по 200 писем каждый день спамят на почту)
но когда начинаешь делать Коло — то из-за того что ДЦ наебывают с электричеством или просто из-за того что в ДЦ места нет нигде — то приходится рассматривать и другие разные кейсы
4. Всё вышесказанное (наиболее вероятный вариант)
согласен да, нада пробовать все варианты — я например и не жалуюсь :) просто чатные тролли не поверили и сказали что это шиза. вот я и доказал топиком.
возможно ISP не хотят делать «массово круто» чтобы потом брать деньги за доработку с каждого хостинга уже по отдельности в зависимости от их потребностей.
> а мы достоверно не знаем используют ли Фесты серверы с 1ТБ / 2 ТБ озу под ноды
Я достоверно знаю, что используют, можешь мне верить ;)
> возможно ISP не хотят делать «массово круто» чтобы потом брать деньги за доработку с каждого хостинга уже по отдельности в зависимости от их потребностей.
Конкретно сейчас ISP хотят брать по миллиону за сервер с корпоративных клиентов. Хостинг для них неактуален уже лет 5 или около того. Для пары-тройки хостеров (FirstVDS, G-Core) могут что-то делать персонально, остальные по остаточному принципу.
Не могу их за это осуждать, десятикратный рост выручки (несмотря на потерю ispmanager) за 5 лет говорит сам за себя.
Эм, напомни, когда они последний раз цену поднимали? VM6 как стоил 100 рублей за ядро в месяц, так и стоит. Ладно, в 2019 он стоил где-то 80 рублей за ядро или какой там был курс евро. Это смешная разница.
Какой бы ни была инфляция, цена на продукты ISP особо не растёт (биллинг не в счёт, это раньше он был важен, а сейчас – капля в море по сравнению с VM и DCI).
Зато:
* ISPmanager (80% выручки старого isp) выделили в отдельную компанию
* зарубежных клиентов (а это и такие крупные ребята как G-Core, Novoserve, Aryaka и т.п.) выделили в отдельную компанию, и выручка по ней в отчётности российского юрлица не учитывается
* немало хостеров просто отвалилось от ISP
* у многих хостеров (особенно украинских) проблемы из-за войны, с них выручка тоже снижается, а кое-кого из российских просто отжали и распилили со всеми вытекающими (DataLine, очень крупный провайдер был, намного больше FirstVDS, и где они теперь? Под крылом ростелека, которому испы не нужны)
* конкуренция стала значительно сильнее из-за появления крупных сильных игроков (Selectel за те же 5 лет тоже вырос в 10 раз, Yandex Облако в это же время прокачалось, многие другие облака вышли «в люди»)
И при всём при том выручка ISP выросла до 350 миллионов. Откуда у них такие деньги? Ответ очень простой – контракты с госухой и крупной инфрой. На десятки (а по слухам и сотни) миллионов.
Зачем им теперь рынок хостинга вообще? Один крупный инфраструктурный клиент может перекрыть по деньгам вообще всех хостеров вместе взятых, и это только на каком-нибудь небольшом пилотном проекте.
конечно на контрактах люди зарабатывают больше, тот же selectel ушел в контракты с госами поэтому и поднялся
наверно это хорошо для тех, кто хочет просто заработать.
но крупные контракты могут кончиться
если компания не против работать «определенный момент времени» типо вот родилась и потом закрылась/продалась — может госы и есть хороший заработок. либо если компания изначально открывала какие-то направления, которые в конечном счете бесплатно потом отдаст стране и станет системно-значимой компанией. а предприниматель потом начнет развивать какой-то другой продукт. это называется обычный серийный бизнесмен.
я же придерживаюсь вечных заработков
и хостинг например в моем понимании это вечный заработок который никуда не отвалится и не пропадет
ты клонишь к тому что хостинг им как клиентура не интересна?
ну так что? я должен расстроиться или что?
я вообще когда-то давно писал топик, что если бы firstvds в 2007-2010 году — не сделали массовых продуктов, ТО ОНИ сами бы уже были как ростелеком, потому что именно из-за того, что они выпустили продукты для хостинга — стали и рождаться эти самые хостеры. а если бы их ПО было только закрытое как например множество разного русского ПО которое и сейчас продается только для госов по телефону и email РЕДсофт или spacevm какой-ниб.
не улавливаю что ты хочешь сказать
что им похуй на клиентов? ну так было всегда, тоже мне открытие, хостеры давно строят свои проекты исходя из этого знания и рисков.
как показывает практика
ДЦ у нас в стране не могут даже 20 квт выдать
ПО у нас в стране не выдает нормально 2 ТБ ноды
значит что?
значит хуяришь дачи, ангары, подвалы, в гаражах блять 100 квт заводишь
и наполняешь их тогда не 2 ТБ нодами, а 256 нодами, земли то у нас в стране навалом
настоящий бизнесмен всегда сможет найти решение ЛЮБОЙ проблемы. нужно просто взять поработать и сделать. многие нытики как раз вот так и рассуждают, что «невозможно», они не верят в саму возможность. поэтому и стоят на месте — как например хостеры из чатиков. ты оттуда пришел?
И при всём при том выручка ISP выросла до 350 миллионов. Откуда у них такие деньги?
оттуда что тарификация ВМменеджер
40 узлов это 200-250к месяц за лицензию, за год это 3 миллиона ру — с одного «хостера новичка»
хотя бы 10 таких хостеров
это уже 30 миллионов выручки
а если 50 таких хостеров или 100 то еще больше
50 — 150кк
100 — 300 миллионов выручки
100 узлов это 300к/мес, 3,6кк в год
это в 2 раза больше чем хостер новичок, это средний хостер как раз
а ведь 40 нод это именно новичок блять
а хотя бы 10 человек уж точно должны быть как Firstvds или vdsina, например Аеза одна чего только стоит с 50к ВМ — которые просто охуенно воплотили в реальность мою идею «как сэкономить на IP чтобы не покупать на овх и хетзнере», они эту идею хорошо трансформировали и придумали вообще новую нишу BGP виртуалок на базе хетзнера.
> ты клонишь к тому что хостинг им как клиентура не интересна?
ну так что? я должен расстроиться или что?
Я ни к чему не клоню, просто озвучиваю факты.
Но если тебе интересно моё мнение, то.
Лично мне бизнес с госухой не интересен. С хостерами работать намного интереснее, т.к. они куда более открытые, прозрачные и прямые. Да, долбоёбы через одного. Но зато не бюрократизированные говноеды.
Я лучше с нормальными долбоёбами поработаю, чем с «серьёзными дядями с чемоданами денег и менталитетом конца совка/начала 90-х».
Но я не исп :)
P.S. вдпсину ты сильно переоцениваешь. Они не то чтобы мелкие, но даже в лучшие годы были раз в 5 меньше, чем те же фесты. Только пиарились больше всех. Вообще вдсина всегда была побочным проектом другого, куда более крупного хостинга :) и у неё был шанс взлететь и стать крупным проектом. Но как по мне они во-первых перегнули с маргинальным маркетингом, а во-вторых свернули куда-то не туда в итоге.
P.P.S. тот же pq hosting давно перегнал вдсину как минимум по объёмам, а ведь начинался как проект одного чувака. Без мам, пап и кредитов (в отличие от вдсины)
> а хотя бы 10 человек уж точно должны быть как Firstvds или vdsina, например Аеза одна чего только стоит
«как Firstvds» – на российском юрлице только FirstVDS из хостеров такого размера.
На зарубежном юрлице – как FirstVDS наверное только G-Core и Novoserve. Может ещё Aryaka, если у испов с ней что-то выгорело, но я что-то не уверен. Чтобы в 2-5 раз меньше фестов – ну может 5-6 человек наберётся. Аеза, кстати, тоже скорее всего платит зарубежному юрлицу.
В том и прикол, что доходы с зарубежного юрлица на российском не отображаются. А на российском не так много клиентов среди хостеров.
PS. Кстати про Аезу… Я бы не сравнивал её с фестами. По количеству виртуалок – да, их там реально много. Но по железу там до фестов очень далеко. У фестов ноды с 2 ТБ ОЗУ в порядке вещей. И довольно сильные админы, которые специализируются на выжимании максимума ресурсов из ноды. Фесты умеют оверселлить на х3-х4 без видимых последствий для клиентов. А последствия есть, так что оверселлят они намного жёстче. Аеза так плотно упаковывать виртуалки просто физически не может. Так что… по количеству виртуалок-то да, может там действительно разница меньше чем в 2 раза. А по объёму ОЗУ на этих виртуалках разница будет раз в 10-20. И по среднему чеку соответственно.
А по объёму ОЗУ на этих виртуалках разница будет раз в 10-20. И по среднему чеку соответственно
эту фразу я не понял
уточни
допустим 100 узлов с 256 озу
и 10 узлов с 2 ТБ
разница лишь в электроэнергии допустим
но сама виртуалка с 2 озу не важно откуда создается
чтобы изменялся средний чек или вообще возможная цена виртуалки, с одинаковым кол-вом озу — это нужно чтобы стоимость узла колосально различалась. чтобы 1 озу допустим при первом варианте стоил себестоимость 100р, а при втором варианте 10р — вот тогда и «цену» можно делать различную, если себестоимость отличается.
оверселл тут вообще причем я не понял
или ты хочешь сказать что за счет оверселла Фесты прямо охуенно охуенно там засаживают, что 1 нода-узел приносит колосальные прибыли и если разделить эту прибыль на 1 озу то и появится этот самый средний чек? что 1 озу у фестов приносит больше денег, чем у других? ну это при условии что сервер 2 ТБ озу жрет меньше энергии, чем 8 серверов по 256 озу
на счет оверселла Фестов
я бы не сказал что это заслуга какая-то техническая
это заслуга маркетинга и сотрудников, заслуга ПОЛИТИКИ компании — когда они просто выселяют всех грузчиков и на хостинге/бренде остается именно тот, кто нихуя не грузит
я помню свою историю как я купил у них ВМ и убежал на второй день, потому что за прошедшие 24 часа они проанализировали мою нагрузку, поняли что я похуист с 100 посетителями и решили меня мигрировать на заполненную ноду с возможным оверселлом.
это было в 2012 году, они мигрировали меня прямо на живут, на второй день заказа. в итоге у меня образовалась потеря «топиков на моем форуме» на 4 часа времени пока шла миграция, что кстати тоже удивительно почему так долго если сайт занимал ну может пару гигабайт вместе с ОС, сам сайт за 10 лет занимает около 500 МБ и по сей день, но с тех пор сидит только на дедике.
возможно конечно тогда и правда была какая-то авария, но факт есть факт.
после потом у них еще были блокировки за брутфорс ворпрессов когда нагрузка на вдс шла (когда я реселлил их по первости)
а потом я еще просто так сделал реселлинг за 100р
ну вместо 120р доплачивал сам 20р — чисто раскручивал свой бренд
и что случилось?
они написали мне угрожающее письмо
я обиделся
и начал продавать Европейские облака
правда успех с европейскими ВМ у меня не особо получился
а зашли именно полноценные выделенные серверы
вся обратная связь состояла из сообщений «чувак мы верим тебе, да твои блоги круты, не нужно нам ничего доказывать» (я рекламировался сразу с кучей ссылок на доказательства кто я такой и почему у меня можно купить хостинг за 100р безлимитный)
и писали короче люди — что мой хостинг нахуй никому не нужен, потому что у них совсем другой уровень — ДЕДИК
потому что я как рекламировался?
я открывал whois домена и смотрел где он хостится и если видел что владелец сайта переплачивает (по моему мнению) за свой текущий хостинг — я гуглил, находил этого владельца и писал ему свое предложение о супер мощном честном хостинге с складчин европы за 100р
но т.к. я уже был образованным человеком, то достойными сайтами для моего хостинга я разумеется считал сайты вроде Пикабу ) я тогда еще не понимал насколько они мощные и нагрузочные, я думал что они сидят на шаредах. поэтому собственно все что казалось мне крутым и интересным — оказалось что оно сидело на дедиках. вот так я и начал продавать дедики.
> чтобы изменялся средний чек или вообще возможная цена виртуалки, с одинаковым кол-вом озу
Там не одинаковое количество ОЗУ. aeza набирали свой объём клиентов за счёт промо-виртуалок за 1 евро. Это прям максимальный лоукостинг хуже айхора. FirstVDS конечно тоже не брезгуют продажей дешёвых виртуалок, но их основной доход идёт от относительно жирных клиентов – тарифы Форсаж, Атлант и т.п.
Для фестов чем виртуалка толще, тем это выгоднее (впрочем, это для кого угодно выгоднее).
Т.е. их 100 тысяч виртуалок по общему объёму памяти не в 2 раза больше, чем 50 тысяч виртуалок аезы. А раз в 10 как минимум.
> на счет оверселла Фестов
я бы не сказал что это заслуга какая-то техническая
Технические приёмы позволяют им эффективно оверселлить память. Они могут продать виртуалок на 6 ТБ ОЗУ с ноды, на которой всего 2 ТБ физически. И клиенты этого не заметят не потому что они похуисты (хотя таких тоже полно), но и потому что технические возможности это позволяют.
Вот CPU так запросто не оверселлится, но тут другой прикол – ты просто платишь отдельную цену за выделенное ядро на своей виртуалке. Правда не уверен, что у именно фестов такое есть.
> это было в 2012 году
В 2012 году там была хуйня. И софт… поди ещё VDSmanager какой-нибудь.
Не было опыта работы ни с KVM, ни с виндой на виртуалках, ничего. Сравнивать с сегодняшним днём вообще нет смысла.
теперь я понял да пасибо
НО судя по тому, что в РФ нету дата-центров которые могут хотя бы 10-15 квт дать — модели как Аеза очень быстро догонят firstvds и перегонят уже к 2028 году. при условии что Хетзер тоже не кончится, в германии они вроде уже всю землю забили и даже в финлянции последние ангары возвели. а значит там тоже место кончаемое. но если Хетзнер будет и дальше расти, то стопудово они вырастут. потому что хетзнер это как безлимитная земля в россии. а сертифицированные ДЦ в РФ очень ограниченное кол-во — ставить серверы просто некуда.
Конкретно Aeza не потянет. Пупок развяжется. А более крупных с такой моделью я что-то не вспомню.
G-Core? Они делали нечто похожее как по мне, лоукост на дешёвом железе. Но что-то сдулся похоже их хостинг-проект, что меня не удивляет. Всё к этому шло, они попробовали сделать облако, увидели, что зарабатывают на нём в десятки раз больше, чем на впс-хостинге, итог закономерен. Облако развивают, впс заморозили.
Из относительно похожих на Aeza – PQ сейчас динамичнее всех развиваются. Но они и работают намного грамотнее, своё железо, максимальная унификация, упор на автоматизацию всего и вся. Переманивают к себе сотрудников ИСП.
FirstVDS, кстати, тоже решили выйти за рамки своих российских датацентров. Недавно запустили Амстердам и уже жалуются, что из-за высокого спроса не успевают устанавливать там дополнительное железо.
Всё к этому шло, они попробовали сделать облако, увидели, что зарабатывают на нём в десятки раз больше
это лишь значит что создатель создает ради денег
заработать «много» — это не обязательно цель создания бизнеса или хостинга
много людей создают бизнесы СОВСЕМ по другим причинам
например мой пример как из людской агрессии и противодействия мудакам я все создал
а изначально как ты видел я 20р доплачивал просто ради того чтобы придумать «что-то» что могло бы занять мой крутой домен, который валялся без дела и жалко было его удалять. у меня все проекты рождались например из причины что было красивое доменное имя которое нужно было чем-то наполнить.
лично я никогда не предам любые свои направления, если увижу какие-то прямо оверпрайс прибыльные. пока что самым прибыльным является перепродажа дедиков, где можно сразу хорошо накручивать абсолютно не утруждаясь. плюс из-за того что цена дедика высокая, то и наценка в % соотношении тоже получается достойная. если перепродать кому-то хотя бы 100 дедиков — это уже обычная офисная зар плата будет. примеры давно описал.
но в тоже время я не разу не отказывался от без прибыльных виртуалок
или вкладываю прибыли в создания лоукоста всякого
тд тд
почему? если я знаю что это не прибыльные услуги.
потому что опять же — тролли нападают на меня и вынуждают уничтожать их заработки. например рылов снова напал в апреле 2024 года. и я пообещал сделать такое же коло как у него но дешевле. или Мартин хетзнер напал на меня — и я пообещал после 2030 начать военные действия против него в «конкуренции ценовой».
а так же допустим, в вечном поиске максимальной экономии я пришел к выводу что даже на дачах можно сделать ничуть не хуже. и возможно даже дачный сервер будет приносить хостеру больше прибыли, чем сервер из сертифицированного ДЦ
так что ебал я нахуй супер прибыльные услуги
скорее всего, потому что не разу Амазон или Гугл не наезжали на меня и не гадили мне :) поэтому мне на них просто похуй вообще.
если ты считаешь что «не удивлен что кто-то переориентировался»
то вот — живой пример я — который никогда в жизни не переорирентируется.
поэтому твое суждение о том, что все должны стремиться к облакам — ошибочно.
плюс зачем вообще люди работают? чтобы получать интересные задачи и развиваться в опыте.
люди не работают ради денег.
есть метка «работа» уже все не вспомню, но думаю полезно почитать
почему? потому что пошла прибыль как раз, которую нужно было куда-то тратить же.
получается что? мне как человеку сверх прибыли не нужны. раз свои потребности я удовлетворил и уже начал тратиться на других и помогать людям.
вообще, вот на моем примере — клиенту нахуй не нужны сертифицированные цоды
клиенту нужно чтобы дата-центр мог продать ему сервер на 15 лет пользования. тупо взять бабки на покупку сервера, купить, собрать, поставить в любой сарай на нашей необъятной матушке россиии и дать «конкурентную цену месячную» и 15 лет больше не контактировать по серверу, работает пока не сгорит. построить сарай как склад озона какой-ниб — мне кажется не сложно
но я бы не начал продавать вовсе — если бы не встретил агрессию людей
именно всякие мудаки породили уже осознанного меня, который за 10 лет обучил сотни людей бесплатно, которые наоткрывали хостинги, которые теперь отбирают хлеб у этих самых мудаков, которым почему-то не нравился мой «бесплатный фан ради опыта»
и собственно, раз уж я пишу, чтобы для истории потом ссылаться сюда сто раз не отвечать
у меня никогда не было желания кого-то поглощать или обыгрывать в чем-то или создавать какие-то реальные бизнесы вроде селектела
но чем дольше я живу, тем сильнее понимаю что в РФ должна быть хорошая такая монополия, которая произведет полную чистку всех троло-хостингов и поглотит их. и для такой монополии нужно сделать Единую панель ВМ, хорошую надежную точку входа — куда я абсолютно бесплатно приведу весь рынок.
и вполне вероятно что так оно и произойдет, когда мне будет уже 60 лет и буду пенсионером, я смогу написать топик «как что, как оно», который будет посвящаться всем троллям, которые к тому времени лишатся работы.
если ты хочешь заработать массовый продукт можно и не делать
если ты хочешь поглотить рынок — массовый продукт обязателен, нужно метить в монополии, иначе зачем создавать
деньги то можно и по найму заработать
а вот создать монополию по найму не получится
массовый продукт еще можно создавать из принципа/обиды/доказательства — на зло врагам, в том числе
биллинг не в счёт, это раньше он был важен, а сейчас – капля в море по сравнению с VM и DCI
ну их биллинг это биллинг для услуг, которые были популярны 15 лет назад
хостинг
домены
виртулаки
дедики
уже прошли новые эпохи, облачные эпохи
и их биллинг просто не может продавать такие ГИБКИЕ наборы услуг
поэтому он и затух
тут просто нужно делать НОВЫЙ биллинг для современности
хороший билллнг вполне мог бы поглощать рынок (я начал писать топики еще с 2018 про единую панель великой россии)
просто никто не хочет строить монополии и поглощать хостеров
почему — не понятно. может не хотят делать крупную точку отказа, может боятся что государство такую компанию сразу приватизирует
Похожая проблема с лагами и низкой производительностью сети была ещё во времена VMmanager 5. В основном причина была в traffic shaper, он же — tc.
Эту утилиту VMmanager 5 использует для настройки шейпера трафика на каждую виртуалку. И уже при кол-ве виртуалок 150+ на ноде, общая пропускная скорость порта на сервере падала при замерах скорости. Но если удалить все виртуалки и замерить скорость сети любыми утилитами, хоть через iperf3 или тем же speedtes-cli, скорость была равной скорости порта. При создании 150+ виртуалок с включенным шейпером трафика у каждой и общей нагрузки на порт от них в районе ~100Мбит/С на ноде с 1Гбит/с портом, замеряя скорость как на ноде, так и с любой виртуалки, получалось порядка 300-400Мбит/с и не больше.
Решения было только 2 (желательно было делать оба пункта):
1 — отключение шейпера в любом виде для виртуалок
2 — отключение tso gso и tx offload для бриджа и физ.сетевого интерфейса:
ethtool -K vmbr0 gso off; ethtool -K vmbr0 tso off; ethtool -K vmbr0 tx off
ethtool -K eno1 gso off; ethtool -K eno1 tso off; ethtool -K eno1 tx off
Вполне вероятно в VMmanager 6 они наступили на те же грабли, используя nftables, когда при большим количестве правил для nftables, проблема начинаются в сетевом стеке ниже уровнем, особенно при большом количестве packet per second на ноде.
ИМХО основная проблема контор на ISPsystem и ISPmanager в том, что они за 10+ лет разработки серьёзных продуктов, до сих пор не научились тестировать свои продукты под высокими нагрузками и с большим количеством различных сущностей в своих панелях, именно панелях, а не продуктах. Потому что продуктом скорее можно назвать законченный и стабильно работающее решение, в котором практически нет багов. Складывается ощущение, что за многие годы никто из крупных их клиентов, никогда к ним не обращался с такими проблемами. Либо если обращались такие крупняки, то видимо решения не было найдено или как обычно «задачу зарегистрировали, решим через пару лет или в следующей новой мажорной версии нашей панели, когда придумаем, как найти причину поднять цену в 2-3 раза».
2 простейших и известных кейса:
— для ispsystem это vmmanager и сетевые лаги при большом кол-ве виртуалок на ноде
— для ispmanager это резервное копирование, которое может делаться сутками при наличии большого количества сущностей у пользователей (и дело даже не в объёме файлов при архивации)
25 комментариев
Это не так. Транслироваться они будут если использовать вторые три инструмента из этих:
/usr/sbin/iptables-legacy
/usr/sbin/iptables-legacy-restore
/usr/sbin/iptables-legacy-save
/usr/sbin/iptables-nft
/usr/sbin/iptables-nft-restore
/usr/sbin/iptables-nft-save
А если первые три, то будут iptables правила в ядре как и раньше.
Можно выбрать, какой вариант хотите, средствами дистра.
У меня при выборе второго, большой сложный скрипт с правилами начинал выполняться на порядок дольше.
А вообще странная история. У isp крупнейший клиент – FirstVDS. У них до тысячи виртуалок может быть на одном узле, и не было этой проблемы? Учитывая, что у фестов прямой выход и на команду разработки, и лично на директора.
Варианты:
1. Фесты сами тюнят ОС и оборудование и нормально живут в итоге.
2. У фестов своя, прокачанная версия vmmanager.
3. Надо просто использовать ip-fabric, на котором таких проблем нет (надо тестировать).
4. Всё вышесказанное (наиболее вероятный вариант)
они не разу в блоги не писали об этом, например vdsina.ru писала и фотки прикладывала(и буст у них пошел в тот момент как они сделали удобную-простую-свою-ПУ), а firstvds.ru не разу я не видел — поэтому что именно они использует — неизвестно
т.к. у них собственный ДЦ webdc — может быть там просто огромная куча серверов 256/512 например за 15 лет скопилась
например недавно я подсчитывал, что если бы 40000 вм от vdsina делались как делаю я — то понадобилось бы 160 стоек (что соразмерно ДЦ webdc)
у firstvds если открыть их AS 90000 IP адресов примерно, допустим они делают в 2-3 раза больше, чем делаю я. как раз подобный расчет вписывается в кол-во и кол-во стоек собственного ДЦ их. а значит вполне реальный сценарий.
если заполнять ангар серверами по 256 озу то таких проблем наверно нигде и не будет
банально как я делал на базе Хетзнера и ОВХ и никогда не было проблем из-за «малого кол-ва клиентов» на 1 сервер
я просто брал количеством этих серверов и становится крупным в сумме (антиддос уведомления овх мне по 200 писем каждый день спамят на почту)
но когда начинаешь делать Коло — то из-за того что ДЦ наебывают с электричеством или просто из-за того что в ДЦ места нет нигде — то приходится рассматривать и другие разные кейсы
согласен да, нада пробовать все варианты — я например и не жалуюсь :) просто чатные тролли не поверили и сказали что это шиза. вот я и доказал топиком.
возможно ISP не хотят делать «массово круто» чтобы потом брать деньги за доработку с каждого хостинга уже по отдельности в зависимости от их потребностей.
Я достоверно знаю, что используют, можешь мне верить ;)
> возможно ISP не хотят делать «массово круто» чтобы потом брать деньги за доработку с каждого хостинга уже по отдельности в зависимости от их потребностей.
Конкретно сейчас ISP хотят брать по миллиону за сервер с корпоративных клиентов. Хостинг для них неактуален уже лет 5 или около того. Для пары-тройки хостеров (FirstVDS, G-Core) могут что-то делать персонально, остальные по остаточному принципу.
Не могу их за это осуждать, десятикратный рост выручки (несмотря на потерю ispmanager) за 5 лет говорит сам за себя.
так что тут тоже не все так просто )
Какой бы ни была инфляция, цена на продукты ISP особо не растёт (биллинг не в счёт, это раньше он был важен, а сейчас – капля в море по сравнению с VM и DCI).
Зато:
* ISPmanager (80% выручки старого isp) выделили в отдельную компанию
* зарубежных клиентов (а это и такие крупные ребята как G-Core, Novoserve, Aryaka и т.п.) выделили в отдельную компанию, и выручка по ней в отчётности российского юрлица не учитывается
* немало хостеров просто отвалилось от ISP
* у многих хостеров (особенно украинских) проблемы из-за войны, с них выручка тоже снижается, а кое-кого из российских просто отжали и распилили со всеми вытекающими (DataLine, очень крупный провайдер был, намного больше FirstVDS, и где они теперь? Под крылом ростелека, которому испы не нужны)
* конкуренция стала значительно сильнее из-за появления крупных сильных игроков (Selectel за те же 5 лет тоже вырос в 10 раз, Yandex Облако в это же время прокачалось, многие другие облака вышли «в люди»)
И при всём при том выручка ISP выросла до 350 миллионов. Откуда у них такие деньги? Ответ очень простой – контракты с госухой и крупной инфрой. На десятки (а по слухам и сотни) миллионов.
Зачем им теперь рынок хостинга вообще? Один крупный инфраструктурный клиент может перекрыть по деньгам вообще всех хостеров вместе взятых, и это только на каком-нибудь небольшом пилотном проекте.
наверно это хорошо для тех, кто хочет просто заработать.
но крупные контракты могут кончиться
если компания не против работать «определенный момент времени» типо вот родилась и потом закрылась/продалась — может госы и есть хороший заработок. либо если компания изначально открывала какие-то направления, которые в конечном счете бесплатно потом отдаст стране и станет системно-значимой компанией. а предприниматель потом начнет развивать какой-то другой продукт. это называется обычный серийный бизнесмен.
я же придерживаюсь вечных заработков
и хостинг например в моем понимании это вечный заработок который никуда не отвалится и не пропадет
ты клонишь к тому что хостинг им как клиентура не интересна?
ну так что? я должен расстроиться или что?
я вообще когда-то давно писал топик, что если бы firstvds в 2007-2010 году — не сделали массовых продуктов, ТО ОНИ сами бы уже были как ростелеком, потому что именно из-за того, что они выпустили продукты для хостинга — стали и рождаться эти самые хостеры. а если бы их ПО было только закрытое как например множество разного русского ПО которое и сейчас продается только для госов по телефону и email РЕДсофт или spacevm какой-ниб.
не улавливаю что ты хочешь сказать
что им похуй на клиентов? ну так было всегда, тоже мне открытие, хостеры давно строят свои проекты исходя из этого знания и рисков.
как показывает практика
ДЦ у нас в стране не могут даже 20 квт выдать
ПО у нас в стране не выдает нормально 2 ТБ ноды
значит что?
значит хуяришь дачи, ангары, подвалы, в гаражах блять 100 квт заводишь
и наполняешь их тогда не 2 ТБ нодами, а 256 нодами, земли то у нас в стране навалом
настоящий бизнесмен всегда сможет найти решение ЛЮБОЙ проблемы. нужно просто взять поработать и сделать. многие нытики как раз вот так и рассуждают, что «невозможно», они не верят в саму возможность. поэтому и стоят на месте — как например хостеры из чатиков. ты оттуда пришел?
оттуда что тарификация ВМменеджер
40 узлов это 200-250к месяц за лицензию, за год это 3 миллиона ру — с одного «хостера новичка»
хотя бы 10 таких хостеров
это уже 30 миллионов выручки
а если 50 таких хостеров или 100 то еще больше
50 — 150кк
100 — 300 миллионов выручки
100 узлов это 300к/мес, 3,6кк в год
это в 2 раза больше чем хостер новичок, это средний хостер как раз
а ведь 40 нод это именно новичок блять
а хотя бы 10 человек уж точно должны быть как Firstvds или vdsina, например Аеза одна чего только стоит с 50к ВМ — которые просто охуенно воплотили в реальность мою идею «как сэкономить на IP чтобы не покупать на овх и хетзнере», они эту идею хорошо трансформировали и придумали вообще новую нишу BGP виртуалок на базе хетзнера.
ну так что? я должен расстроиться или что?
Я ни к чему не клоню, просто озвучиваю факты.
Но если тебе интересно моё мнение, то.
Лично мне бизнес с госухой не интересен. С хостерами работать намного интереснее, т.к. они куда более открытые, прозрачные и прямые. Да, долбоёбы через одного. Но зато не бюрократизированные говноеды.
Я лучше с нормальными долбоёбами поработаю, чем с «серьёзными дядями с чемоданами денег и менталитетом конца совка/начала 90-х».
Но я не исп :)
P.S. вдпсину ты сильно переоцениваешь. Они не то чтобы мелкие, но даже в лучшие годы были раз в 5 меньше, чем те же фесты. Только пиарились больше всех. Вообще вдсина всегда была побочным проектом другого, куда более крупного хостинга :) и у неё был шанс взлететь и стать крупным проектом. Но как по мне они во-первых перегнули с маргинальным маркетингом, а во-вторых свернули куда-то не туда в итоге.
P.P.S. тот же pq hosting давно перегнал вдсину как минимум по объёмам, а ведь начинался как проект одного чувака. Без мам, пап и кредитов (в отличие от вдсины)
«как Firstvds» – на российском юрлице только FirstVDS из хостеров такого размера.
На зарубежном юрлице – как FirstVDS наверное только G-Core и Novoserve. Может ещё Aryaka, если у испов с ней что-то выгорело, но я что-то не уверен. Чтобы в 2-5 раз меньше фестов – ну может 5-6 человек наберётся. Аеза, кстати, тоже скорее всего платит зарубежному юрлицу.
В том и прикол, что доходы с зарубежного юрлица на российском не отображаются. А на российском не так много клиентов среди хостеров.
PS. Кстати про Аезу… Я бы не сравнивал её с фестами. По количеству виртуалок – да, их там реально много. Но по железу там до фестов очень далеко. У фестов ноды с 2 ТБ ОЗУ в порядке вещей. И довольно сильные админы, которые специализируются на выжимании максимума ресурсов из ноды. Фесты умеют оверселлить на х3-х4 без видимых последствий для клиентов. А последствия есть, так что оверселлят они намного жёстче. Аеза так плотно упаковывать виртуалки просто физически не может. Так что… по количеству виртуалок-то да, может там действительно разница меньше чем в 2 раза. А по объёму ОЗУ на этих виртуалках разница будет раз в 10-20. И по среднему чеку соответственно.
уточни
допустим 100 узлов с 256 озу
и 10 узлов с 2 ТБ
разница лишь в электроэнергии допустим
но сама виртуалка с 2 озу не важно откуда создается
чтобы изменялся средний чек или вообще возможная цена виртуалки, с одинаковым кол-вом озу — это нужно чтобы стоимость узла колосально различалась. чтобы 1 озу допустим при первом варианте стоил себестоимость 100р, а при втором варианте 10р — вот тогда и «цену» можно делать различную, если себестоимость отличается.
оверселл тут вообще причем я не понял
или ты хочешь сказать что за счет оверселла Фесты прямо охуенно охуенно там засаживают, что 1 нода-узел приносит колосальные прибыли и если разделить эту прибыль на 1 озу то и появится этот самый средний чек? что 1 озу у фестов приносит больше денег, чем у других? ну это при условии что сервер 2 ТБ озу жрет меньше энергии, чем 8 серверов по 256 озу
на счет оверселла Фестов
я бы не сказал что это заслуга какая-то техническая
это заслуга маркетинга и сотрудников, заслуга ПОЛИТИКИ компании — когда они просто выселяют всех грузчиков и на хостинге/бренде остается именно тот, кто нихуя не грузит
я помню свою историю как я купил у них ВМ и убежал на второй день, потому что за прошедшие 24 часа они проанализировали мою нагрузку, поняли что я похуист с 100 посетителями и решили меня мигрировать на заполненную ноду с возможным оверселлом.
это было в 2012 году, они мигрировали меня прямо на живут, на второй день заказа. в итоге у меня образовалась потеря «топиков на моем форуме» на 4 часа времени пока шла миграция, что кстати тоже удивительно почему так долго если сайт занимал ну может пару гигабайт вместе с ОС, сам сайт за 10 лет занимает около 500 МБ и по сей день, но с тех пор сидит только на дедике.
возможно конечно тогда и правда была какая-то авария, но факт есть факт.
после потом у них еще были блокировки за брутфорс ворпрессов когда нагрузка на вдс шла (когда я реселлил их по первости)
а потом я еще просто так сделал реселлинг за 100р
ну вместо 120р доплачивал сам 20р — чисто раскручивал свой бренд
и что случилось?
они написали мне угрожающее письмо
я обиделся
и начал продавать Европейские облака
правда успех с европейскими ВМ у меня не особо получился
а зашли именно полноценные выделенные серверы
вся обратная связь состояла из сообщений «чувак мы верим тебе, да твои блоги круты, не нужно нам ничего доказывать» (я рекламировался сразу с кучей ссылок на доказательства кто я такой и почему у меня можно купить хостинг за 100р безлимитный)
и писали короче люди — что мой хостинг нахуй никому не нужен, потому что у них совсем другой уровень — ДЕДИК
потому что я как рекламировался?
я открывал whois домена и смотрел где он хостится и если видел что владелец сайта переплачивает (по моему мнению) за свой текущий хостинг — я гуглил, находил этого владельца и писал ему свое предложение о супер мощном честном хостинге с складчин европы за 100р
но т.к. я уже был образованным человеком, то достойными сайтами для моего хостинга я разумеется считал сайты вроде Пикабу ) я тогда еще не понимал насколько они мощные и нагрузочные, я думал что они сидят на шаредах. поэтому собственно все что казалось мне крутым и интересным — оказалось что оно сидело на дедиках. вот так я и начал продавать дедики.
уточни
Уточняю. Ошибка во фразе ниже:
> чтобы изменялся средний чек или вообще возможная цена виртуалки, с одинаковым кол-вом озу
Там не одинаковое количество ОЗУ. aeza набирали свой объём клиентов за счёт промо-виртуалок за 1 евро. Это прям максимальный лоукостинг хуже айхора. FirstVDS конечно тоже не брезгуют продажей дешёвых виртуалок, но их основной доход идёт от относительно жирных клиентов – тарифы Форсаж, Атлант и т.п.
Для фестов чем виртуалка толще, тем это выгоднее (впрочем, это для кого угодно выгоднее).
Т.е. их 100 тысяч виртуалок по общему объёму памяти не в 2 раза больше, чем 50 тысяч виртуалок аезы. А раз в 10 как минимум.
> на счет оверселла Фестов
я бы не сказал что это заслуга какая-то техническая
Технические приёмы позволяют им эффективно оверселлить память. Они могут продать виртуалок на 6 ТБ ОЗУ с ноды, на которой всего 2 ТБ физически. И клиенты этого не заметят не потому что они похуисты (хотя таких тоже полно), но и потому что технические возможности это позволяют.
Вот CPU так запросто не оверселлится, но тут другой прикол – ты просто платишь отдельную цену за выделенное ядро на своей виртуалке. Правда не уверен, что у именно фестов такое есть.
> это было в 2012 году
В 2012 году там была хуйня. И софт… поди ещё VDSmanager какой-нибудь.
Не было опыта работы ни с KVM, ни с виндой на виртуалках, ничего. Сравнивать с сегодняшним днём вообще нет смысла.
НО судя по тому, что в РФ нету дата-центров которые могут хотя бы 10-15 квт дать — модели как Аеза очень быстро догонят firstvds и перегонят уже к 2028 году. при условии что Хетзер тоже не кончится, в германии они вроде уже всю землю забили и даже в финлянции последние ангары возвели. а значит там тоже место кончаемое. но если Хетзнер будет и дальше расти, то стопудово они вырастут. потому что хетзнер это как безлимитная земля в россии. а сертифицированные ДЦ в РФ очень ограниченное кол-во — ставить серверы просто некуда.
G-Core? Они делали нечто похожее как по мне, лоукост на дешёвом железе. Но что-то сдулся похоже их хостинг-проект, что меня не удивляет. Всё к этому шло, они попробовали сделать облако, увидели, что зарабатывают на нём в десятки раз больше, чем на впс-хостинге, итог закономерен. Облако развивают, впс заморозили.
Из относительно похожих на Aeza – PQ сейчас динамичнее всех развиваются. Но они и работают намного грамотнее, своё железо, максимальная унификация, упор на автоматизацию всего и вся. Переманивают к себе сотрудников ИСП.
FirstVDS, кстати, тоже решили выйти за рамки своих российских датацентров. Недавно запустили Амстердам и уже жалуются, что из-за высокого спроса не успевают устанавливать там дополнительное железо.
заработать «много» — это не обязательно цель создания бизнеса или хостинга
много людей создают бизнесы СОВСЕМ по другим причинам
например мой пример как из людской агрессии и противодействия мудакам я все создал
а изначально как ты видел я 20р доплачивал просто ради того чтобы придумать «что-то» что могло бы занять мой крутой домен, который валялся без дела и жалко было его удалять. у меня все проекты рождались например из причины что было красивое доменное имя которое нужно было чем-то наполнить.
но в тоже время я не разу не отказывался от без прибыльных виртуалок
или вкладываю прибыли в создания лоукоста всякого
тд тд
почему? если я знаю что это не прибыльные услуги.
потому что опять же — тролли нападают на меня и вынуждают уничтожать их заработки. например рылов снова напал в апреле 2024 года. и я пообещал сделать такое же коло как у него но дешевле. или Мартин хетзнер напал на меня — и я пообещал после 2030 начать военные действия против него в «конкуренции ценовой».
а так же допустим, в вечном поиске максимальной экономии я пришел к выводу что даже на дачах можно сделать ничуть не хуже. и возможно даже дачный сервер будет приносить хостеру больше прибыли, чем сервер из сертифицированного ДЦ
так что ебал я нахуй супер прибыльные услуги
скорее всего, потому что не разу Амазон или Гугл не наезжали на меня и не гадили мне :) поэтому мне на них просто похуй вообще.
если ты считаешь что «не удивлен что кто-то переориентировался»
то вот — живой пример я — который никогда в жизни не переорирентируется.
поэтому твое суждение о том, что все должны стремиться к облакам — ошибочно.
люди не работают ради денег.
есть метка «работа» уже все не вспомню, но думаю полезно почитать
например я более 10 миллионов потратил на тянку (на 2024 год считаю, а топик старый)
hosting.show/alice2k-hosting/a-vot-tyanke-ya-uzhe-podkopil-na-otpusk-vtoroy-god-uzhe-budet-v-avguste-otdyhat-toy-tatuirovannoy-studentke.html
почему? потому что пошла прибыль как раз, которую нужно было куда-то тратить же.
получается что? мне как человеку сверх прибыли не нужны. раз свои потребности я удовлетворил и уже начал тратиться на других и помогать людям.
или вот как рождались продукты
hosting.show/mnenie/sarkazm-net-tolko-chistoe-mnenie.html
или вот
hosting.show/hostsuki/problemy-kotorye-ya-vstretil-za-10-let.html
клиенту нужно чтобы дата-центр мог продать ему сервер на 15 лет пользования. тупо взять бабки на покупку сервера, купить, собрать, поставить в любой сарай на нашей необъятной матушке россиии и дать «конкурентную цену месячную» и 15 лет больше не контактировать по серверу, работает пока не сгорит. построить сарай как склад озона какой-ниб — мне кажется не сложно
У других проектов может быть совсем другая ЦА с иными потребностями.
именно всякие мудаки породили уже осознанного меня, который за 10 лет обучил сотни людей бесплатно, которые наоткрывали хостинги, которые теперь отбирают хлеб у этих самых мудаков, которым почему-то не нравился мой «бесплатный фан ради опыта»
вот так вот в жизни бывает
у меня никогда не было желания кого-то поглощать или обыгрывать в чем-то или создавать какие-то реальные бизнесы вроде селектела
но чем дольше я живу, тем сильнее понимаю что в РФ должна быть хорошая такая монополия, которая произведет полную чистку всех троло-хостингов и поглотит их. и для такой монополии нужно сделать Единую панель ВМ, хорошую надежную точку входа — куда я абсолютно бесплатно приведу весь рынок.
и вполне вероятно что так оно и произойдет, когда мне будет уже 60 лет и буду пенсионером, я смогу написать топик «как что, как оно», который будет посвящаться всем троллям, которые к тому времени лишатся работы.
если ты хочешь поглотить рынок — массовый продукт обязателен, нужно метить в монополии, иначе зачем создавать
деньги то можно и по найму заработать
а вот создать монополию по найму не получится
массовый продукт еще можно создавать из принципа/обиды/доказательства — на зло врагам, в том числе
хостинг
домены
виртулаки
дедики
уже прошли новые эпохи, облачные эпохи
и их биллинг просто не может продавать такие ГИБКИЕ наборы услуг
поэтому он и затух
тут просто нужно делать НОВЫЙ биллинг для современности
хороший билллнг вполне мог бы поглощать рынок (я начал писать топики еще с 2018 про единую панель великой россии)
просто никто не хочет строить монополии и поглощать хостеров
почему — не понятно. может не хотят делать крупную точку отказа, может боятся что государство такую компанию сразу приватизирует
Эту утилиту VMmanager 5 использует для настройки шейпера трафика на каждую виртуалку. И уже при кол-ве виртуалок 150+ на ноде, общая пропускная скорость порта на сервере падала при замерах скорости. Но если удалить все виртуалки и замерить скорость сети любыми утилитами, хоть через iperf3 или тем же speedtes-cli, скорость была равной скорости порта. При создании 150+ виртуалок с включенным шейпером трафика у каждой и общей нагрузки на порт от них в районе ~100Мбит/С на ноде с 1Гбит/с портом, замеряя скорость как на ноде, так и с любой виртуалки, получалось порядка 300-400Мбит/с и не больше.
Решения было только 2 (желательно было делать оба пункта):
1 — отключение шейпера в любом виде для виртуалок
2 — отключение tso gso и tx offload для бриджа и физ.сетевого интерфейса:
ethtool -K vmbr0 gso off; ethtool -K vmbr0 tso off; ethtool -K vmbr0 tx off
ethtool -K eno1 gso off; ethtool -K eno1 tso off; ethtool -K eno1 tx off
Вполне вероятно в VMmanager 6 они наступили на те же грабли, используя nftables, когда при большим количестве правил для nftables, проблема начинаются в сетевом стеке ниже уровнем, особенно при большом количестве packet per second на ноде.
ИМХО основная проблема контор на ISPsystem и ISPmanager в том, что они за 10+ лет разработки серьёзных продуктов, до сих пор не научились тестировать свои продукты под высокими нагрузками и с большим количеством различных сущностей в своих панелях, именно панелях, а не продуктах. Потому что продуктом скорее можно назвать законченный и стабильно работающее решение, в котором практически нет багов. Складывается ощущение, что за многие годы никто из крупных их клиентов, никогда к ним не обращался с такими проблемами. Либо если обращались такие крупняки, то видимо решения не было найдено или как обычно «задачу зарегистрировали, решим через пару лет или в следующей новой мажорной версии нашей панели, когда придумаем, как найти причину поднять цену в 2-3 раза».
2 простейших и известных кейса:
— для ispsystem это vmmanager и сетевые лаги при большом кол-ве виртуалок на ноде
— для ispmanager это резервное копирование, которое может делаться сутками при наличии большого количества сущностей у пользователей (и дело даже не в объёме файлов при архивации)