ладно трачу очередные 24000 чтобы убедиться и написать честный топик



заказываю еще одну ноду в питере selectel SPB-2 локации
будет Alma-9
и будет raid-1

во первых проверю разницу с raid-1
во вторых проверю миграцию между Альма-9 на Альма-9, вдруг все таки проблема с невозможностью миграции Альма-8 на Альма-9 — тоже связана именно с дисками selectel, потому что похоже кроме меня никто особо то и не жалуется, либо все делают на Альма-8 (прошло 2 месяца, а обнову они так и не выпустили, значит жалоб то и нет)

плохо что нужно держать и мастер узел - в той же локации - что по другому нельзя ?



может можно создать два мастер узла
один в надежном ДЦ типо ОВХ
который будет отправлять команды второму мастер узлу, а тот уже в свою очередь распределять что нужно

допустим трафик между овх и вторым мастером — будет минимальный, чисто командный
а основной трафик который создает VMmanager (а она создает нехило так если узлов сотня или выше) будет проходить уже между копией мастер локальной и узлами локальными.

конечно это сложнее
я понятия не имею как ПО работает
но зато управление было бы более гибко — с точки зрения пользователя ПО

обновил vmmanager - 25-11-2025 - кнопки перестали тыкаться

будто бы дизайн что-ли не обновился
или функция «кнопка» тупо удалилась
может там css похерился

не знаю

щас нет желания разбираться
но 2 шт обновил и больше в панели ничего теперь не тыкается
куда бы не ткнул — результата не происходит

до вечера подожду может обнова еще вторая придет
если не придет буду тестить в разных браузерах или кукисы очищать ну или на крайняк ребутать мастер узел

update
да сброс всех кукисов — помогает
возможно это какое-то внутреннее кеширование хоть я такого не разу и не встречал в настройках

хм опять селектел и опять диск - но это уже не 9950x а обычный бомж дедик чипкор

поступил запрос


я глянул
и увидел в VMmanager при попытке запустить виртуалку эту ошибку


притом что этот запрос был 12 часов назад — вчера еще
и я ответил и сразу потом пошел спать

читаю что мне чел за ночь написал






решил проверить диск


убедился сам что файловая система сервера реально РИД-Онли — тот же самый симптом когда «узел зависает 9950x»
но в этот раз целые сутки пока я спал — все видимо работало и никто даже тикета не написал
либо никто просто не заметил т.к. не держит на сервере критичных данных
ХЗХЗ

пошел ребутнул





KINGSTON SA400S37480G
=== START OF INFORMATION SECTION ===
Model Family: Phison Driven SSDs
Device Model: KINGSTON SA400S37480G
Serial Number: 50026B738271C712
LU WWN Device Id: 5 0026b7 38271c712
Firmware Version: SBFKQ1.3
User Capacity: 480,103,981,056 bytes [480 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Device is: In smartctl database [for details use: -P show]
ATA Version is: ACS-3 T13/2161-D revision 4
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Sun Nov 9 00:32:25 2025 MSK
SMART support is: Available — device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (65535) seconds.
Offline data collection
capabilities: (0x11) SMART execute Offline immediate.
No Auto Offline data collection support.
Suspend Offline collection upon new
command.
No Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
No Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 2) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x0032 100 100 000 Old_age Always — 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always — 3105
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always — 408
148 Unknown_Attribute 0x0000 100 100 000 Old_age Offline — 0
149 Unknown_Attribute 0x0000 100 100 000 Old_age Offline — 0
167 Write_Protect_Mode 0x0000 100 100 000 Old_age Offline — 0
168 SATA_Phy_Error_Count 0x0012 100 100 000 Old_age Always — 0
169 Bad_Block_Rate 0x0000 100 100 000 Old_age Offline — 11
170 Bad_Blk_Ct_Lat/Erl 0x0000 100 100 010 Old_age Offline — 0/9
172 Erase_Fail_Count 0x0032 100 100 000 Old_age Always — 0
173 MaxAvgErase_Ct 0x0000 100 100 000 Old_age Offline — 119 (Average 114)
181 Program_Fail_Count 0x0032 100 100 000 Old_age Always — 0
182 Erase_Fail_Count 0x0000 100 100 000 Old_age Offline — 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always — 0
192 Unsafe_Shutdown_Count 0x0012 100 100 000 Old_age Always — 406
194 Temperature_Celsius 0x0022 023 040 000 Old_age Always — 23 (Min/Max 18/40)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always — 0
199 SATA_CRC_Error_Count 0x0032 100 100 000 Old_age Always — 852002
218 CRC_Error_Count 0x0032 100 100 000 Old_age Always — 0
231 SSD_Life_Left 0x0000 092 092 000 Old_age Offline — 92
233 Flash_Writes_GiB 0x0032 100 100 000 Old_age Always — 15556
241 Lifetime_Writes_GiB 0x0032 100 100 000 Old_age Always — 18543
242 Lifetime_Reads_GiB 0x0032 100 100 000 Old_age Always — 249
244 Average_Erase_Count 0x0000 100 100 000 Old_age Offline — 114
245 Max_Erase_Count 0x0000 100 100 000 Old_age Offline — 119
246 Total_Erase_Count 0x0000 100 100 000 Old_age Offline — 412664

SMART Error Log not supported
=== START OF INFORMATION SECTION ===
Model Family: Phison Driven SSDs
Device Model: KINGSTON SA400S37480G
Serial Number: 50026B738271C964
LU WWN Device Id: 5 0026b7 38271c964
Firmware Version: SBFKQ1.3
User Capacity: 480,103,981,056 bytes [480 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Device is: In smartctl database [for details use: -P show]
ATA Version is: ACS-3 T13/2161-D revision 4
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Sun Nov 9 00:33:24 2025 MSK
SMART support is: Available — device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (65535) seconds.
Offline data collection
capabilities: (0x11) SMART execute Offline immediate.
No Auto Offline data collection support.
Suspend Offline collection upon new
command.
No Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
No Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 2) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x0032 100 100 000 Old_age Always — 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always — 4283
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always — 507
148 Unknown_Attribute 0x0000 100 100 000 Old_age Offline — 0
149 Unknown_Attribute 0x0000 100 100 000 Old_age Offline — 0
167 Write_Protect_Mode 0x0000 100 100 000 Old_age Offline — 0
168 SATA_Phy_Error_Count 0x0012 100 100 000 Old_age Always — 0
169 Bad_Block_Rate 0x0000 100 100 000 Old_age Offline — 14
170 Bad_Blk_Ct_Lat/Erl 0x0000 100 100 010 Old_age Offline — 0/12
172 Erase_Fail_Count 0x0032 100 100 000 Old_age Always — 0
173 MaxAvgErase_Ct 0x0000 100 100 000 Old_age Offline — 24 (Average 20)
181 Program_Fail_Count 0x0032 100 100 000 Old_age Always — 0
182 Erase_Fail_Count 0x0000 100 100 000 Old_age Offline — 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always — 0
192 Unsafe_Shutdown_Count 0x0012 100 100 000 Old_age Always — 499
194 Temperature_Celsius 0x0022 024 050 000 Old_age Always — 24 (Min/Max 17/50)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always — 0
199 SATA_CRC_Error_Count 0x0032 100 100 000 Old_age Always — 852000
218 CRC_Error_Count 0x0032 100 100 000 Old_age Always — 0
231 SSD_Life_Left 0x0000 098 098 000 Old_age Offline — 98
233 Flash_Writes_GiB 0x0032 100 100 000 Old_age Always — 2897
241 Lifetime_Writes_GiB 0x0032 100 100 000 Old_age Always — 4543
242 Lifetime_Reads_GiB 0x0032 100 100 000 Old_age Always — 195
244 Average_Erase_Count 0x0000 100 100 000 Old_age Offline — 20
245 Max_Erase_Count 0x0000 100 100 000 Old_age Offline — 24
246 Total_Erase_Count 0x0000 100 100 000 Old_age Offline — 72768

SMART Error Log not supported

Что делать?
Кто виноват?
Selectel у него что бракованные партии дисков? Там были Самсунги, тут же Кингстоны — сомнительно что это брак
Может ПО виновато типо VMmanager? Но почему на других дата-центрах все работает а только у Selectel проблемы?

Это первая авария в мск локации селектела с весны как я ее создал
Москву если помните я создал на отдельной VMmanager — stabl версии даже
А Питер у меня на regular
Поэтому даже версии и то разные но симптомы одинаковые
Какая-то чушь происходит.

регулял версия достигла предела ? идеи закончились похоже

прошло 5 лет с момента старта ВМ-6
в принципе в 2020 она была полностью сырой, но где-то к 2023 году — т.е. спустя 3 года — стала такой же крутой и стабильной как и ВМ-5
обновы 2024 или тем более 2025 года никакой пользы особо не принесли, т.к. все проекты хостинги и новые задумки были запущены еще в 2020 году и «создателям и архитекторам» просто пришлось из говна и палок придумать систему как они будут развивать хостинг на протяжении следующих 10-15 лет
и поэтому даже роли выпущенные через кучу лет оказались бессмысленны, ведь проекты то уже были созданы и менять их желания нет, роли должны были быть в 2020 и только так

ну так вот
планы на 2026
какие-то очень примитивные и даже кол-венно малые
не было еще не одного года когда так мало


сейчас в основном теперь Инфра версия дорабатывается
даже vGPU добавили туда
и кстати я удивлен почему сразу то не добавили? разве можно такой мощный функционал как-то разделять?


считаю — это отлично что панель теперь будет работать практически без изменений
главное чтобы проблемы с версиями ОС чинились и все, больше ничего не нужно
вот мне интересно будет ли обновление в октябре для регулял версии вообще или не будет? миграция с Альмы-8 на Альму-9 не работает. мне ждать исправления или вручную людей ебать, старый узел до 15 ноября еще работает, пока что вот жду.

вообщем что-то как-то не судьба мне нормально работать с селектел

прошел почти что год с момента как я купил там первый 9950x на пробу
почему я раньше не купил? потому что там были только 128 озу
но в тот момент как они выпустили 192 озу — появился смысл сделать, ценообразование 16 долей против 24 доли — появилась возможность «окупить сервер через ВДС услугу», 128 озу при их ценообразовании явно проигрывала варианту просто купить сервер на колокейшен и не было экономического смысла запускать т.к. цена 1 доли сильно бы отличалась от других тарифов уже созданных и никто бы не покупал, даже не смотря на то, что селектел сейчас с антиддосом стало и качественное.

так вот прошел ебучий год
и что я тут уже получил?
страдания с зависаниями — из-за этого всего по 2-3 сервера в локации, а не 20 за год — т.е. я получил нестабильность и плохие отзывы людей на эту локацию
потом страдания с выдачей серверов
но главное что я еще получил?
невозможность миграции
потому что старые узлы созданы на Альма-8
а новые сейчас есть купить у них доступна только Альма-9
в итоге миграция в VMmanager просто не работает

вот опять говно сервер попался
из прошлого раза
я хочу его закрыть
и перенести людей на новый
но оно не дает




т.е. мне придется еще щас ВРУЧНУЮ блять людей заставлять «пересоздать вдс на новую» и чтобы они «вручную переехали»
будто бы я сейчас в 2018 году когда мы все делали вручную на ОВХ

не знаю почему так произошло
что такое вообще случается
я не верю что у селектел могут быть некачественные услуги
за 10 лет все таки у меня сложилось мнение о них совсем другое
но вот — судьба — говорит иначе

два долгожданных обновления которые я ждал 5 лет и 2 года - что с ними не так ?

vGPU — очень ждали это в 2023 году когда впервые услышали про это
спустя 2 года они таки сделали это
но прошли месяцы — никто так особо и не пользовался. из моих десятков партнеров. почему?
я пришел к выводу — лицензирование все испортило. чтобы эти штуки работали — нужно покупать какую-то херню где-то на стороне. притом там на стороне даже интернет магазина нормального нету, считай что как у энтерпрайза вручную что-то там покупаешь. а как мы знаем нормальные адекватные люди не звонят по телефону и не пишут в форму обратной связи, а заходят в биллинг панели и онлайн молча покупают услугу или лицензию.
именно вот эти Nvidia лицензии — все испортили
что сложного было сделать так же, как с Windows? VMmanager всю жизнь уже более 10 лет дает бесплатную пиратскую windows. так бы и vGPU делали так же!
вот из-за этого короче — революции не случилось.
школьники так и не смогли массово развернуть облачные массовые GPU

эту новость вообще никто не комментировал
кроме меня в моих блогах
и на харбре одного единственного чувака с таким же мнением кстати


роли в VMmanager я вообще ждал 5 лет с 2020 года когда мне пообещали в тикетах. в 2020 как раз 6-ая версия запускалась и я как раз планировал архитектуру на 10-15 следующих лет, под «новые с нуля проекты на версии 6-ой которая как раз с нуля очередной раз».
в итоге — я все спланировал, и создал просто 20 разных панелей и разделил 20 доступов людям партнерам тд тд через 20 сущностей
так что роли — просто опоздали с сроком выхода. но это крутые штуки получились, когда в 2026 и последующих годах я буду запускать с нуля что-то новое очередное, возможно новые стойки с новыми процессорами которые выйдут на замену 9950x — вот тогда их и использую уже в новых полочках.

что еще я жду? сетевые хранилища на скорости 100г
уже сейчас покупаются маршрутизаторы коммутаторы и провода 100г
но еще не знаем какие сервера покупать под хранилища
так что следующий тест будет — SAN LUN из 2024 года
надеюсь эта штука будет востребована! но может быть и она тоже провалится, кто знает, всякие мелочи бывают.

самое правильное использование VMmanager спустя 5 лет - это делать по 1 ПУ на geo локацию, в редких случаях на страну или континент

сначала в 2020-2021 годах я сталкивался как нехватало ОЗУ когда увеличивалось кол-во ВДС или узлов
еще тогда спрашивал в тикете какой сервер нужен под мастер узел в кол-ве озу, но никто тогда не знал, ведь тестов не производилось (лень искать я выкладывал тикет даже сотрудника)

потом в 2022 я наблюдал несколько крупных миграций из ВМ-5 на ВМ-6
в 2023 2024 наблюдал хорошие показатели роста
тогда применялись серверы уже под мастер ноды на 256 озу на всякий случай
в принципе ISP что-то в эти годы тоже оптимизировали множество раз поэтому случаи из 2020 года уже могли и не повторяться с утечками озу
скорее росла лишь нагрузка на процессор и интернет канал, когда мастер нода общается с узлами — уже нужны были более чем 1 гигабит канал, но потом и там тоже оптимизировали и 1 гига в принципе хватает в современное время уже.

в 2025 столкнулись с блокировками РНК когда связность пропадала если мастер панель в европе, а узлы в рф
и наоборот если мастер панель в РФ, а узлы в европе

так что стало понятно что идея «делать 1 ПУ для всего мира» — явно провальная идея.
сама идея VMmanager 6 как задумка чтобы больше не плодить кучу панелей как было на ВМ-5 — задумка столкнулась с реальностью и разбилась о жестокость политических и государственных фактов, которые мешают людям честно работать.

я уже в 2020 в принципе начал делать кучу разных ВМ-6
но это потому что я такой человек который никогда не держит все в одной корзине
но чем больше лет шло тем сильнее мой архитектурный подход оказывался все стабильнее и стабильнее

и вот сейчас в 2025 абсолютно и точка — доказано что нужно делать много ПУ короче


даю совет всем новичкам
самый лучший вариант это делать именно 1 ПУ — 1 GEO — например 1 ПУ для конкретного дата-центра, если у вас более 200 узлов будет или более 30000 вдс
если же у вас 1 стойка всего и роста не будет, можно делать 1 ПУ для 1 страны, а уже дата-центры делать как кластеры и делать так
если же у вас вообще не планируется рост выше 1 стойки, то можно и по континентам поделить, ресурсного запаса ПУ ВМ-6 вам хватит для такого деления.
но на вырост «среднего хостинга» — ПУ не справляется

на ВМ-5 мы делили панели по процессорам внутри разных GEO. тогда я считал что ВДС-ки будут расти так же быстро, как дедики ОВХ — тысячами за год. поэтому сразу покупал ПУ на запас скажем так. Но оказалось что ВДС-ки и Дедики это абсолютно разные услуги (в 2017 я только учился делать ВМ, а в мир продаж я зашел сразу с дедиков же). В итоге те панели ВМ-5 получилось, что максимум может 10-20-50 узлов набирали, ни о каких там сотнях и тысячах речи и быть не могло. Хотя на радостях начала продаж я планировал именно сотнями уплотнять узлы по полочкам в красоту через кучу технических доменов. Только дедики могли продаваться сразу сотнями, ибо это разные аудитории, собрать ВМ-ки гораздо сложнее чем найти крупного клиента на дедики. Поэтому та задумка красивого деления по «процессорам» — тоже провалилась, зато я получил десятки панелей за которые потом ежемесячно отдавал бабки на «серверы под ПУ». Это был интересный опыт короче. В принципе оглядываясь на 8 лет назад, скорее всего дело было в ВМ-5 которая очень плохо тогда автоматически выдавала ВМки, ведь нада было настраивать IPmanager, поэтому тогда и не получилось сотнями. Так как уже в 2023 я видел кейсы когда один человек покупает 3000 виртуалок за раз, но это уже работало на ВМ-6. А сейчас я бы сказал если соблюдается условие "современности", то виртуалки тоже могут разлетаться как дедики в кол-ве, если это не слабые виртуалки, а мощные виртуалки.

Сейчас на ВМ-6
Вкладка Кластеры — это не способ деления услуг по "geo странам"
Вкладка Кластеры это способ деления по дата-центрам внутри какой-то страны или даже внутри одного города local-geo
Вкладка Кластеры это способ деления услуг по процессорам и моделям под разные тарифы
Вкладка Кластеры это способ деления услуг по надежности и отказоустойчивости (хотя это 50/50, я бы под отказоустойчивость все равно сделал отдельную ПУ ВМ-6 чтобы избежать точки отказа через мастер узел, в том числе)
Именно так самое разумное и оптимальное решение получается

А вот GEO по всему миру и разные страны — нужно делать абсолютно разные ВМ-6 панели.
А потом так же каждую страну уже обрабатывать и делить внутри страны сервисы и услуги через категорию сортировки — кластеры

а роли очень даже хороши и продуманы, но сейчас они нужны уже в меньшей степени, чем в 2020 году





в 2020 году роли нужны были как техника безопасности и удобство брендинга/продаж

сейчас же роли я вижу как многоуровневый доступ для сотрудников или реселлеров на уровне VMmanager
что тоже хорошо

но т.к. из-за отсутствия ролей было создано несколько десятков отдельных панелей
то теперь нужно будет десятки раз дублировать одно и тоже

функционал отличный
молодцы
хорошее обновление

жаль что так поздно только
надеюсь теперь этот фунционал просуществует 10 лет не меньше
чтобы никаких нахуй VMmanager 7 или 8 не создавалось, а 6-ая работала до 2040 года

наконец-то VMmanager сделала роли, пока не смотрел, но хочу написать что "не испытал никакой радости" - почему ?



потому что роли мне были нужны на старте проекта и на старте «настройки доступа и ролей» всем участникам






мы за эти 4 прошедших года
уже создали более 10 проектов
уже настроили более 20-30 разных ОТДЕЛЬНЫХ по ролям и доступам VMmanager
и они теперь будут 15 лет работать пока не сгорят

для новых проектов — возможно ваши роли пригодится

НО т.к. за эти же прошедшие 2021-2025 годы — мир сильно изменился
то теперь просто опасно стало делать 1 панель для всех кластеров
потому что баны стран могут перебанить связность друг с другом
поэтому нормальные хостеры сейчас создают — 1 панель — 1 страна

поэтому ваши роли — в 2025 году скорее всего не пригодятся уже особо
спасибо конечно!
но время ушло, мир изменился