RUH8

Пару не дель назад игрался с фильтрами Блума для поиска строк в заранее известном наборе. Для того чтобы уменьшить количество кода можно взять только одну хеш-функцию, и для того, чтобы получить i-ый хеш, просто сдвигать значение по кругу, эту хитрость придумал Выссоцкий из Bell Labs в конце 60-х. А что возьмем в качестве хеш-функции?

И тут и у аверов, и у вирмейкеров одинаково травматичный опыт. Во времена модемов первое что приходило в голову по поводу хешей CRC, циклическая контрольная сумма. Если ей пользоваться как хешом, то результат будет так себе, контрольные суммы нужны чтобы ловить пакеты ошибок (burst error), а для некриптографических хешей важно, чтобы значения распределялись равномерно.

Аверы получили пиздюлину по скорости, а вирмейкеры по детектам. Потому довольно быстро, ну лет за десять примерно, антивирусные движки стали считать ROL-XOR хеши, а вирмейкеры (снова привет Z0mbie) стали генерировать случайные ROL-ADD, ROL-SUB хеши, подбирая константы так, чтобы не напороться на коллизию. И CRC куда уж без него, и там очень смешное с выбором п̶о̶л̶и̶н̶о̶м̶а многочлена, я знаю вы любите это слово со школы.

В случае с фильтром, у нас есть набор строк, и все что нас интересует, чтобы у каждой строки был свой уникальный идентификатор. Потому генерировать хеш мы будем случайно, из одной или нескольких операций "подмешивающих" в хеш текущий символ, и битмиксера (используются в качестве финализаторов во взрослых хешах). В качестве "вращающегося" хеша, мы можем взять битмиксер же, не только ROL/ROR.

Остается проверить фильтр (не только хеш) на коллизии и готово. У нас есть случайная функция, массив со случайными значениями случайного размера, с которым что-то происходит в цикле случайное количество раз, а на выходе мы получаем машинку распознающую заранее заданные строки из известного набора строк.

(Если поиграться с параметрами, то можно даже получить компрессию, на картинке 15 строк длиной 91 байт из 36Кб списка прекрасно умещаются в фильтр длиной 32 байта)

А и все. Чего вы еще ждали в воскреченье утром? Пойду чистить и комментировать код, и зашлю его потом на VXUG

По поводу предсказывающих моделей, недавно придумал смешную шутку. Jacky Qwerty как-то написал движок, который запоминает последние несколько символов, и пытается предсказать следующий, если угадывает, то пишет единичный бит, если промахивается, то ноль и восемь бит символа целиком. Написал он его на ассемблере, и никто кроме Z0mbie и Modexp и не думал туда заглядывать.

Зомби с идеей разобрался и написал серию движков все с моделями все более высокого порядка. Сперва последние байты, потом таблица вероятностей, диграммы, ну и естественно количество памяти растет куда быстрее чем степень сжатия. Результаты получились такие: текст длиной 2650 байт сжимается в 2271, 1738, 1530 и 1439 байт. Я на это дело посмотрел, и написал "плагин", который использует ноль байт памяти, и при этом сжимает тот же самый текст до 1869 байт.

Смешно же, ну? :-)

Продолжаю развлекаться с различными способами кодирования. Одна из распространенных антивирусных техник - анализ энтропии семпла, если она высокая, то это говорит о том, что контент сжат или зашифрован, после чего антивирус включает эмкляцию, и ждет пока вирус сам не покажет свое розовенькое беззащитное тельце. Тривиальный способ снизить энтропию - закодировать все в base-64, а алфавит перемешать, и она гарантированно снизится с 8 до 6 бит на символ. Скука.

Другая идея, которая давно уже бродила в злонамеренных вирмейкерских головах - сделать компрессию наоборот, разсжать, то что не сжималось. Если надрессировать модель на текст, то и результат будет похож на текст (в той степени как текст видит модель первого порядка). Никто так ничего и не сделал, наверное потому, что саму таблицу частот нужно где-то хранить, а если модель статична, то и результат будет одинаковым, а вирусы любят разнообразие. Значит нужно сгенерировать вектор с вероятностями, с заданной энтропией - \sum p_i * \log p_i

К счастью, в интернетах нашлись люди, которые заинтересовались бесноватой задачей и написали статью "Generating probabilities with a specified entropy", за что господам Свазеку и Вали большое спасибо. Они решают уравнение E = E + p * \log2 p + (1 - p) * (\log(1 - p))) / (1 - p) шаг за шагом, и полученные корни дают диапазон вероятностей. В конце полученные значения масштабируем, чтобы они суммировались в единицу. Используем получившийся симплекс, как таблицу частот для алгоритма Хаффмана, и готово. Чтобы декодировать, получившийся текст нужно сжать. Сама таблица частот (а ее еще можно перемешать) полностью случайна и никакой информации в себе не несет

В XZ-бэкдоре, которым "Jia Tan" хотел захватить полинтернета, для поиска строк используется trie, и чтобы оно не занимало сильно много места, к каждой вершине привязан битовый массив с единичками для каждой ветки. Но самый простой способ сериализовать дерево - записать его скобочным выражением. А если ветки перед этим перемешать, то получаем полиморфизм в качестве побочного эффекта. Jia хотел скрытности и в файле и в памяти. Как это ни смешно, это ударило по скорости, из-за чего его и спалили. Если бы он вместо распознающего автомата использовал генерирующий, то может быть и не нашли бы. И код заметно проще

Разговорился как-то с modexp про API hashing. Это очень старая техника, самое раннее упоминание, которое нашлось - статья LethalMind в 29A#4 за 1999 год. Суть проста, для того чтобы вирус мог что-то сделать ему нужны системные функции, мы их можем просто перечислить по именам: ws2_32.dll - bind, wininet.dll - InternetOpenA, за что тут же зацепятся антивирусы, потому вместо имен можно сохранять контрольные суммы, тоже достаточно уникальные, потому биконы Metasploit и Cobalt палятся со страшной силой. И уже в 2000 году Z0mbie предложил использовать случайные хеш-функции, и сразу проверять их на коллизии.

Даже сейчас, спустя двадцать пять лет эта нехитрая мысль сбивает большую часть детектов. С другой стороны, если бы я был авером, то я бы обратил внимание на то, что так как значение хорошей хеш-функции не отличимо от случайного, то в 99% 32-битных хешей будет от 10 до 22 единичных битов, и дальше можно ловить конструкции ptr = func(c), ptr(...), где 10

Пиздлявенький мусорячий подебалайчик и киберсквотинг
(трагикомедия в одном бездействии и двух скриншотах)

Я вынужден признать, что с российскими безопасниками нам очень повезло

И российские хакеры такие: ну, раз это уже Латвия, то не будем снова те реестры ломать. Надо еще электронный пограничный столб поставить. Вот тут, типа, еще Украина и тут русским ломать можно, а вот там уже непобедимая Эстония, и там уже ничего ломать нельзя :-)

Хакеру из Ляпсуса, чтобы взломать Rockstar Games хватило телефона, приставки Amazon и телевизора в отеле, но чтобы предатели в интернет через чайник писали такое вижу впервые :-)

Какие такие "моральные ценности" могут быть у жопоголового мусора? #ACAB #мусора #гниды

Есть для русского айтишника два стула: с одной стороны украинский хакер с вайпером, с другой товарищ майор с ордером. На какой сам сядешь, на какой россию посадишь?

Смеялся. В этих вакансиях интересно то, что половина требований это не часть институтской программы, а статья уголовного кодекса. А то и две :-)

В 1983 году Кен Томпсон посвятил свою тьюринговскую лекцию атакам на цепь поставок и бэкдорам, в том числе описал самовоспроизводящийся бэкдор для компилятора. Если собрать "исправленным" компилятором утилиту login, то в систему можно зайти с известным паролем, а если попытаться пересобрать компилятор из исходников, то новая версия компилятора тоже будет заражена, и никаких модификаций не останется. Изменения можно заетить только в уже собранной программе.

Сама идея в первый раз обсуждалась в отчете ВВС США посвященном безопасности Мультикса 1974 года, а вот что я пропустил, так это то что Кен бэкдор все-таки написал в июне 1975. И архив с оригинальными исходниками есть в лентах Денниса Ритчи. NIH - Not Invented Here. Идея, как и несколько весьма нетривиальных эксплоитов, приндлежит USAF. Пятьдесят лет прошло. Тогда те компьютеры еще не от кого было защищать, и не на кого было кибер-нападать. Но и сейчас бэкдоры однострочники для openssh и supply chain атаки живее всех живых.