что такое проверка мд5
Как узнать контрольную сумму файла в Windows
При скачивании ISO образов и архивов больших размеров всегда есть вероятность получить «битый» файл. Во времена Dial-UP такое было сплошь и рядом. И хотя сейчас такое случается намного реже, чтобы убедиться, что перед вами «оригинальный» файл придумали контрольные суммы, которые вычисляются на основе содержимого и позволяют заметить несоответствие даже одного байта.
То есть, если вы измените один байт в проверяемом файле, то и контрольная сумма такого файла так же изменится.
Для чего нужны контрольные суммы
У контрольных сумм две задачи:
Зная контрольную сумму оригинала, можно проверить является ли ваша копия подлинной.
Как вычислить контрольную сумму он-лайн
Контрольную сумму можно проверить он-лайн. Но я не буду рекомендовать этот способ, так как если размер вашего файла несколько ГигаБайт, то это займет много времени и всегда есть вероятность ошибки при передаче файла. Кроме того делиться своими файлами со сторонними сервисами не правильно.
Как узнать контрольную сумму файла в Windows
Разумнее вычислить контрольную сумму локально на своем компьютере. Это быстро и конфиденциально. В этой статье я опишу несколько способов получения контрольных сумм, как с помощью сторонних программ, так и непосредственно с помощью самой операционной системы Виндовс.
Файловый менеджер Total Commander
Total Commander — это популярный файловый менеджер, работающий на платформах Microsoft Windows и Android. В нем есть встроенная функция вычисления контрольных сумм.
После чего вы можете выбрать один из алгоритмом вычисления контрольных сумм.
По-умолчанию Total Commander создает файл с именем проверяемого и с расширением по имени выбранного алгоритма расчета контрольной суммы.
Файловый архиватор 7-Zip
7-Zip — свободный, бесплатный файловый архиватор с высокой степенью сжатия данных. Он поддерживает несколько алгоритмов сжатия и множество форматов данных, включая собственный формат 7z c высокоэффективным алгоритмом сжатия LZMA.
Этот архиватор имеет встроенную функцию вычисления контрольных сумм. Запустить ее можно прямо из контекстного меню Windows:
Если выбрать «звездочку», то программа подсчитает сразу несколько контрольных сумм:
Полученные данные можно выделить и скопировать в текстовый документ.
Как подсчитать контрольную сумму файла из консоли Windows
Чтобы посчитать контрольную сумму совсем не обязательно устанавливать специальные программы. И если вы не пользуетесь упомянутыми выше, то можете рассчитать контрольную сумму прямо из командной строки операционной системы.
Например, чтобы посчитать контрольную сумму SHA1 с помощью утилиты CertUtil нужно запустить командную строку Windows 10, 8 или Windows 7 и ввести следующую команду:
Вот пример ее работы через несколько минут:
Считаем контрольную сумму в PowerShell
PowerShell — это средство автоматизации от Microsoft, с интерфейсом командной строки и языка сценариев, работает и включена в состав Windows 8 и новее.
Чтобы вычислить контрольную сумму файла необходимо выполнить команду Get-FileHash указав через пробел имя файла и алгоритм вычисления контрольной суммы:
Обратите внимание, что полный путь и имя файла лучше заключить в двойные кавычки.
По-умолчанию, если не указать тип контрольной суммы, то будет посчитана SHA-256.
Для алгоритмов вычисления контрольной суммы в Windows PowerShell поддерживаются следующие значения:
Для оформления вывода в виде списка можно использовать параметр | Format-List. Например:
Тогда результат работы будет выглядеть так:
Подробнее об использовании команды Get-FileHash можно прочитать на официальном сайте Microsoft — https://docs.microsoft.com/ru-ru/powershell/module/microsoft.powershell.utility/get-filehash
Какой алгоритм вычисления контрольных сумм самый правильный
MD5, SHA-1, SHA-256 и прочие – это разные алгоритмы хеш-функции. Хэши являются результатом работы криптографических алгоритмов, и представляют собой строку символов. Часто эти строки имеют фиксированную длину, независимо от размера входных данных.
MD5 самый быстрый, считается устаревшим, а SHA-256 имеет наименьшую вероятность коллизии, когда два разных файла имеют одинаковую контрольную сумму.
Для проверки целостности файла вам следует использовать тот, который предоставляет издатель. Если у вас на выбор есть несколько контрольных сумм, то лучше выбрать в следующей последовательности MD5, SHA-1, SHA-256, последний вариант является более предпочтительным.
Выводы
Если вы сомневаетесь в целостности скаченных файлов из интернета, особенно когда это касается оригинальных образов операционных систем, то проверьте их контрольную сумму. Сделать это можно как с помощью уже имеющихся у вас программ, так и воспользовавшись встроенными средствами операционной системы Windows.
Анализ безопасности хранения и хеширования паролей при помощи алгоритма MD5
С появлением компьютерных технологий стало более продуктивным хранить информацию в базах данных, а не на бумажных носителях. Веб-приложения, нуждающиеся в аутентификации пользователя, обычно проверяют входные пароли, сравнивая их с реальными паролями, которые обычно хранятся в частных базах данных компании. Если злоумышленники получат доступ к вышеупомянутой базе данных личные данные пользователей будут утеряны. В настоящее время базы данных используют хеш-алгоритмы для защиты хранящихся паролей, но проблемы, связанные с безопасностью все еще актуальны. Каждый год хакеры опубликовывают большой список взломанных паролей от известных социальных сетей или же хранилищ данных. Подобные атаки оказались успешными благодаря использованию слабого алгоритма хеширования.
Криптографические хеш-функции, чаще называемые просто хешем, — незаменимый и повсеместно распространенный инструмент, используемый для выполнения целого ряда задач, включая аутентификацию, проверку целостности данных, защиту файлов и даже обнаружение зловредного ПО. Это математический алгоритм, преобразовывающий произвольный массив данных в состоящую из букв и цифр строку фиксированной длины. Причем при условии использования того же типа хеша эта длина будет оставаться неизменной, вне зависимости от объема вводных данных [2]. Существует масса алгоритмов хеширования, отличающихся криптостойкостью, сложностью, разрядностью и другими свойствами. Считается, что идея хеширования принадлежит сотруднику IBM, появилась около 50 лет назад и с тех пор не претерпела принципиальных изменений. В наши дни хеширование обрело массу новых свойств и используется в очень многих областях информационных технологий.
Преобразование сообщения произвольной длины в хеш-значение подразумевает работу пяти шагов алгоритма, каждый из которых имеет свою определенную задачу. Рассмотрим подробнее шаги алгоритма:
Шаг 1: Выравнивание потока
Необходимо добавление дополнительных битов к исходному сообщению, выполненное таким образом, чтобы длина исходного сообщения с добавочными битами была эквивалентна 448 по модулю 512. Добавление выполняется даже в том случае, если длина исходного сообщения уже сравнима с 448. В битах заполнения только первый бит равен 1, а остальные биты равны 0.
Шаг 2. Добавление длины сообщения
В конец сообщения дописывают 64-битное представление длины данных (количество бит в сообщении) до выравнивания. На этом этапе полученное сообщение имеет длину, кратную 512 битам. Вычисления будут основываться на представлении этого потока данных в виде массива слов по 512 бит.
Шаг 3: инициализация MD-буфера
Шаг 4: обработка сообщения в цикле
MD5 использует четыре вспомогательные функции, которые принимают на вход три 32-битных числа и производят 32-битный вывод [1].
Эти функции используют логические операторы типа OR, XOR, AND, NOT. Содержимое четырех буферов смешивается с входными данными (из предыдущего шага) с помощью вспомогательного буфера, который строится на основе вычислений со вспомогательными функциями. Выполняется четыре раунда, в каждом из которых используется своя вспомогательная функция.
Шаг 5. Результат вычислений
После выполнения всех раундов буфер A, B, C, D содержит вывод MD5, это и есть хеш.
Для того чтобы повысить безопасность хранения паролей алгоритм MD5 может использоваться для хеширования исходных паролей. Таким образом в базе данных будут храниться значения хеш-функции соответствующего алгоритма, а не открытого текста. Во время аутентификации входной пароль также хешируется алгоритмом MD5 на стороне клиента аналогичным образом, и результирующее хеш-значение сравнивается с значением в базе данных для конкретного пользователя.
Криптоанализ алгоритма MD5 говорит о том, что на данный момент существуют несколько видов «взлома» хешей MD5:
1) атаки переборного типа
В криптографии атака полного перебора или исчерпывающий поиск — ключей- это стратегия, которая теоретически может быть использована против любых зашифрованных данных. Злоумышленник, который не может воспользоваться слабостью в системе шифрования, реализовывает атаку подобного типа. Она включает в себя систематическую проверку всех возможных ключей, пока не будет найден правильный. В худшем случае для взлома сообщения потребуется задействовать всю вычислительную мощность.
Для полного перебора или перебора по словарю можно использовать программы PasswordsPro, MD5BFCPF, John the Ripper.
2) атаки в которых применяются радужные таблицы
Радужные таблицы состоят из хеш-цепочек и более эффективны, чем предыдущий упомянутый тип атак, поскольку они оптимизируют требования к хранению, хотя поиск выполняется немного медленнее. Радужные таблицы отличаются от хеш-таблиц тем, что они создаются с использованием как хеш-функций, так и функций редукции [4].
Пусть существует хеш-функция H с длиной хеша n и конечное множество паролей P. Хеш-таблица должна справляться с главной задачей: содержать структуру данных, которая для любого значения хеша h может либо найти такой элемент p из P, что H(p)=h, либо определить, что такого элемента не существует. Простейший способ сделать это — вычислить H(p) для всех p из P, но для хранения такой таблицы, как выяснилось ранее потребуется слишком много памяти поэтому стоит обратиться к хеш-цепочкам.
Цепочки хешей — метод для уменьшения требования к объёму памяти. Главная идея — определение функции редукции R, которая сопоставляет значениям хеша значения из P. Стоит отметить, что R не является обращением хеш-функции. Рассмотрим подробнее построение хеш-цепочки [11]:
1) Каждое звено именуется результатом хэш-функции над полями данных этого звена;
2) Каждое звено кроме первого обязательно имеет поле данных с именем предыдущего звена.
Таким образом вся цепочка имеет сквозную зависимость, направленную к первому звену, хеш последнего звена фактически является цифровым отпечатком всей цепочки.
Начиная с исходного пароля и попеременно применяя к каждому полученному значению H и R, получается цепочка перемежающихся паролей и хешей.
Для каждого хеша h, значение которого нужно хотим обратить (найти соответствующий ему пароль), вычисляем последовательность R(…R(H(R(h)))…). Если какое-то из промежуточных значений совпадёт с каким-нибудь концом какой-либо цепочки, следует взять начало этой цепочки и восстанавливаем её полностью. С высокой вероятностью полная цепочка будет содержать значение хеша h, а предшествующий ему пароль будет искомым.
Радужные таблицы являются развитием идеи таблицы хеш-цепочек. Функции редукции применяются по очереди, перемежаясь с функцией хеширования: H, R1, H, R2, …, H, Rk.
Использование последовательностей функций редукции изменяет способ поиска по таблице. Поскольку хеш может быть найден в любом месте цепочки, необходимо сгенерировать k различных цепочек.
Существует множество систем взлома паролей и веб-сайтов, которые используют подобные таблицы. Основная идея данного метода — достижение компромисса между временем поиска по таблице и занимаемой памятью. Конечно, использование радужных таблиц не гарантирует 100% успеха взлома систем паролей. Однако, чем больше набор символов, используемый для создания радужной таблицы, и чем продолжительнее хеш-цепочки, тем больше будет шансов получить доступ к базе данных исходных паролей.
Коллизии MD5
Одно из главных свойств и требований к хеш-функциям это относительная невозможность (с точки зрения вычислений) по получению одинакового значения хеша для разных входных сообщений и идентичного начального буфера. Коллизии существуют для большинства хеш-функций, но для «хороших» функций частота их возникновения близка к теоретическому минимуму.
MD5 был тщательно изучен криптографическим сообществом с момента его первоначального выпуска и до 2004 года демонстрировал лишь незначительные недостатки. Однако летом 2004 года криптографы Ван Сяоюнь и Фэн Дэнго продемонстрировали алгоритм способный генерировать MD5-коллизии с использованием стандартного вектора инициализации.
Исследование [10] показало, что можно создать два 512-битных входных блока и изменить определенные биты внутри этих блоков, чтобы создать два слегка отличающихся сообщения с одинаковым хэш-значением. Время создания пары сообщений MD5 составляло в среднем 1 час. Пример подобной пары сообщений, дающий одинаковый хеш представлен ниже (различающиеся разряды выделены):
Позже данный алгоритм был усовершенствован, как следствие время поиска пары сообщений значительно уменьшилось, что позволило находить коллизии с приемлемой вычислительной сложностью. Как оказалось, в MD5 вопрос коллизий не решается.
Факторы, влияющие на безопасность пароля и возможные решения
Надежность и сложность пароля в сфере информационных технологий обычно измеряется в терминах теории информации. Чем выше информационная энтропия, тем надежнее пароль и, следовательно, тем труднее его взломать.
где N и L — количество возможных символов и количество символов в пароле соответственно. H измеряется в битах. [9]
Как видно, чем длиннее пароль и чем больше набор символов, из которого он получен, тем он надёжнее. Правда вместо количества попыток, которые необходимо предпринять для угадывания пароля, принято вычислять логарифм по основанию 2 от этого числа, и полученное значение называется количеством «битов энтропии» в пароле. При увеличении длины пароля на один бит количество возможных паролей удвоится, что сделает задачу атакующего в два раза сложнее. В среднем атакующий должен будет проверить половину из всех возможных паролей до того, как найдет правильный. В качестве наилучшей практики должно выполняться предварительное требование: приложение настаивает на том, чтобы пользователь использовал надежный пароль в процессе регистрации.
Добавление “соли” к паролю
Одна из наиболее распространенных причин успешных атак заключается в том, что компании не используют добавление соли к исходному паролю. Это значительно облегчает хакерам взлом системы с помощью атак типа радужных таблиц, особенно учитывая тот факт, что многие пользователи используют очень распространенные, простые пароли, имеющие одинаковые хеши. Соль-это вторичный фрагмент информации, состоящий из строки символов, которые добавляются к открытому тексту (исходному паролю пользователя), а затем хешируется [8]. Соление делает пароли более устойчивыми к атакам типа радужных таблиц, так как подобный пароль будет иметь более высокую информационную энтропию и, следовательно, менее вероятное существование в предварительно вычисленных радужных таблицах. Как правило, соль должна быть не менее 48 бит. Добавление соли можно осуществить следующими способами:
1) Использование единой соли для всех паролей: учитывая, что соль достаточно длинная и сложная, стандартная радужная таблица не может быть использована для расшифровки соленых хешей. Однако два одинаковых пароля все равно будут иметь один и тот же хеш.
2) Использование различной (случайной) соли для каждого пароля и хранение соли в самой базе данных: если мы используем разные соли для каждого пароля, то два одинаковых пароля будут иметь разные хеши. Злоумышленник должен генерировать различные радужные таблицы для каждого отдельного пользователя, что делает его вычислительно сложнее для взлома. Соли могут храниться в открытом виде в базе данных. Цель соли не в том, чтобы быть неизвестной, а в том, чтобы быть достаточно случайной, чтобы препятствовать использованию радужных таблиц.
3) Использование существующего значения столбца. Существующее значение столбца, например, username, можно использовать в качестве соли. Это решение аналогично второму решению, рассмотренному выше. Оно препятствует использованию стандартной радужной таблице, но тем не менее хакер может создать радужную таблицу для определенного имени пользователя, например, “root” или “admin”.
Заключение
Как уже отмечалось ранее, основная задача любой функции хеширования сообщений − производить образы, которые можно считать относительно случайными. Чтобы считаться криптографически безопасной, хэш-функция должна отвечать двум основным требованиям: во-первых, злоумышленник не может сгенерировать сообщение, соответствующее определенному хеш-значению и во-вторых, невозможно создать два сообщения, которые производят одно и то же значение. К сожалению, выяснилось, что алгоритм MD5 не способен отвечать данным требованиям. IETF (Internet Engineering Task Force) рекомендовала новым проектам протоколов не использовать MD5 так как исследовательские атаки предоставили достаточные основания для исключения использования алгоритма в приложениях, которым требуется устойчивость к различного рода коллизиям.
Хеши MD5 больше не считаются безопасными, и их не рекомендовано использовать для криптографической аутентификации.
Ссылки на источники и литература:
2. A.П. Алферов, А.Ю. Зубов, А.С. Кузьмин, А.В. Черемушкин. Основы криптографии. 2-е издание, М. Гелиос АРВ-2006.
5. Rivest, R. (1992, April). The MD5 Message Digest Algorithm. Request for Comments (RFC) 1321. Retrieved from https://www.rfceditor.org/rfc/rfc1321.txt
6. Kioon M. C, Wang Z. S, Shubra D.D Security Analysis of MD5 Algorithm in Password Storage // Scientific.Net. 2013. С. 2706-2711.
8. John Black, Martin Cochran, Trevor Highland Fast Software Encryption. FSE изд. 2006. С. 262-277.
Лучшие программы для проверки суммы MD5 и хеширования файлов
В настоящее время очень распространенной практикой, которую мы обычно используем при подключении к Интернету, является загрузка всех типов файлов. Эти файлы могли быть изменены, повреждены или содержали вирусы или вредоносное ПО. Для проверки целостности этих файлов используются хеш-коды или контрольные суммы, что мы можем сделать бесплатно с помощью некоторых программ, разработанных для этой цели.
Что такое хеширование файлов и для чего оно нужно?
Одной из основных характеристик Hash является то, что они являются очень эффективными алгоритмами и не требуют большой вычислительной мощности для выполнения. Результаты всегда будут в виде строки фиксированной длины, независимо от размера ввода. Например, в случае SHA-256 его длина составляет 64 символа. Кроме того, они необратимы, что делает его более безопасным, поскольку невозможно взять хэш и получить данные, которые его породили.
Бесплатная программа, чтобы узнать хеш любого файла
При выполнении проверки хэша для проверки состава любого файла нам нужна программа, специально разработанная для этой миссии. Далее мы увидим список программ, которые нам помогут.
Генератор хешей с интеграцией с контекстным меню
Мы начали с бесплатного универсального инструмента для генерации хешей. Он отвечает за автоматизацию генерации 15 различных типов алгоритмов или контрольные суммы. Он поддерживает большинство популярных хэшей, таких как MD5, SHA, BASE64, LM, NTLM, CRC32, ROT13, RIPEMD, ALDER32, HAVAL, WHIRLPOOL и т. Д.
Это приложение также позволяет генерировать хеш как в файле, так и в текстовом вводе. Он имеет интеграцию с контекстным меню Shell, чтобы иметь возможность быстро выполнять операции, просто щелкнув любой файл правой кнопкой. Сгенерированные списки могут быть сохранены в файлах HTML, TEXT, XML и CSV.
OpenHashTab, с поддержкой 14 типов алгоритмов
Эта программа отвечает за совместимость с 14 различными алгоритмами, которые помогут нам вычислить хэши файлов. Среди них SHA-1, SHA-256 и SHA-512 или MD5. Он также поддерживает десять других различных алгоритмов, которые мы можем активировать или деактивировать в зависимости от наших потребностей.
Приложение позволяет нам проверять хеш-значения, если поставщик файла предоставляет хеш-значение файлу, указывая, совпадает ли его значение со значением файла. Также можно будет экспортировать хеш-значения либо в текстовый файл, либо скопировав их в Windows Буфер обмена. Вместо этого его главный недостаток в том, что он на английском языке.
HashMyFiles, быстро вычисляйте хеши MD5 и SHA1
Теперь мы находим небольшую утилиту, которая позволяет нам вычислять хэши MD5 и SHA1, принадлежащие одному или нескольким файлам в нашей системе. Хэши можно легко скопировать в буфер обмена или сохранить в файл TXT, HTML или XML. Также его можно запустить из Windows Проводник контекстное меню для отображения хэшей MD5 и SHA1 выбранных файлов или папок, поскольку оно поддерживает пакетную генерацию.
Таким образом, если мы выберем папку, приложение сможет показать все хеш-значения всех файлов, содержащихся в выбранной папке. В случае, если мы выполняем его для одного файла, он покажет нам только хеши, принадлежащие этому файлу по отдельности.
Hasher Lite, легко проверять целостность файлов
Эта небольшая утилита позволяет нам проверять целостность файлов, используя широкий спектр совместимых алгоритмов: CRC32, MD2, MD4, MD5, SHA1, SHA256, SHA512, RipeMD128, RipeMD160 и ED2K. Каждый из обработанных файлов будет зарегистрирован и готов к экспорту в различные форматы файлов проверки, такие как SFV, MD5SUM и SHA1SUM.
Это приложение поддерживает пакетную генерацию, что позволяет одновременно генерировать несколько типов хэшей для каждого файла. Эту задачу можно будет выполнить простым способом благодаря практичным функциям сравнения файлов и хеш-функции, таким как удерживание клавиши Shift для сравнения со следующим файлом или нажатие ctrl для сравнения двух файлов.
HashTab, обнаруживает любые измененные или поврежденные файлы
Мы сталкиваемся с приложением, которое позволит нам вычислять различные суммы целостности файла, чтобы проверить, правильно ли был загружен файл из Интернета. Для этого он должен сравнить его с подписью, предоставленной на главной странице, и определить, была ли загрузка изменена или повреждена. Также возможно вычислить подписи целостности файлов, которые мы копируем на другое устройство, чтобы гарантировать, что данные копируются правильно.
QuickHash, сравнивайте файлы между собой и записывайте их результаты
Вы также можете работать с текстовым документом построчно, сегментируя каждый из них. Все результаты отображаются в понятном и простом для интерпретации интерфейсе, откуда мы можем узнать все полученные результаты.
MultiHasher, позволяет проверять наличие вредоносных файлов с помощью VirusTotal.
Перед нами инструмент, который поможет нам проверить и сгенерировать хэш одного пакета. Он имеет до шести различных сигнатур алгоритмов, таких как CRC32, MD5, SHA-1, SHA-256, SHA-384, SHA-512. Его использование простое, потому что достаточно перетащить любой файл или папку для хэша или сгенерировать его для текстовой строки. Чтобы увидеть их, просто наведите на него указатель мыши после завершения расчета.
Еще одна особенность, которую следует выделить, заключается в том, что она позволяет нам узнать, заражен ли файл вирусом или нет. Поскольку это приложение интегрировано в базу данных проверки вредоносных файлов известного мультисканера VirusTotal. Но это то, что мы можем сделать, только если файл был предварительно проанализирован.
PowerShell, встроенная в Windows утилита для проверки хеш-файлов.
Если мы не хотим загружать какую-либо программу на свой компьютер, мы должны знать, что среди инструментов Windows есть встроенная программа проверки хэшей файлов. Это функция, которую мы можем выполнить с помощью двух программ по умолчанию, которые мы можем найти в функции PowerSell.
Функция проверки хэша файлов PowerShell поддерживает SHA1, SHA256, SHA384, SHA512, MACTripleDES, MD5 и RIPEMD160 и может использоваться через Get-filehash и CerUtil. С их помощью мы можем сгенерировать хеш файла. Если мы решим использовать Get-filehash, он будет использовать алгоритм SHA-256, а если мы решим использовать CerUtil, он будет использовать алгоритм MD5. Примером может быть get-filehash c: / file.txt
Если мы хотим использовать PowerShell для проверки хэша любого файла, просто нажмите клавишу Windows и затем введите PowerShell. Появится его окно, откуда мы сможем использовать соответствующую команду.