PulSe

ℹ️ Потестил сервисы для анализа содержимого документов. Это те в которые загружаешь, например pdf или docx, он его анализирует, и отвечает на вопросы по содержимому.

⭐️ Кому нужно, вот список (это те что попробовал):
🔘 pdfinspect.com
🔘 brainypdf.com
🔘 chatdoc.com
🔘 chatpdf.com
🔘 docalysis.com
🔘 reeder.ai

Если бы меня попросили оценить их работу одним словом, это слово было бы - хрень.

Если описывать чуть более детально, то из всего списка я бы выделил chatdoc.com, удобный и не банальный интерфейс и несколько прикольных фишек. Поэтому его бы я назвал чуть более удобной хренью.

👎В целом, проблемы у этих сервисов типичные:
1. Язык. Всё что не на английском - либо вообще не работает, либо работает максимально коряво. А мне регулярно приходится работать с документами на русском, и ни один из этих сервисов нормально не справляется.
2. Цена. Как по мне ценник на эти сервисы не очень адекватный. Бесплатный план вообще не возможно использовать из-за лимитов на размер файла и на количество слов в файле. Максимум что можно загрузить в бесплатном плане, это небольшую презентацию или типа того. Ну а заплатить 30-50$ чтобы увеличить лимит до 50 Мб, это, как по мне, дороговато.

❓И что делать? Лопатить руками? Решений несколько:

➡️Если мы работаем с англоязычными документами, то сгружаем их в папку на Google Drive, затем открываем к ней доступ по ссылке в режиме "Редактор", затем кормим эту ссылку Google Gemini (это тот что раньше был Bard) и получаем функционал перечисленных выше сервисов (а порой даже покруче), но за ноль денег (если документ один, то можно открывать доступ сразу к нему).

➡️Что делать с документами на русском/украинском? Тут так просто не получится:
➡️Если нужно просто изучить содержимое, например выбрать нужную информацию, то используем Pinpoint. Там есть поиск, фильтры, поиск по фильтрам, распознавание текста и т.д. При изучении, например, всякой около-бухгалтерской тошниловки - штука не заменимая.
➡️Если нужно делать какой-то анализ, типа краткий пересказ / основные тезисы / лингвистический или смысловой анализ, ну и т.д., то придётся скармливать сам текст Gemini. Тогда он сможет его полноценно проанализировать и работать с ним.

📩PulSe | 💬Чат | 📹YouTube | 🌐Сайт | 💱Донат

🗂 В подборку https://hacker-basement.com/osint-list/ добавил несколько актуальных инструментов:

➡️https://www.lopseg.com.br/osint - вводишь домен, получаешь ссылки на разные ресурсы для сбора информации о нём

➡️ rel='nofollow'>https://start.me/p/zpkMMO/deep-fake-tools-detection - подборка статей и инструментов для выявления/создания deepfakes

➡️https://github.com/spyboy-productions/CloakQuest3r - инструмент для раскрытия IP-адреса, скрытого Cloudflare

➡️https://geospy.web.app - определит предположительное место где сделана фотография

➡️https://mattw.io/youtube-geofind/location - найдёт видео на YouTube снятые в указанном месте (если есть геотег)

📩PulSe | 💬Чат | 📹YouTube | 🌐Сайт | 💱Донат

#тренировка
ℹ️ Продолжаем тренироваться искать информацию. Напомню, видео с ответами и разбором решений выходит каждые 5 задач.

🔎 Задача №33

Исходные данные: bateauxparisiens.com

Вопрос: Что Кристоф сделал 11 марта 2003 года?

📌 Ответы шлём @unquester. Всем удачи!

ℹ️ Сделал подборку инструментов для осинта и других полезных штук.

➡️https://hacker-basement.com/osint-list/

Все инструменты распределены по категориям, у каждого есть краткое описание что он делает. В каждую категорию добавленным тематические статьи (если я такие писал).

💬Постепенно список будет дополнятся и расширятся, потому как неожиданно выяснилось, что создание подобных списков, ещё и с описанием каждого инструмента, потребляет не слабо времени. На данный момент там около 400 инструментов в 45 категориях.

📩Telegram | 💬Чат | 📹YouTube | 🌐Сайт | 💱Донат

#теория часть 3️⃣

📌Когда ты чего-нибудь осинтишь, то, может такое случиться, что тебе придётся перелопатить огромную массу информации. Если разбирать сам процесс, то он состоит из построение цепочек. Т.е. ты находишь "информацию 1" и её, условно разделяешь на части. Каждую часть нужно отнести к определённой категории. Эти категории я уже разбирал в посте про анализ достоверности. Это факты, предположения и доказательства.

🗂Следующий шаг это изучение каждого элемента по отдельности и в комбинациях друг с другом. На этом этапе, в какой-то момент ты получаешь "информацию 2". С ней повторяешь те же действия. И так до тех пор пока не достигнешь намеченного результата. Таким образом, от факта к факту, строится цепочка расследования.

🗒Это было краткое и очень условное описание самого процесса. Очевидный факт в том, что этот процесс может оказаться довольно замороченным. Иногда сам по себе, а иногда это может быть твоя "заслуга". Уйти от этого вряд ли получится, но вот упрощать, а правильнее сказать рационализировать этот процесс можно и, иногда, даже нужно.

🗺Разберу на примере. Мне попалась статья на Хабре (https://habr.com/ru/articles/779794/). Там чувак, большую часть статьи, по кадрам из видео, геолоцирует здание в котором снималось интервью. И, если рассматривать эту статью как пример и демонстрацию геолокации объектов, то всё сделано достаточно грамотно и вопросов не возникает. Ну и результат достигнут, тут тоже вопросов нет. Но если посмотреть на эту ситуацию с точки зрения рационального подхода, то вопросы сразу возникают. Хотя это скорее не вопросы, а варианты действий.

↔️Если брать за конечную цель получение адреса здания, то многократно проще сделать так:

Исходные данные: данные лица и название его компании, интервью снято в городе Дубай, ОАЭ.
Задача: найти здание в котором проходила съёмка  
Наши действия: гуглим название компании - первая ссылка в гугле это сайт компании - переходим на их сайт - видим раздел "Contacts" - идём туда, видим адрес офиса: Al Habtoor Business Tower, King Salman Bin Abdulaziz Al Saud St, Dubai.
Всё, место найдено. 

Сколько заняло времени? Очень не много. И точно меньше чем лазанье по картам и просмотру улиц, в поисках ориентиров и точек привязки. Другой вопрос, что тогда бы статью не получилось написать, очень уж короткая бы вышла.

⬇️Отсюда вывод раз. Процесс должен чётко соответствовать намеченной цели. Если ты точно знаешь что тебе нужно - иди самым простым путём. Если конечная цель размыта, что-то типа: "Сбор информации о деятельности юридического лица", то тогда стоит расширить зону изучения, для того чтобы охватить максимум сопутствующей информации. 

⬇️Вывод два. Если есть возможность упростить какие-то моменты, не теряя при этом в качестве конечного результата, это нужно сделать. Чтобы упрощать максимально эффективно, ты должен чётко понимать, хотя бы в целом, где и какая информация может попадаться. Это будет прямо влиять на качество твоих предположений. И соответственно экономить время и усилия. Наиболее эффективно этот навык тренируется на практике. Потому как невозможно научиться ходить, слушая чужие советы, надо хотя бы иногда пробовать делать шаги самостоятельно.

ℹ️Мне тут показали SL8. Это такая крипто социальная сеть.
Я обычно к подобным вещам отношусь заведомо предвзято, потому как всяких криптоблокчейнсуперсоцсетей за последние годы появлялось приблизительно 100500 и каждый раз было много громких, модных слов, а на выходе получился тихий пук.

Но в этот раз мне зашло. Выглядит интересно и, даже не побоюсь сказать, что перспективно.

⭐️В общем страницу я себе там сделал. Кто хочет затестить, для регистрации нужен код приглашения: uYA2q8

🔛Или можно по моей ссылке перейти: https://sl8.online/invite/uYA2q8 (типа рефералка, за регистрацию внутренних монет отсыпают, мне 60, вам 1к)

🔔Если кто уже там есть, то подписывайтесь. Эксклюзивного контента там конечно же не будет, пока просто буду дублировать инфу туда. А дальше время покажет.

ℹ️ Ссылки из видео про поиск владельца сайта:

⭐️ Текстовая версия: https://hacker-basement.com/2023/12/10/poisk-vladelca-saita-websites-osint/

⭐️ Статья про Metagoofil: https://hacker-basement.com/2021/03/12/metagoofil-analiz-metadannix/

⭐️ Как искать каталоги и файлы: https://hacker-basement.com/2020/04/29/poisk-katalogov-i-failov/

➡️ https://www.whoxy.com - данные WHOIS, обратный поиск по WHOIS

➡️ https://whoisology.com - обратный поиск по WHOIS

➡️ https://archive.org - веб-архив

➡️ https://archive.is - веб-архив

➡️ http://www.cachedpages.com - кэш гугла

Мониторинг изменений:
➡️https://distill.io
➡️https://www.followthatpage.com
➡️https://changedetection.io

➡️ https://analyzeid.com - поиск сайтов по рекламным идентификаторам

➡️ https://spyonweb.com - поиск сайтов по рекламным идентификаторам

➡️ https://dnslytics.com - инструменты изучения домена, обратный поиск

➡️ https://www.virustotal.com - онлайн антивирус, данные сайта, схема связей

➡️https://crt.sh - просмотр данных SSL сертификатов

➡️ https://web-check.as93.net - данные о технологиях сайта

#теория часть 2️⃣

💬 Продолжаем теоретические рассуждения об осинте. И сегодня опять про анализ. В прошлом посте по этой теме я упоминал проблему обработки большого объёма информации. И, кстати, по моим наблюдениям, чаще это проблема не новичков, а тех кто уже что-то шарит. Возможно потому что новички не переоценивают свои навыки и достаточно скрупулёзно относятся к тому что делают, а те кто шарят, думают что смогут удержать в голове всю картину изучаемой ситуации и в итоге пропускают какие-то детали. И иногда бывает так, что эти детали достаточно важны.

⚙ Что делать? То что всё найденное нужно записывать и сохранять, слишком очевидно, что бы на этом лишний раз останавливаться. Но может получится так, что ты насохраняешь столько, что потом будет довольно трудно обработать весь этот объём. Особенно если ты заранее не продумал структуру своих записей. Это и есть первый совет. Начиная собирать информацию, сразу определись как ты будешь делать заметки и сохранять информацию. Это должно быть организовано так, что бы было удобно именно тебе и что бы ты всегда понимал где лежит какая-то информация.

🏳Следующий важный момент это визуализация. Это слишком крутой способ анализа чтобы им пренебрегать. В частности отлично работают схемы связей, особенно при обработке больших объёмов информации. Под схемой связей обычно подразумевают связи между людьми. Например, кто с кем знаком или общается, или родственники, или ещё что-то. Также схемы связей стоит использовать при изучении организаций. Причём не только для изучения связанных и аффилированных лиц, но и для, например, визуализации перечисления денег.

ℹ️ Схемы связей можно использовать не только для визуализации связей объектов, но и событий. Например, для построения хронологии связанных (и не очень) событий. Особенно если этих событий много, либо это что-то длительное по времени. В такой ситуации это поможет наглядно увидеть что за чем шло, и возможно лучше понять причины и следствия, а также увидеть "пробелы" в изучаемой истории.

🔃 Как и где рисовать схему, это вопрос очень индивидуальный, тут самое главное чтоб тебе было удобно и понятно. Можно использовать Maltego или другой софт. Если хочется онлайн то, лично мне удобен https://app.diagrams.net. Я, например, использую софт только тогда когда эту схему надо потом кому-то показывать, во всех остальных случаях рисую просто на обычном листе в процессе сбора информации. Мне так быстрее, удобнее и всегда перед глазами. Можно конечно нарисованную от руки показывать, но это нужно уметь красиво рисовать и разборчиво писать, ни то ни другое вообще не про меня, потому приходится перерисовывать в редакторе. Короче как удобно так и делай, хоть, как в фильмах про детективов, ниточки на доске растягивай, главное чтоб потом сам в этом разобрался.

💬 Онлайн инструменты для редактирования фотографий:

➡️https://cleanup.pictures - удалит объекты с фото

➡️https://theinpaint.com - удалит объекты с фото (есть приложение)

➡️https://snapedit.app - удалит объекты, фон или восстановит старые фото

➡️https://github.com/upscayl/upscayl - умеет увеличивать и улучшать изображения с низким разрешением

➡️https://app.remini.ai - улучшает качество фото/видео

➡️https://imagecolorizer.com - раскрашивает чёрно-белые фото, улучшает качество, восстанавливает повреждённые участки

➡️https://letsenhance.io - улучшит качество и детализацию, удалит фон, восстановит размытые участки

➡️https://hotpot.ai - набор ИИ для работы с изображениями (генераторы, колоризаторы, реставраторы и т.д.)

➡️https://www.remove.bg - удалит фон

➡️https://removal.ai - удалит фон

➡️https://www.iloveimg.com - сжатие, изменение размера, обрезание, редактор, добавление водяных знаков/текста, размытие, конвертер