changelog.txt 60 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840
  1. ## Snoop Project
  2. ********
  3. *v1.4.2*
  4. ********
  5. * Расширена поисковая web-base Snoop ↑ 4700+ сайтов.
  6. * Исправлен подсчет bad_raw в случае, когда был задан поиск по множеству username's из CLI или с опцией
  7. '--userlist/-u', среди которых попадался невалидный nick в комбинациях: например, один из username's
  8. короче 3-х символов, номер телефона, кириллический или из спецсимволов, где ПО его отфильтровывает,
  9. но позже на том же ресурсе принимался следующий, валидный username
  10. (при превышении bad_raw 2.5% параметр не рассчитывался, теперь подобные варианты просчитываются).
  11. * Нетривиальное использование HTTP библиотек позволило на Snoop for Windows оптимизировать утилизацию
  12. ресурсов CPU, прирост производительности к скорости поиска на длинной дистанции составил ~20-25%.
  13. * Немного повышена эффективность повторных запросов при неудачных попытках соединения.
  14. * Оптимизирован алгоритм автоскорости поиска утилиты на слабых одноядерных VPS и мощных многоядерных ЭВМ с
  15. OS GNU/Linux. Также изменены ограничения верхнего предела утилизации ресурсов ЭВМ при разгоне поиска вручную:
  16. на OS GNU/Linux, Android/Termux — планка поднята, на OS Windows — планка опущена.
  17. * Ускорена работа ПО в режиме '--save-page/-S': поиск и сохранение локальных HTML-страничек.
  18. * На OS GNU/Linux и Android/Termux прерывание работы софта с безопасным высвобождением ресурсов немного
  19. ускорено и составляет менее 1 сек. (Ctrl +c).
  20. * На Snoop for Android/Termux добавлено оповещение о недоступности диска и предложение: что бы Snoop Project
  21. автоматически исправил ошибку доступа к общедоступному каталогу в OS Android "/storage/emulated/0/snoop/*"
  22. (Если пользователь новичок устанавливал Termux впервые и собирал Snoop из исходного кода, не читая инструкцию,
  23. т.е. пропуская шаги, то Snoop автоматически не мог создавать общедоступный каталог для результатов поиска и
  24. открывать data за пределами Termux, issue_95, issue_96, issue_97.
  25. * Изменен нижний порог с 2.5% до 2% при срабатывании оповещений Bad_raw. Также при превышении bad_raw 2%
  26. в CLI Snoop full version добавлена пример-подсказка с предложением изменить поиск, минуя сбойные ресурсы.
  27. * В CLI Snoop demo version добавлено оповещение о том, как можно получить Snoop full version без чтения справки
  28. (issues/85).
  29. * В CLI и csv отчеты добавлен "плавающий" параметр bad_zone — главные одна/две геолокации,
  30. в которых чаще всего происходят ошибки соединения в основном из-за интернет цензуры.
  31. * В txt отчёте улучшено форматирование столбцов, сделан реверс данных: "Адрес | Ресурс" и добавлен параметр "Гео".
  32. В html отчёте усилена визуализация разбивки по странам/скобки. В csv отчёте заменен столбец "username"
  33. на строку "Nick", добавлен параметр отслеживания сайтов со статусом: "завис"
  34. (редкое явление, когда какой-нибудь ресурс временно подвисает:
  35. подавляет выставленные лимиты в т.ч. и на низком уровне redirect/timeout запросов, подольше удерживая ресурсы ЭВМ).
  36. * В HTML-отчете изменена функция кнопки, которая ранее вела на страницу донатов Юмани
  37. (кнопка теперь генерирует HTML: Donate/Buy с методами поддержки проекта в т.ч. и QR-кодом).
  38. * Функции: удаление кэша, обновление ПО, проверка БД — зациклены
  39. (при взаимодействии с ними и неверном выборе/опечатке происходит не выход из программы,
  40. а повторный запрос на ввод с подсказкой).
  41. * Уменьшена зависимость от кол-ва сторонних библиотек в Snoop demo version:
  42. убран плагин с частичным функционалом "Reverse Vgeocoder".
  43. (Унифицирован способ самостоятельной сборки Snoop for Android/Termux & Desktop, т.е. синхронизированы зависимости
  44. между Snoop for Termux и Snoop for Desktop. Ускорены: сборка проекта из исходного кода и запуск Snoop build версии).
  45. * На Snoop full version for Windows по окончанию поиска добавлена ненавязчивая, по событиям,
  46. подсказка про оптимизацию скорости поиска.
  47. * В CLI добавлено оповещение и рекомендация, как исправить/улучшить работу утилиты, если пользователь собрал Snoop
  48. из исходного кода, но при сборке пренебрег инструкциями/документацией
  49. (при этом ПО не прерывает работу, оповещает пользователя и переключается в режиме совместимости, например,
  50. если используются устаревшие версии HTTP библиотек/API и c прекратившим жизненный цикл Python 3.7).
  51. * В блок 'snoop info', секция 'Recommended pool', опция '--version/-v' добавлены ~расчеты по требованиям к ресурсам ЭВМ
  52. для нормальной работы ПО в любых конфигурациях при его разгоне вручную на разных OS.
  53. * Незначительные визуальные изменения в CLI.
  54. * Проведено агрессивное сжатие репозитория. Сохранен полный бэкап истории.
  55. Пользователи, собирающие, обновляющие Snoop из исходного кода, должны сделать 'git clone' по-новому.
  56. ===================================================================================
  57. *********
  58. *v1.4.1a*
  59. *********
  60. * (a) Убрана страница донатов CloudTips. Build-версия 'snoop_cli' для GNU/Linux переименована в 'snoop_cli.bin'
  61. и другие незначительные некоторые изменения.
  62. * Расширена поисковая web-base Snoop ↑ 4200+ сайтов.
  63. * Улучшен алгоритм агрессивного режима поиска: опция '--quick/-q' в Snoop for Windows.
  64. (ускорение поиска составляет от 5% до 200% в зависимости от версии Windows и производительности ПК,
  65. снижено потребление ОЗУ).
  66. * В snoop full version добавлена новая опция: '--pool/-p': отключить автооптимизацию и задать вручную ускорение поиска
  67. (эта опция персональна и способна разогнать поиск в Snoop full version до высоких скоростей).
  68. * В блок 'snoop info' опции '--version/-V' добавлен предварительно расчетный параметр. "Recommended pool".
  69. * Исправлена дозапись "bad_username's" в файл "bad_nicknames.txt"
  70. (snoop мог иногда путаться откуда считывал невалидные username's из файла или CLI).
  71. * Обновлен формат дат в CLI/отчетах согласно международному стандарту ISO 8601
  72. (гггг-мм-дд).
  73. ===================================================================================
  74. *********
  75. *v1.4.0a*
  76. *********
  77. * (a) Расширены оповещения о Bad_raw. Документация Snoop Project оформлена и выложена под свободной GNU FDL лицензией.
  78. Обновлены реквизиты приёма платежей
  79. (Qiwi/PayPal в РФ больше не работают, убраны. Добавлен способ оплаты по СБП. Добавлена страница донатов CloudTips).
  80. * Расширена поисковая web-base Snoop ↑ 3700+ сайтов.
  81. * Ускорен поиск в Snoop for GNU/Linux ~ на 140% т.е. почти в 2.5 раза!
  82. (при скорости интернет соединения не менее 12 Мбит/с поиск 'username', используя БД Snoop full версии, в quick-режиме
  83. '--quick/-q' длится менее 1-й минуты).
  84. * Ускорен запуск Snoop Project build version на старых ПК с OS Windows/HDD.
  85. * Добавлен новый и умный алгоритм автоопределения явно не указанных/проблемных/перепутанных кодировок сайтов
  86. при поиске в различных режимах.
  87. * Добавлено больше информативности в CLI при поиске по сокращенной БД, используя опции фильтры:
  88. '--site/-s' '--exclude/-e' '--include/-i'
  89. (кол-во веб сайтов при сужении поиска отображается в квадратных скобках справа от общего кол-ва сайтов БД).
  90. * Изменен порог оповещения о Bad_raw: поднят c 2% до 2.5%.
  91. * Форматирование. Улучшено стилизирование инфострок в CLI на небольших/сжатых по размеру терминалах,
  92. например, в CLI Termux на Android: добавлены авто отступы строк с учетом пользовательского CLI-окружения.
  93. Переработан внешний вид премиальных предложений, которые действуют для всех пользователей Snoop full version.
  94. * Обновлен HTML-репорт:
  95. 1) изменены стили кнопок;
  96. 2) добавлена подсветка, увеличение строки из списка websites при наведении курсора,
  97. двигаясь по списку при выборе ресурса сложно теперь промахнуться;
  98. 3) удалена дублирующая строка/тавтология о том, на скольких ресурсах найден 'username';
  99. 4) в Snoop demo version добавлена парочка упоминаний об использовании demo версий/просьба о пожертвовании
  100. на развитие проекта/full;
  101. 5) увеличена визуальная составляющая группировки флагов стран;
  102. 6) добавлено отображение title(s) саундтреков при наведении на них курсора.
  103. * Исправлено автотестирование сети в режиме вербализации '--verbose/-v' в случае, когда тесты иногда проваливались
  104. из-за отказа некоторых серверов принимать соединение по незащищенному каналу.
  105. * Во всех версиях Snoop убран звук из CLI
  106. (звуковые оповещения об ошибках и об окончании поиска).
  107. * К Snoop full version добавлены light сборки, позволяющие запукать ПО почти мгновенно.
  108. * Android. Немного ускорен поиск в режиме вербализации.
  109. * Android. Если пользователь предпочитает открывать html-отчеты вручную и из своего GUI ФМ,
  110. то теперь подтягиваются и все стили.
  111. * Обновлены плагины 'GEO_IP/domain' и 'ReverseVgeocoder' до новых версий. Расширена визуализация данных
  112. в html-отчетах в Snoop full версиях, в частности добавлены:
  113. 1) чекбокс фильтрации данных по странам;
  114. 2) графики со статистикой по странам, регионам, объектам, провайдерам;
  115. 3) новый слой — топокарты, меняется по клику/свайпу;
  116. 4) режим переключения в полный экран;
  117. 5) авто отображение координат в любой точке на карте;
  118. 6) масштаб линейки;
  119. 7) памятка, отображающая статистику по InvalidData;
  120. 8) copyright;
  121. 9) поиск;
  122. 10) в плагине 'ReverseVgeocoder' увеличен масштаб покрытия/точности от 10-100 раз по округам/объектам
  123. в RU; EU и CIS локациях.
  124. ! Для того чтобы воспользоваться всеми обновлениями, если ранее пользователь уже пользовался старыми сборками Snoop,
  125. то нужно сбросить кэш (разовая операция):
  126. $ snoop_cli --autoclean
  127. если пользователь предпочитал использовать Snoop в исходной форме, обновить библиотеки:
  128. $ cd ~/snoop && python3 -m pip install -r requirements_android.txt #Android;
  129. $ cd ~/snoop && python3 -m pip install -r requirements.txt #Desktop.
  130. ===================================================================================
  131. ********
  132. *v1.3.9*
  133. ********
  134. * Расширена поисковая web-base Snoop ↑ 3500 сайтов.
  135. * Исправлена утечка памяти, которая затрагивала пользователей Snoop version for Windows.
  136. * Исправлено падение Snoop при сохранении отчетов с опцией '--save-page/-S' в крайне-редких случаях
  137. (например, если сайты намеренно вредили парсингу или в своём исходном коде содержали неподдерживаемые символы
  138. в заявленной кодировке. За отчёт спасибо подписчику из Сербии, ранее он уже присылал информацию по найденным багам).
  139. * В режим вербализации опция '--verbose/-v' добавлена новая метрика: отслеживания доступной/потребляемой памяти RAM.
  140. * Ускорен вывод на печать сайтов из "dynamic gray list" и недопустимые/кириллица "nickname(s)" на определенных сайтах
  141. (оптимизация актуальна для пользователей Snoop for Windows full версий).
  142. * В ПО Snoop Project добавлена пасхалка, связанная с поиском особых nickname(s).
  143. * Спрятаны редко-используемые опции из help-a: '--cert/-C' и 'Headers/-H' чтобы не загромождать справку
  144. (опции продолжают работать если их задействовать, описание ключей осталось в документации и readme).
  145. * Во все отчёты добавлен "copyright".
  146. * Слиты ветки "snoop_termux" и "master", немного изменилась инструкция по установке Snoop на Android/Termux
  147. (код синхронизирован, экономия дискового пространства и упрощение дальнейшей разработки/поддержки кодовой базы.
  148. Для получения обновлений из "source code" пользователи Snoop for OS Android/Termux должны сделать
  149. "git checkout master" или "git clone" по-новому).
  150. * Объединены флаги государств Kb/WR
  151. (WR — означает весь мир. Kb — ранее означало "киберпанки", обычно это форумы где общение проходит на EN-языке,
  152. но в условиях использования или политике конфиденциальности/обратной связи не указана локация).
  153. * Обновлена документация.
  154. * Мелкие визуальные улучшения.
  155. ===================================================================================
  156. ********
  157. *v1.3.8*
  158. ********
  159. * Расширена поисковая web-base Snoop ↑ 3000+ сайтов.
  160. * Исправлены баги в редких случаях:
  161. 1) поиск nickname с опцией сохранения отчетов 'snoop_cli -S username', если при поиске на "плохом" ресурсе
  162. username найдено, но на сервере указана несуществующая кодировка или кодировка с опечаткой, то при сохранении
  163. страницы она ломала автоопределение кодировки в snoop;
  164. 2) при поиске nickname мультипроцессинг на Snoop for GNU/Linux full версии мог и крашился
  165. (почти невозможно было воспроизвести проблему, спасибо за отчёты подписчику Snoop full версии из Сербии).
  166. * Расширен шаблон запрещённых символов при поиске nickname, например, китайский алфавит и др.
  167. символы, отличные от латиницы, кириллицы, цифр, некоторых спец.символов — теперь недозволен.
  168. * При использовании опции 'userlist/-u' (загрузка nickname(s) из файла) в cli-отчёт добавлена промежуточная таблица:
  169. short nickname(s). Так же файл 'bad_nicknames.txt' обновляется если не только в CLI были введены 'неправильные'
  170. nickname, но и выгружены из файла: формат 'bad_nicknames.txt' выглядит следующим образом::
  171. дата/время/неправильный nickname из файла/или из CLI/bad_username.
  172. * Яндекс присоединился к интернет-цензуре и теперь письма с его домена не отправляются в международную почтовую службу
  173. 'protonmail', для пользователей зарегистрированных в 'яндекс/mailru', которые ранее не могли связаться с разработчиком
  174. по email, в оферту и документацию Snoop добавлена дополнительная нецензурируемая почта для запросов и предложений.
  175. * Изменены условия предоставления Snoop full версии для студентов: скидка на ПО составляет теперь 50%,
  176. ранее подписка стоила 0р, также обновлены реквизиты сберкарты.
  177. * Добавлены Readme на Испанском; Китайском; Французском и Немецком языках.
  178. ===================================================================================
  179. ********
  180. *v1.3.7*
  181. ********
  182. * Расширена поисковая web-base Snoop до 2700 сайтов.
  183. * Android. Ускорен поиск snoop на Termux ~ на 200%
  184. (требуется обновление Termux и обновление Python до версии 3.11, либо установка пропатченного python 3.7-3.10 из
  185. tur-repo, в крайнем случае сохранена обратная совместимость и небыстрый поиск).
  186. * Android. [Из-за специфичной локали в Termux] если пользователь ищет ник, например, на кириллице,
  187. то лишь в html результатах ник будет переименован, как 'nickname_ч_м_г_время', мера необходима для корректного
  188. автооткрытия результатов поиска в вэб-браузере, txt/csv отчёты не затронуты.
  189. * Переработана и улучшена интеллектуальная логика поиска. Snoop в большинстве случаев не делает повторные запросы
  190. на зацензурированные ресурсы внешней стороной или внутренним регулятором
  191. (экономия времени при поиске, в противном случае, ресурсы были бы потрачены впустую, актуально в Full-версиях).
  192. * Улучшено детектирование трёх групп сайтов:
  193. 1. исключаются ошибки ложного сраб. при поиске, если проблемы с серверами или они на ТО, затрагивает ~50% БД snoop;
  194. 2. больше результатов при поиске на сайтах, которые давно заброшены или имеют проблемы с безопасностью;
  195. 3. расширен формат БД Snoop для манипуляций с редкими проблемными кодировками/сайтами, например, когда сервер
  196. возвращает/не возвращает одну кодировку, а в тегах присутствует другая.
  197. * Исправлен подсчёт % Bad_raw при любых манипуляциях с БД Snoop, а также учитываются сайты из Dynamic gray_list
  198. (дефолтная локальная БД; скачанная БД; синхронизированная онлайн БД; сокращённые БД с ключами '-s', '-i', '-e').
  199. * Добавлена проверка опечаток: nickname не может быть короче 3-х символов
  200. (если пользователь опечатался, например, при наборе ключа '-s': "$ snoop_cli - s ebay username", поведение ранее
  201. вызвало бы поиск сразу чётырёх nickname(s) по всей БД snoop:: '-', 's', 'ebay' , 'username' вместо поиска
  202. одного username на одном указанном ресурсе — ebay.com).
  203. * Добавлена новая опция поиска: режим '--quick/-q', которая ускоряет общий поиск
  204. (подробнее о новом режиме поиска в '--help/-h', quick-режим актуален для Full-версий, при слабых мощностях, OS Windows).
  205. * Переработана кодовая база некоторых частей ПО, в проекте стало меньше сторонних lib-зависимостей.
  206. * Косметические изменения в ПО
  207. (удалена опция 'Normal'; переименована опция "one-level" в "include"; опция удаления отчетов теперь выводит баннер и
  208. запрашивает подтверждение на удаление; логгирование low/high ошибок стало более информативным;
  209. расширен блок snoop-info; при поиске nickname и получения ошибок в CLI, связанных с Internet Censorship/ssl,
  210. справа от ресурса появляется буквенный код страны, например, если у пользователей из РФ-локации очень часто возникают
  211. ошибки на UA-ресурсах, это значит, что "слон в комнате"; поддержать проект теперь можно и с помощью QIWI;
  212. поправлены print-опечатки и смысловые конструкции).
  213. ===================================================================================
  214. ********
  215. *v1.3.6*
  216. ********
  217. * Обновлен плагин GEO_IP/domain. При несуществующей или ненайденной цели ПО автоматически прерывает программу
  218. (на некоторых версиях Android Snoop мог неожиданно подвисать на ~минуту. Обновлён прядильщик: вращающаяся планета).
  219. * Значение опции "-t" timeout по умолчанию при поиске "nickname" поднято до 9 сек.
  220. (прошлое значение = 5 сек. Причина: увеличение БД snoop demo).
  221. * При поиске "nickname" добавлены повторные соединения на сбойные ресурсы
  222. (при некоторых неудачных попытках коннекта отправляются повторные запросы,
  223. частичный функционал перешёл из Full версий).
  224. * Комбинация клавиш: "ctrl + c" — теперь одинаково хорошо прерывает работу ПО во всех версиях Snoop и на разных OS.
  225. * Поиск "nickname" на Snoop for GNU/Linux в demo стал быстрее по сравнению с поиском Snoop for Windows demo
  226. (частичная функциональность перешла из Full версий).
  227. * Опция "-С" сделала реверс на Snoop for Android.
  228. (при поиске "nickname" проверка сертификатов по умолчанию отключена теперь везде в т.ч. и на OS Android,
  229. эффект — меньше ошибок на проблемных сайтах. Пример воспроизведения проблемы с "плохим сайтом":
  230. $ snoop_cli -s forumkinopoisk nickname123321 -C
  231. в ранних версиях Python отключение "проверки сертификатов" лишь на Snoop for Android вызывало замедление поиска).
  232. * Спрятана опция '--base/-b'
  233. (самая редко-используемая опция спрятана для того, чтобы не загромождать "help").
  234. * Блок snoop-info, опция "snoop -V" подсвечивает параметр RAM, когда программы на ПК/смартфоне захватили "всю" память
  235. (если Snoop считает, что для нормальной работы ему недостаточно ОЗУ, на разных OS эти значения неравны,
  236. то подсвечивает доступную RAM в OS красным цветом).
  237. * Незначительные косметические изменения.
  238. * Обновлена документация: 'Общее руководство Snoop Project.pdf'.
  239. ===================================================================================
  240. ********
  241. *v1.3.5*
  242. ********
  243. * Обновлён плагин GEO_IP/domain. Старый метод проверки ip/доменов сломался и был заменён на три новых.
  244. В случае неисправности одного метода подхватывается следующий. В логике обновлены проверки и добавлен прядильщик.
  245. * В build-версиях обновлены некоторые библиотеки, могут выявиться неожиданности (см snoop_cli -V).
  246. * Build-версии 'snoop' переименованы в 'snoop_cli'
  247. (для тех пользователей, кто не читал документацию и пытался запускать 'snoop' из домашнего каталога в GNU/Linux).
  248. * Сокращено время на установку Snoop на Android (Termux) в несколько раз.
  249. ===================================================================================
  250. ********
  251. *v1.3.4*
  252. ********
  253. * Расширена поисковая web-base Snoop > 2600+ сайтов, 54% из которых в ru-зоне.
  254. * Динамические временно-отключённые веб сайты из "Graylist" отображаются теперь в файле "Websites.md": метки (g. l.).
  255. * Aвтооткрытие результатов во внешнем веб браузере налажено на всех версиях Android без правок конфига
  256. (детектирование дистрибутивов Android ("snoop -V -> snoop info" и автооткрытие результатов поиска в "HTML Viewer").
  257. * Исправление для создания табличных csv-отчётов на OS Windows для локалей/кодировок отличных от RU (issues/61).
  258. * Обновлены плагины Reverse Vgeocoder & GEO_IP/domain: всплывающие окна маркеров стали более информативными
  259. (full-версии).
  260. * Удалены и больше не поддерживаются английские snoop build версии
  261. (removed and no longer supported English snoop build versions).
  262. * Мелкие исправления.
  263. ===================================================================================
  264. ********
  265. *v1.3.3*
  266. ********
  267. * Добавлены в архивы видео-подсказки по быстрому запуску snoop для пользователей новичков, которые не работали с CLI
  268. (issues/48).
  269. * Добавлен txt-отчет: файл 'bad_nicknames.txt' в который записываются пропущенные дата/nickname(s)
  270. (недопустимые ники/телефоны/некоторые_спецсимволы, обновляя файл в режиме дозаписи при поиске, например с опцией '-u'.
  271. * Добавлен режим корректного останова ПО с высвобождением ресурсов для разных версий/платформ Snoop Project (ctrl+c).
  272. * Добавлена новая опция '--headers/-H': задать вручную пользовательский user-agent.
  273. По умолчанию на каждый сайт создается рандомный, но реальный юзерагент или выбирается/переопределяется из БД Snoop
  274. с расширенным заголовком для обхода некоторых 'защит CF'.
  275. * Добавлена snoop-заставка и некоторые эмодзи, когда nickname(s) для поиска не заданы или выбраны
  276. противоречивые параметры в аргументах CLI
  277. (исключение: snoop for Windows OS — старая CLI OS Windows 7).
  278. * Добавлены различные инфо-панели: отображение БД '--list-all/-l'; режим verbose; новый блок 'snoop-info'
  279. с опцией '--version/-V'; с опцией '--userlist/-u' разделение на группы nickname(s):
  280. валидные/невалидные/дубликаты; в CLI Yandex_parser-a (full-версии).
  281. * Обновлён режим поиска с опцией '--userlist/-u' расширен алгоритм детектирования nickname(s)/email
  282. (просто попробуйте его использовать снова).
  283. * Ускорен вывод БД в CLI для методов опции '--list-all/-l' [1/2].
  284. * Для Snoop for Termux (Android) добавлено авто-открытие результатов поиска во внешнем браузере
  285. без перекрытия результатов в CLI
  286. (по желанию пользователя открытие результатов во внешнем веб-браузере можно проигнорировать).
  287. * Обновлен внешний вид вывод результатов в CLI при поиске nickname(s). Обновлен вывод лицензии в стиле Windows XP.
  288. Обновлен прогресс (ранее прогресс обновлялся по мере поступления данных и из-за этого казалось, что ПО подвисает в
  289. full-версиях). Прогресс обновляется несколько раз/сек. или по мере поступления данных в режиме вербализации.
  290. * В html-отчеты добавлена новая кнопка 'Doc', ведущая на документацию 'Общее руководство Snoop Project.pdf'/онлайн.
  291. * В txt-отчеты также, как и в html/csv-отчеты добавлен параметр 'сессия'.
  292. * Обновлены все опции Snoop Project ближе к POSIX (см snoop --help).
  293. Старый вариант использования аргументов в CLI с подтверждением [y] обратно совместим.
  294. * Обновлён Yandex_parser до v0.5: убрано сервис Я.коллекции (ресурс неактивен).
  295. Добавлен Я.аватар: login-a/email. В многопользовательский режим в txt/cli/tml-отчёты добавлены/обновлены метрики:
  296. 'валидные_логины/незареганные_пользователи/необработанные_данные/дубликаты', метки логинов.
  297. * Подкаталоги сохраненных отчетов/результатов группируются: plugin(s) в один каталог, nickname(s) в другой.
  298. * Исправлен корректный выход из ПО при попытке протестировать сеть при её отсутствии/сбое с опцией '-v'.
  299. * Исправлено в CLI: индив.сессия/трафик/время при поиске в одной сессии нескольких имен
  300. с опцией '-u' и/или с опцией '-v'.
  301. * Исправлено в csv-отчетах: время отклика сайта разделяется 'верным дробным знаком'::
  302. точка или запятая с учетом локали пользователя (т.е. число в таблице всегда цифра независимо от дробного знака,
  303. что прямо влияет на сортировку результатов по параметру).
  304. Данные ниже 1 Кб округляются точнее, свыше 1 Кб без дробной части. Общее время (было в мс., теперь в сек.сот).
  305. При сохранении отчетов с опцией '-S' или в обычном режиме для сайтов,
  306. использующих специфичный метод детектирования nickname(s):
  307. (username.salt) теперь также подсчитывается размер данных сессии.
  308. * Миграция build-версий Snoop Project с python3.7 на python3.8 (кроме EN-версий).
  309. ===================================================================================
  310. ********
  311. *v1.3.2*
  312. ********
  313. * Расширен формат БД: добавлен параметр "grey_list" динамические сайты временно отключенные.
  314. (в csv-отчеты записываются статусы о временно отключённых сайтах,
  315. с опцией '--verbose/-v' информация о сайтах из grey_list отображается и в CLI).
  316. * Для Snoop build-версий добавлен прядильщик при синхронизации локальной и удаленной БД
  317. (при синхронизации/обновлении БД всплывает временно анимированное сообщение: 'синхронизация с БД онлайн').
  318. * По просьбе донатера обновлена опция отображение детальной информации о БД snoop: '--list all' до сокращения '-l y'.
  319. * Добавлена новая опция '--exclude/-e' исключить из поиска выбранные регионы, например, '-e WR' — исключить мир
  320. (допустимо использовать опцию несколько раз '-e ru -e us'. Опция регистронезависимая, информация о флаге страны
  321. отображается в cli и записывается во все отчеты. Несуществующие, выбранные регионы подсвечены в CLI красным цветом).
  322. * Добавлена опция '--one-level/-o', включить для поиска конкретные регионы
  323. (допустимо использовать опцию несколько раз, например, поиск только по Украинским и Белорусским сайтам '-o UA -o BY'.
  324. Опция — регистронезависимая, информация о флаге страны также добавляется в cli и во все отчеты,
  325. несуществующие, выбранные регионы подсвечены в CLI красным цветом).
  326. * Опция '--site/-s' выводит теперь и сообщения, если желаемый для поиска сайт замечен в БД full-версии,
  327. но отсутствует в БД Demo-версии.
  328. * Поправлены права на документацию в архивах: 'Общее руководство Snoop Project.pdf'.
  329. (с 755 на 644).
  330. * Обновлена справка в ПО 'snoop --help'.
  331. * Мелкие и незначительные улучшения в кодовой базе.
  332. ===================================================================================
  333. ************
  334. *v1.3.1 (A)*
  335. ************
  336. * Расширена поисковая web-base Snoop > 2200+ сайтов.
  337. * Добавлено в html/csv-отчёты и в CLI параметр: 'сессия':: обработанные данные трафика (ungzip)
  338. в целом и персонально для каждого сайта
  339. (с опцией '-v' визуально в CLI; новый столбец 'Сессия/Kb' в csv-отчёте; 'сессия' в html-отчёте).
  340. * При превышении стандартных параметров Internet Censorship
  341. в общий вывод-CLI добавлена информация о пропуске: err БД в '%'.
  342. * Обновлён плагин Yandex_parser до v0.4
  343. (пропуск обработки данных несуществующих username в БД Яндекса).
  344. * Изменены пути записи отчётов для Snoop for Windows (issues/49).
  345. * Обновлены права Snoop for GNU/Linux build-версий с 744 на 644 (issues/50).
  346. * Изменена utf-8 кодировка csv-отчётов на автоматический выбор кодировки (для OS Windows: 1251).
  347. * В аргументах CLI обновлён ключ: '--update y' до сокращения '-U y'.
  348. * Вывод информации о БД Snoop опции '--list all' и в файле websites.md сортируются без учёта регистра.
  349. * Add Readme.en.
  350. * Продлена лицензия необновляемой Snoop EN-версии на год.
  351. * Обновлена документация: 'Общее руководство Snoop Project.pdf'
  352. * Мелкие и незначительные улучшения в CLI.
  353. ===================================================================================
  354. ********
  355. *v1.3.0*
  356. ********
  357. * Расширена поисковая web-base Snoop > 2000+ сайтов.
  358. * Обновлено меню справки, аргументы сгруппированы по смыслу.
  359. * Добавлена новая опция '--autoclean/-a': автоудаление накопленных отчетов.
  360. * Обновлена функция самодиагностики сети.
  361. * Для Snoop Full версий добавлены премиальные предложения по окончанию действия лицензии.
  362. * Обновлено отображение в отчетах локальной или web БД с учетом выбора БД при поиске.
  363. ===================================================================================
  364. ********
  365. *v1.2.9*
  366. ********
  367. * Переработан и обновлён информативный вывод, Snoop стал выглядеть еще более презентабельнее.
  368. (Изменённый внешний вид (особенно/теперь) будет заметен у пользователей Snoop for Windows,
  369. многие вещи будут автоматически подгоняться под размеры консоли для всех OS).
  370. * К прогрессу добавлены параметры: прядильщик и истёкшее время.
  371. * По просьбе донатера обновлена опция '-f': 'вывод на печать только найденных аккаунтов'
  372. (ранее опция '-f' выводила найденные аккаунты и оповещения капчи/err, служебные и
  373. пользовательские оповещения в этом режиме теперь подавляются).
  374. * Обновлена опция '-v' - подробная вербализация
  375. (вывод стал более читабельным).
  376. * Все плагины Snoop обновлены до следующих версий
  377. (исправлены некоторые ошибки, связанные со специфичными путями и спецсимволами,
  378. убран 'Я Район' из плагина 'Yandex_parser' по причине закрытия сервиса. В плагине GEO_IP/domain
  379. добавлен режим 'Offline_тихий поиск', в таблицы добавлена сортировка по значениям).
  380. Изменения коснулись всех версий Snoop 6 из 10 программ (Snoop for Termux/Source;
  381. Windows/Linux/Demo/Full/RU/Build) кроме EN версий. Дальнейшая поддержка и развитие EN версий
  382. прекращено (Последние версии Snoop/EN/Build v1.2.8).
  383. ===================================================================================
  384. ********
  385. *v1.2.8*
  386. ********
  387. * Ускорен поиск по 'username' ~ на 100% для Snoop for Termux.
  388. * Расширена поисковая web-base Snoop > 1500+ сайтов.
  389. ===================================================================================
  390. ********
  391. *v1.2.7*
  392. ********
  393. * Обновлён плагин Reverse Vgeocoder до v0.2
  394. (добавлен метод геокодирования: 'Подробный'. В данный метод включено:
  395. все маркеры подписаны геометками; странами; округами и городами.
  396. Добавлены статистические отчёты {с расширенной геоинформацией, а также расчётом
  397. количественной информацией процентного соотношения}, которые сохраняются с
  398. подробностями в [txt.html.csv] форматах. Добавлены: статус-бар; процент выполнения
  399. геокодирования. Подробнее о плагине в справке или документации).
  400. * Обновлён плагин Yandex_parser до v0.2
  401. (Добавлен поиск и связь по сервису 'Яндекс_отзывы').
  402. ===================================================================================
  403. ********
  404. *v1.2.6*
  405. ********
  406. * Расширена поисковая web-base Snoop > 1400+ сайтов.
  407. ===================================================================================
  408. ********
  409. *v1.2.5*
  410. ********
  411. * В Snoop Project добавлен плагин: 'Yandex_parser'
  412. (подробнее о плагине в справке или документации).
  413. * Расширена поисковая web-base Snoop до 1349 сайтов.
  414. ===================================================================================
  415. ********
  416. *v1.2.4*
  417. ********
  418. * В Snoop Project добавлены два плагина: 'GEO_IP/domain' и 'Reverse Vgeocoder'.
  419. (вызов плагинов, например, для сборки Snoop for Windows 'snoop.exe --module y'.
  420. 1. Плагин 'GEO_IP/domain' позволяет работать с IPv4/v6/domain/url в качестве цели,
  421. предоставляет статистические и визуализированные отчёты в CLI/txt/csv/maps.
  422. 2. Плагин 'Reverse Vgeocoder' простенький обратный геокодер).
  423. Подробнее о плагинах в справке или документации Snoop Project.
  424. * Для Snoop for Termux создана отдельная ветка.
  425. (Snoop for Termux имеет программные ограничения и не может работать с одним
  426. плагином: Reverse Vgeocoder).
  427. * Расширена поисковая web-base Snoop до 1330 сайтов.
  428. ===================================================================================
  429. ********
  430. *v1.2.3*
  431. ********
  432. * Добавлена опция '--cert-on/-C'.
  433. (Вкл проверку сертификатов на серверах. По умолчанию проверка сертификатов на
  434. серверах отключена, что даёт меньше ошибок и больше положительных результатов при
  435. поиске "username". Пример: website:: 'Forumkinopoisk' с "проблемным" сертификатом).
  436. * Расширена поисковая web-base Snoop до 1220 сайтов.
  437. ===================================================================================
  438. ********
  439. *v1.2.2*
  440. ********
  441. * Для Snoop for GNU/Linux добавлен режим 'SNOOPninja'.
  442. (Режим поиска 'SNOOPninja' активирован по умолчанию в Snoop Full Version:
  443. ускорение поиска ~25% (в тандеме с опцией '--no-func/-n' поиск ускоряется на ~50%);
  444. экономия ОЗУ ~50%; повторные 'гибкие соединения' на 'сбойных' ресурсах).
  445. Для Snoop for Windows добавлена возможность:
  446. (повторные 'гибкие соединения' на 'сбойных' ресурсах).
  447. * Добавлена опция для Snoop for GNU/Linux Full version: '--normal/-N':
  448. (смена режима:: SNOOPninja > нормальный режим поиска).
  449. * В Snoop Full Version опция '-s' стала совместима с опцией '-w':
  450. (можно подключиться к обновляемой Snoop web_database online и произвести поиск на
  451. определённом выбранном website с учётом обновления базы Snoop).
  452. * В Snoop Full Version добавлена возможность персональных и глобальных оповещений.
  453. * Расширена поисковая web-base Snoop до 1200+ сайтов.
  454. * Мелкие исправления:
  455. (улучшена обработка исключений; правки в информативном выводе; облегчена кодовая база;
  456. повышена стабильность приложения:: ПО не перезапускается при разрывах соединения;
  457. сочетание опций '--web-base/-w' и '--country/-c' больше не вызывает конфликтов).
  458. ===================================================================================
  459. ************
  460. *v1.2.1_rus*
  461. ************
  462. * English versions added.
  463. (EN Snoop for GNU/Linux and EN Snoop for Windows).
  464. * Добавлены в БД новые ресурсы.
  465. (В БД Snoop Full version > 1.1k websites).
  466. * Добавлена опция для Snoop Full version: '--web-base/-w'.
  467. (Подключиться для поиска 'username' к обновляемой и расширяемой) web_БД (Online).
  468. * Поправлена опция '--save-report/-S'.
  469. (При выгрузке данных кодировка выбирается автоматически верная.
  470. Сохранённые некоторые 'проблемные' странички теперь не нужно конвертировать).
  471. * Snoop versions Source и Demo уравнены в правах.
  472. (Snoop Full version вышла на новый уровень).
  473. * К вербализации добавлено самотестирование сети в CLI.
  474. ($ python3 snoop.py -v username).
  475. * Обновлена опция '--list all'.
  476. (Визуализация/сравнение full/demo БД).
  477. * В Snoop Full version ускорен поиск на мощных ПК ~20%.
  478. (Весь поиск длится < 100с.).
  479. * В CLI обновлён информативный вывод: 'прогресс поиска'. Добавлены:
  480. (статус-бар; процент выполнения; предварительное расч.время до завершения поиска).
  481. ===================================================================================
  482. ************
  483. *v1.2.0_rus*
  484. ************
  485. * Добавлена новая опция '--save-report/-S'.
  486. (При активации опции — идет выгрузка данных: сохраняются страницы
  487. найденных аккаунтов в HTML формате).
  488. * Добавлены новые user agent-ы. При поиске agent выбирается рандомный.
  489. (Некоторые сайты отдают предпочтения (стабильные ответы) между человеком/роботом).
  490. * Опция '--time/-t' принимает значение по умолчанию: = 9 секунд.
  491. (При хорошем интернет соединении этого времени достаточно, при слабом
  492. соединении опция '-t' доступна для изменения).
  493. ===================================================================================
  494. ************
  495. *v1.1.9_rus*
  496. ************
  497. * Добавлены в БД новые ресурсы.
  498. (В БД > 1k websites).
  499. * Слиты ветки в одну termux и master.
  500. * Специально для Snoop записаны два soundtrack-a в жанре cyberpunk.
  501. (Автор: Metelkin Viktor, трек:: for snoop in cyberpunk.mp3.
  502. Автор: Zed Badley, трек:: Megapolis (remix).mp3).
  503. ===================================================================================
  504. ************
  505. *v1.1.8_rus*
  506. ************
  507. * Блокировка/коррекция бессмысленных запросов.
  508. (Номера телефонов — фильтруются; e-mails — корректируются).
  509. * Добавлена возможность поиска username c пробелом.
  510. ($ python3 snoop.py "ivanov ivan")
  511. * Добавлен новый метод детектирования username.salt.
  512. * Исправлена метрика времени/ошибок опции '--verbose/-v'.
  513. * Обновлён HTML-формат.
  514. (Chrome потребляет больше ресурсов, чем другие браузеры).
  515. * Убрана опция '--csv'.
  516. (Результаты 'username.csv' с расширенной метрикой пишутся теперь по умолчанию).
  517. * Добавлены в БД новые ресурсы.
  518. (В БД > 800 websites).
  519. * Утрата нескольких интернет-ресурсов.
  520. ===================================================================================
  521. ************
  522. *v1.1.7_rus*
  523. ************
  524. * Обновлён информативный вывод.
  525. * Добавлены в БД новые ресурсы:
  526. ===================================================================================
  527. ************
  528. *v1.1.6_rus*
  529. ************
  530. (В БД > 650 websites).
  531. * Добавлены в БД новые ресурсы:
  532. ===================================================================================
  533. ************
  534. *v1.1.5_rus*
  535. ************
  536. * Обновлён информативный вывод с учётом Internet Censorship.
  537. * Поддержка инфовывода на OS Windows.
  538. * Мелкие исправления.
  539. ===================================================================================
  540. ************
  541. *v1.1.4_rus*
  542. ************
  543. * Улучшена визуализация БД Snoop при помощи опции '--list all'.
  544. * Добавлены в БД новые ресурсы:
  545. ===================================================================================
  546. ************
  547. *v1.1.3_rus*
  548. ************
  549. * В html теперь доступна сортировка результатов: — по странам.
  550. (Сортировка по умолчанию: — по алфавиту имён websites.
  551. Высокая визуализация результатов поиска; визуализация БД по опции '--list all').
  552. * Добавлены новые опции: '--country/-с' и '--userload/-u'.
  553. ('--country/-с' — во время поиска в CLI (GNU/Linux/Termux) выводятся отсортированные флаги государств.
  554. Результаты сортируются по странам, а не по алфавиту websites и сохраняются в html).
  555. (--userload/-u' — указать файл.txt с именами разыскиваемых пользователей).
  556. * Изменены/отредактированы основные опции.
  557. * Добавлены в БД новые ресурсы:
  558. * Почищена БД от дубликатов.
  559. (В БД > 500 websites).
  560. ===================================================================================
  561. ************
  562. *v1.1.2_rus*
  563. ************
  564. * Улучшена навигация по работе с html.
  565. * Улучшен алгоритм детектирования.
  566. (Меньше ложных результатов на кириллическом username).
  567. * Результаты поиска отсортированы по расширению.
  568. * Добавлены в БД новые ресурсы:
  569. ===================================================================================
  570. ************
  571. *v1.1.0_rus*
  572. ************
  573. * Добавлен формат 'html'.
  574. Анализировать положительные результаты поиска теперь можно прямо в браузере.
  575. Web browser с результатами поиска открывается после завершения поиска username.
  576. * Опция '--no-func/-n' отключает цвета/звук/браузер.
  577. * Результаты поиска сохраняются в каталоге 'results'.
  578. * Поправлены опции Snoop для работы на OS Windows.
  579. * Функция обновления Snoop работает теперь и на OS Windows, проверено на win7/32.
  580. (Требуется ПО Git)
  581. ===================================================================================
  582. ************
  583. *v1.0.6_rus*
  584. ************
  585. * Добавлена отдельная ветка Termux (Android) для Snoop.
  586. * В основную ветку master (GNU/Linux) для Snoop добавлен звук.
  587. $ pip3 install playsound
  588. * Опция '-n' отключает и цвета в терминале и звук (GNU/Linux).
  589. * В ЧС добавлен сайт с медленным ответом (Zomato).
  590. ===================================================================================
  591. ************
  592. *v1.0.4_rus*
  593. ************
  594. * Мелкие исправления и улучшения.
  595. * Поправлены некоторые ответы от websites.
  596. ===================================================================================
  597. ************
  598. *v1.0.2_rus*
  599. ************
  600. * Добавлена возможность запускать Snoop на OS Windows с ограничением функционала.
  601. ===================================================================================
  602. ************
  603. *v1.0.0_rus*
  604. ************
  605. Обновлена лицензия.
  606. * Добавлено огромное кол-во новых websites (в том числе, благодаря манипуляции HTTP-заголовками):
  607. для сравнения Sherlock на GNU/Kali Linux/Parrot ищет по — 198 сайтам, Snoop ищет по — 337 сайтам.
  608. * Добавлены новые опции:
  609. '--list'; '--update'; '--sort'; '--donate'; переработана опция '--version'.
  610. * Snoop Project — русифицирован.
  611. * Добавлен тестовый файл "example_data.json" для внесения своих новых websites в БД.
  612. * Изменен user-agent на более популярный.
  613. * Убраны из БД некоторые недоступные для Snoop сайты, которые затормаживали работу ПО.
  614. * Обновлён информативный вывод в CLI и в файле сохранения "username.txt".
  615. ===================================================================================