snoop.py 117 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220320420520620720820921021121221321421521621721821922022122222322422522622722822923023123223323423523623723823924024124224324424524624724824925025125225325425525625725825926026126226326426526626726826927027127227327427527627727827928028128228328428528628728828929029129229329429529629729829930030130230330430530630730830931031131231331431531631731831932032132232332432532632732832933033133233333433533633733833934034134234334434534634734834935035135235335435535635735835936036136236336436536636736836937037137237337437537637737837938038138238338438538638738838939039139239339439539639739839940040140240340440540640740840941041141241341441541641741841942042142242342442542642742842943043143243343443543643743843944044144244344444544644744844945045145245345445545645745845946046146246346446546646746846947047147247347447547647747847948048148248348448548648748848949049149249349449549649749849950050150250350450550650750850951051151251351451551651751851952052152252352452552652752852953053153253353453553653753853954054154254354454554654754854955055155255355455555655755855956056156256356456556656756856957057157257357457557657757857958058158258358458558658758858959059159259359459559659759859960060160260360460560660760860961061161261361461561661761861962062162262362462562662762862963063163263363463563663763863964064164264364464564664764864965065165265365465565665765865966066166266366466566666766866967067167267367467567667767867968068168268368468568668768868969069169269369469569669769869970070170270370470570670770870971071171271371471571671771871972072172272372472572672772872973073173273373473573673773873974074174274374474574674774874975075175275375475575675775875976076176276376476576676776876977077177277377477577677777877978078178278378478578678778878979079179279379479579679779879980080180280380480580680780880981081181281381481581681781881982082182282382482582682782882983083183283383483583683783883984084184284384484584684784884985085185285385485585685785885986086186286386486586686786886987087187287387487587687787887988088188288388488588688788888989089189289389489589689789889990090190290390490590690790890991091191291391491591691791891992092192292392492592692792892993093193293393493593693793893994094194294394494594694794894995095195295395495595695795895996096196296396496596696796896997097197297397497597697797897998098198298398498598698798898999099199299399499599699799899910001001100210031004100510061007100810091010101110121013101410151016101710181019102010211022102310241025102610271028102910301031103210331034103510361037103810391040104110421043104410451046104710481049105010511052105310541055105610571058105910601061106210631064106510661067106810691070107110721073107410751076107710781079108010811082108310841085108610871088108910901091109210931094109510961097109810991100110111021103110411051106110711081109111011111112111311141115111611171118111911201121112211231124112511261127112811291130113111321133113411351136113711381139114011411142114311441145114611471148114911501151115211531154115511561157115811591160116111621163116411651166116711681169117011711172117311741175117611771178117911801181118211831184118511861187118811891190119111921193119411951196119711981199120012011202120312041205120612071208120912101211121212131214121512161217121812191220122112221223122412251226122712281229123012311232123312341235123612371238123912401241124212431244124512461247124812491250125112521253125412551256125712581259126012611262126312641265126612671268126912701271127212731274127512761277127812791280128112821283128412851286128712881289129012911292129312941295129612971298129913001301130213031304130513061307130813091310131113121313131413151316131713181319132013211322132313241325132613271328132913301331133213331334133513361337133813391340134113421343134413451346134713481349135013511352135313541355135613571358135913601361136213631364136513661367136813691370137113721373137413751376137713781379138013811382138313841385138613871388138913901391139213931394139513961397139813991400140114021403140414051406140714081409141014111412141314141415141614171418141914201421142214231424142514261427142814291430143114321433143414351436143714381439144014411442144314441445144614471448144914501451145214531454145514561457145814591460146114621463146414651466146714681469147014711472147314741475147614771478147914801481148214831484148514861487148814891490149114921493149414951496149714981499150015011502150315041505150615071508150915101511151215131514151515161517151815191520152115221523152415251526152715281529153015311532153315341535153615371538153915401541154215431544154515461547154815491550155115521553155415551556155715581559156015611562156315641565156615671568156915701571157215731574157515761577157815791580158115821583158415851586158715881589159015911592159315941595159615971598159916001601160216031604160516061607160816091610161116121613161416151616161716181619162016211622162316241625162616271628162916301631163216331634163516361637163816391640164116421643164416451646164716481649165016511652165316541655165616571658165916601661166216631664166516661667166816691670167116721673167416751676167716781679168016811682168316841685168616871688168916901691169216931694169516961697169816991700170117021703170417051706170717081709171017111712171317141715171617171718171917201721172217231724172517261727172817291730173117321733173417351736173717381739174017411742174317441745174617471748174917501751175217531754175517561757175817591760176117621763176417651766176717681769177017711772177317741775177617771778177917801781178217831784178517861787178817891790179117921793179417951796179717981799180018011802180318041805180618071808180918101811181218131814181518161817181818191820182118221823182418251826182718281829183018311832183318341835183618371838183918401841184218431844184518461847184818491850185118521853185418551856185718581859186018611862186318641865186618671868186918701871187218731874187518761877187818791880188118821883188418851886188718881889189018911892189318941895189618971898189919001901190219031904190519061907190819091910191119121913191419151916191719181919192019211922192319241925192619271928192919301931193219331934193519361937193819391940194119421943194419451946194719481949195019511952195319541955195619571958195919601961196219631964196519661967196819691970197119721973197419751976197719781979198019811982198319841985198619871988198919901991199219931994199519961997199819992000200120022003200420052006200720082009201020112012201320142015201620172018201920202021202220232024202520262027202820292030203120322033203420352036203720382039204020412042204320442045
  1. #! /usr/bin/env python3
  2. # Copyright (c) 2020 Snoop Project <snoopproject@protonmail.com>
  3. import argparse
  4. import certifi
  5. import csv
  6. import glob
  7. import itertools
  8. import json
  9. import locale
  10. import os
  11. import platform
  12. import psutil
  13. import random
  14. import re
  15. import requests
  16. import shutil
  17. import signal
  18. import ssl
  19. import subprocess
  20. import sys
  21. import textwrap
  22. import time
  23. import webbrowser
  24. from charset_normalizer import detect as char_detect
  25. from collections import Counter
  26. from colorama import Fore, Style, init
  27. from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor, as_completed, TimeoutError
  28. from multiprocessing import active_children
  29. from rich.markdown import Markdown
  30. from rich.progress import BarColumn, SpinnerColumn, TimeElapsedColumn, Progress
  31. from rich.panel import Panel
  32. from rich.style import Style as STL
  33. from rich.console import Console
  34. from rich.table import Table
  35. import snoopbanner
  36. import snoopplugins
  37. import snoopnetworktest
  38. if int(platform.python_version_tuple()[1]) >= 8:
  39. from importlib.metadata import version as version_lib
  40. python3_8 = True
  41. else:
  42. python3_8 = False
  43. Android = True if hasattr(sys, 'getandroidapilevel') else False
  44. Windows = True if sys.platform == 'win32' else False
  45. Linux = True if Android is False and Windows is False else False
  46. try:
  47. if os.environ.get('LANG') is not None and 'ru' in os.environ.get('LANG'):
  48. rus_unix = True
  49. else:
  50. rus_unix = False
  51. if Windows and "1251" in locale.setlocale(locale.LC_ALL):
  52. rus_windows = True
  53. else:
  54. rus_windows = False
  55. except Exception:
  56. rus_unix = False
  57. rus_windows = False
  58. locale.setlocale(locale.LC_ALL, '')
  59. init(autoreset=True)
  60. console = Console()
  61. vers, vers_code, demo_full = 'v1.4.1g', "s", "d"
  62. print(f"""\033[36m
  63. ___|
  64. \___ \ __ \ _ \ _ \ __ \
  65. | | | ( | ( | | |
  66. _____/ _| _|\___/ \___/ .__/
  67. _| \033[0m \033[37m\033[44m{vers}\033[0m
  68. """)
  69. _sb = "build" if vers_code == 'b' else "source"
  70. __sb = "demo" if demo_full == 'd' else "full"
  71. if Windows: OS_ = f"ru Snoop for Windows {_sb} {__sb}"
  72. elif Android: OS_ = f"ru Snoop for Termux source {__sb}"
  73. elif Linux: OS_ = f"ru Snoop for GNU/Linux {_sb} {__sb}"
  74. version = f"{vers}_{OS_}"
  75. console.print("[dim cyan]Примеры:[dim cyan]")
  76. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'cd C:' + chr(92) + 'path' + chr(92) + 'snoop' if Windows else 'cd ~/snoop'}[/cyan]")
  77. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'python' if Windows else 'python3'} snoop.py --help[/cyan] #справка")
  78. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'python' if Windows else 'python3'} snoop.py --module[/cyan] #плагины")
  79. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'python' if Windows else 'python3'} snoop.py nickname[/cyan] #поиск user-a")
  80. console.rule(characters="=", style="cyan")
  81. print("")
  82. ## Date, согласно международному стандарту ISO 8601.
  83. e_mail = 'demo: snoopproject@protonmail.com'
  84. # лицензия: год-месяц-день.
  85. license = 'лицензия'
  86. ts = (2025, 9, 10, 3, 0, 0, 0, 0, 0)
  87. date_up = int(time.mktime(ts)) #дата в секундах с начала эпохи
  88. Do = time.strftime('%Y-%m-%d', time.gmtime(date_up))
  89. # Чек.
  90. if time.time() > date_up:
  91. snoopbanner.logo(text=f"ПО {version} деактивировано согласно лицензии.")
  92. sys.exit()
  93. BDdemo = snoopbanner.DB('BDdemo')
  94. BDflag = snoopbanner.DB('BDflag')
  95. flagBS = len(BDdemo)
  96. timestart = time.time()
  97. time_date = time.localtime()
  98. censors, recensor = 0, 0
  99. lame_workhorse = False
  100. dic_binding = {"badraw": [], "badzone": [], "options_speed": [], "symbol_bad": re.compile("[^a-zA-Zа-яА-Я\_\s\d\%\@\-\.\+]")}
  101. ## Создание директорий результатов.
  102. if Windows:
  103. dirhome = os.environ['LOCALAPPDATA'] + "\\snoop"
  104. elif Android:
  105. try:
  106. dirhome = "/data/data/com.termux/files/home/storage/shared/snoop"
  107. except Exception:
  108. dirhome = os.environ['HOME'] + "/snoop"
  109. elif Linux:
  110. dirhome = os.environ['HOME'] + "/snoop"
  111. dirresults = os.getcwd()
  112. dirpath = dirresults if 'source' in version and not Android else dirhome
  113. os.makedirs(f"{dirpath}/results", exist_ok=True)
  114. os.makedirs(f"{dirpath}/results/nicknames/html", exist_ok=True)
  115. os.makedirs(f"{dirpath}/results/nicknames/txt", exist_ok=True)
  116. os.makedirs(f"{dirpath}/results/nicknames/csv", exist_ok=True)
  117. os.makedirs(f"{dirpath}/results/nicknames/save reports", exist_ok=True)
  118. os.makedirs(f"{dirpath}/results/plugins/ReverseVgeocoder", exist_ok=True)
  119. os.makedirs(f"{dirpath}/results/plugins/Yandex_parser", exist_ok=True)
  120. os.makedirs(f"{dirpath}/results/plugins/domain", exist_ok=True)
  121. ## Создание web-каталога и его контроль, но не файлов внутри + раздача верных прав "-x -R" после компиляции двоичных данных [.mp3].
  122. def web_path_copy():
  123. try:
  124. if "build" in version and os.path.exists(f"{dirpath}/web") is False:
  125. shutil.copytree(web_path, f"{dirpath}/web")
  126. if Linux: # и 'build' in 'version'
  127. os.chmod(f"{dirpath}/web", 0o755)
  128. for total_file_path in glob.iglob(f"{dirpath}/web/**/*", recursive=True):
  129. if os.path.isfile(total_file_path) == True:
  130. os.chmod(total_file_path, 0o644)
  131. else:
  132. os.chmod(total_file_path, 0o755)
  133. elif "source" in version and Android and os.path.exists("/data/data/com.termux/files/home/storage/shared/snoop/web") is False:
  134. shutil.copytree(f"{dirresults}/web", "/data/data/com.termux/files/home/storage/shared/snoop/web")
  135. except Exception as e:
  136. print(f"ERR: {e}")
  137. web_path_copy()
  138. ## Расход памяти.
  139. def mem_test():
  140. try:
  141. return round(psutil.virtual_memory().available / 1024 / 1024)
  142. except Exception:
  143. if not Windows:
  144. console.print(f"{' ' * 17} [bold red]ERR Psutil lib[/bold red]")
  145. return int(subprocess.check_output("free -m", shell=True, text=True).splitlines()[1].split()[-1])
  146. else:
  147. return -1
  148. ## Вывести на печать инфостроку.
  149. def info_str(infostr, nick, color=True):
  150. if color is True:
  151. print(f"{Fore.GREEN}[{Fore.YELLOW}*{Fore.GREEN}] {infostr}{Fore.RED} <{Fore.WHITE} {nick} {Fore.RED}>{Style.RESET_ALL}")
  152. else:
  153. print(f"\n[*] {infostr} < {nick} >")
  154. ## Bad_raw.
  155. def bad_raw(flagBS_err, time_date, bad_zone, lst_options):
  156. print(f"{Fore.CYAN}├───Дата поиска:{Style.RESET_ALL} {time.strftime('%Y-%m-%d_%H:%M:%S', time_date)}")
  157. if any(lst_options):
  158. print(f"{Fore.CYAN}└────\033[31;1mBad_raw: {flagBS_err}% БД, bad_zone {bad_zone}\033[0m\n")
  159. else:
  160. if 4 >= flagBS_err >= 2:
  161. print(f"{Fore.CYAN}└────\033[33;1mВнимание! Bad_raw: {flagBS_err}% БД, bad_zone {bad_zone}\033[0m")
  162. elif 9 >= flagBS_err > 4:
  163. print(f"{Fore.CYAN}└────\033[31;1mВнимание!! Bad_raw: {flagBS_err}% БД, bad_zone {bad_zone}\033[0m")
  164. elif flagBS_err > 9:
  165. print(f"{Fore.CYAN}└────\033[30m\033[41mВнимание!!! Bad_raw: {flagBS_err}% БД, критический уровень, " + \
  166. f"bad_zone {bad_zone}\033[0m")
  167. if not any(lst_options):
  168. print(Fore.CYAN + " └─нестабильное соединение или I_Censorship")
  169. print(f" \033[36m{'├' if 'full' in version else '└'}─используйте \033[36;1mVPN\033[0m\033[36m/'\033[0m" + \
  170. f"\033[36;1m--web-base\033[0m\033[36m'\033[0m ", end='' if 'full' in version else '\n\n')
  171. if "full" in version:
  172. print(f"\033[36m\n └─или исключите из поиска bad_zone: '\033[36;1m" + \
  173. f"{bad_zone.split('/')[0].replace('~', '')}\033[0m" + \
  174. f"\033[36m'\n └─$ {os.path.basename(sys.argv[0])} --exclude " + \
  175. f"{bad_zone.split('/')[0].replace('~', '')} {nick}\033[0m\n")
  176. ## Форматирование, отступы.
  177. def format_txt(text, k=False, m=False):
  178. if Windows:
  179. gal, ident_h = "[+] ", " " * 4
  180. else:
  181. gal, ident_h = " ✔ ", " " * 3
  182. ident_e = "" if k else ident_h
  183. gal = gal if k and not m else ""
  184. try:
  185. return textwrap.fill(f"{gal}{text}", width=os.get_terminal_size()[0], subsequent_indent=ident_h, initial_indent=ident_e)
  186. except OSError:
  187. return "ERR"
  188. ## Вывести на печать ошибки.
  189. def print_error(websites_names, errstr, country_code, errX, verbose=False, color=True):
  190. """Вывести на печать разного рода ошибки сети."""
  191. if color is True:
  192. print(f"{Style.RESET_ALL}{Fore.RED}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.RED}]{Style.BRIGHT}" \
  193. f"{Fore.GREEN} {websites_names}: {Style.BRIGHT}{Fore.RED}{errstr}{country_code}" \
  194. f"{Fore.YELLOW} {errX if verbose else ''} {Style.RESET_ALL}")
  195. else:
  196. print(f"[!] {websites_names}: {errstr}{country_code} {errX if verbose else ''}")
  197. ## Вывод на печать на разных платформах, индикация.
  198. def print_found_country(websites_names, url, country_Emoj_Code, verbose=False, color=True):
  199. """Вывести на печать аккаунт найден."""
  200. if color is True and Windows:
  201. print(f"{Style.RESET_ALL}{Style.BRIGHT}{Fore.CYAN}{country_Emoj_Code}" \
  202. f"{Fore.GREEN} {websites_names}:{Style.RESET_ALL}{Fore.GREEN} {url}{Style.RESET_ALL}")
  203. elif color is True and not Windows:
  204. print(f"{Style.RESET_ALL}{country_Emoj_Code}{Style.BRIGHT}{Fore.GREEN} {websites_names}: " \
  205. f"{Style.RESET_ALL}{Style.DIM}{Fore.GREEN}{url}{Style.RESET_ALL}")
  206. else:
  207. print(f"[+] {websites_names}: {url}")
  208. def print_not_found(websites_names, verbose=False, color=True):
  209. """Вывести на печать аккаунт не найден."""
  210. if color is True:
  211. print(f"{Style.RESET_ALL}{Fore.CYAN}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.CYAN}]" \
  212. f"{Style.BRIGHT}{Fore.GREEN} {websites_names}: {Style.BRIGHT}{Fore.YELLOW}Увы!{Style.RESET_ALL}")
  213. else:
  214. print(f"[-] {websites_names}: Увы!")
  215. ## Вывести на печать пропуск сайтов по блок. маске в имени username, gray_list.
  216. def print_invalid(websites_names, message, color=True):
  217. if color is True:
  218. return f"{Style.RESET_ALL}{Fore.RED}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.RED}]" \
  219. f"{Style.BRIGHT}{Fore.GREEN} {websites_names}: {Style.RESET_ALL}{Fore.YELLOW}{message}{Style.RESET_ALL}\n"
  220. else:
  221. return f"[-] {websites_names}: {message}\n"
  222. ## Вывести предупреждение о несоотв. версиях либ.
  223. def warning_lib():
  224. if int(requests.urllib3.__version__.split(".")[0]) < 2 or int("".join(requests.__version__.split("."))) < 2282:
  225. console.log("[yellow]Внимание! \n\nВ Requests > v2.28.2 / Urllib3 v2 разработчики отказались от поддержки старых шифров. " + \
  226. "Некоторые, немногочисленные, устаревшие сайты из БД, работающие по старой технологии, будут продолжать " + \
  227. "коннектиться без ошибок (Snoop будет стремиться обеспечивать режим совместимости).[/yellow]\n\n" + \
  228. "[bold green]Все же рекомендуется обновить библиотеки: \n$ python -m pip install requests urllib3 -U[/bold green]", highlight=False)
  229. console.rule(characters="=", style="cyan")
  230. ##Сеть.
  231. def r_session(cert=False, connect=0, speed=False, norm = False, method="get",
  232. url=None, headers="", allow_redirects=True, timeout=9):
  233. """
  234. Объект сессии нужен для расширения пула сетевых соединений, существенный минус (многопоточноть/OS Windows):
  235. с течением времени происходит утечка процессорного времени. Обходное решение: создавать временную сессию
  236. на каждое соединение без кэширования, прирост производительности (Windows) ~25-30%.
  237. Кроме того, в версии urllib3 > 2 при multiprocessing (Linux) необходимо вручную мариновать объект SSL.
  238. """
  239. if speed:
  240. connections = (speed + 20) if speed >= 60 else (70 if not Windows else 50)
  241. elif speed is False:
  242. connections = 200 if Linux else (70 if Windows else 40) #L/W/A.
  243. # adapter = requests.adapters.HTTPAdapter(pool_connections=1, pool_maxsize=0, max_retries=0, pool_block=True)
  244. if "test" in version:
  245. total = False if norm else None
  246. retry = requests.urllib3.util.Retry(total=total, connect=connect, read=0, status=0, other=1, backoff_factor=0.1)
  247. adapter = requests.adapters.HTTPAdapter(max_retries=retry)
  248. else:
  249. adapter = requests.adapters.HTTPAdapter()
  250. try: #urllib3 > 2
  251. cert_reqs = ssl.CERT_NONE if cert is False else ssl.CERT_REQUIRED
  252. ciphers = 'ECDHE+AESGCM:ECDHE+CHACHA20:DHE+AESGCM:DHE+CHACHA20:ECDH+AESGCM:DH+AESGCM\
  253. :ECDH+AES:DH+AES:RSA+AESGCM:RSA+AES:!aNULL:!eNULL:!MD5:!DSS:HIGH:!DH'
  254. ctx = requests.urllib3.util.create_urllib3_context(ciphers=ciphers, cert_reqs=cert_reqs)
  255. adapter.init_poolmanager(connections=connections, maxsize=20, block=False,
  256. ssl_minimum_version=ssl.TLSVersion.TLSv1, ssl_context=ctx)
  257. except Exception: #urllib3 < 2, перенастраивать процессы не требуется
  258. requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS += ':HIGH:!DH:!aNULL'
  259. adapter.init_poolmanager(connections=connections, maxsize=20, block=False)
  260. requests.packages.urllib3.disable_warnings()
  261. r_session = requests.Session()
  262. r_session.max_redirects = 9
  263. r_session.verify = False if cert is False else certifi.where()
  264. r_session.mount('http://', adapter)
  265. r_session.mount('https://', adapter)
  266. if method == "get":
  267. req_session = r_session.get
  268. elif method == "head":
  269. req_session = r_session.head
  270. return req_session(url=url, headers=headers, allow_redirects=allow_redirects, timeout=timeout)
  271. # Вернуть результат future for2.
  272. # Логика: возврат ответа и дуб_метода (из 4-х) в случае успеха/повтора.
  273. def r_results(request_future, error_type, websites_names, timeout=None, norm=False,
  274. print_found_only=False, verbose=False, color=True, country_code=''):
  275. global censors
  276. try:
  277. res = request_future.result(timeout=timeout + 20)
  278. if res.status_code:
  279. return res, error_type, str(round(res.elapsed.total_seconds(), 2))
  280. except requests.exceptions.HTTPError as err1:
  281. if norm is False and print_found_only is False:
  282. print_error(websites_names, "HTTP Error ", country_code, err1, verbose, color)
  283. except requests.exceptions.ConnectionError as err2:
  284. #if norm is False and "Max retries" not in str(err2):
  285. if norm is False and ('aborted' in str(err2) or 'None: None' in str(err2) or
  286. 'SSLZeroReturnError' in str(err2) or 'Failed' in str(err2) or 'None' == str(err2)):
  287. censors += 1
  288. if print_found_only is False:
  289. print_error(websites_names, "Ошибка соединения ", country_code, err2, verbose, color)
  290. return "FakeNone", "", "-"
  291. else:
  292. if norm is False and print_found_only is False:
  293. print_error(websites_names, "Censorship | TLS ", country_code, err2, verbose, color)
  294. except (requests.exceptions.Timeout, TimeoutError) as err3:
  295. if norm is False and print_found_only is False:
  296. print_error(websites_names, "Timeout ошибка ", country_code, err3, verbose, color)
  297. if len(str(repr(err3))) == 14:
  298. censors += 1
  299. return "FakeStuck", "", "-"
  300. except requests.exceptions.RequestException as err4:
  301. if norm is False and print_found_only is False:
  302. print_error(websites_names, "Непредвиденная ошибка ", country_code, err4, verbose, color)
  303. except Exception as err5:
  304. if norm is False and print_found_only is False:
  305. print_error(websites_names, "Network Pool Crash ", country_code, err5, verbose, color)
  306. censors += 1
  307. return None, "Great Snoop returns None", "-"
  308. ## Сохранение отчетов опция (-S).
  309. def new_session(url, headers, error_type, username, websites_names, r, t):
  310. """
  311. Если nickname найден, но актуальная html-страница находится дальше по редиректу,
  312. поднимаем новое соединение и двигаемся по редиректу чтобы ее захватить и сохранить.
  313. """
  314. response = r_session(url=url, headers=headers, allow_redirects=True, timeout=t)
  315. # Ловушка на некот.сайтах (if response.content is not None ≠ if response.content).
  316. if response.content is not None and response.encoding == 'ISO-8859-1':
  317. try:
  318. response.encoding = char_detect(response.content).get("encoding")
  319. if response.encoding is None:
  320. response.encoding = "utf-8"
  321. except Exception:
  322. response.encoding = "utf-8"
  323. try:
  324. session_size = len(response.content) #подсчет извлеченных данных
  325. except UnicodeEncodeError:
  326. session_size = None
  327. return response, session_size
  328. def sreports(url, headers, error_type, username, websites_names, r):
  329. os.makedirs(f"{dirpath}/results/nicknames/save reports/{username}", exist_ok=True)
  330. # Сохранять отчеты для метода: redirection.
  331. if error_type == "redirection":
  332. try:
  333. response, session_size = new_session(url, headers, error_type,
  334. username, websites_names, r, t=6)
  335. except requests.exceptions.ConnectionError:
  336. time.sleep(0.02)
  337. try:
  338. response, session_size = new_session(url, error_type, username,
  339. websites_names, r, headers="", t=3)
  340. except Exception:
  341. session_size = 'Err' #подсчет извлеченных данных
  342. except Exception:
  343. session_size = 'Err'
  344. # Сохранять отчеты для всех остальных методов: status; response; message со стандартными параметрами.
  345. try:
  346. with open(f"{dirpath}/results/nicknames/save reports/{username}/{websites_names}.html", 'w', encoding=r.encoding) as rep:
  347. if 'response' in locals():
  348. rep.write(response.text)
  349. elif error_type == "redirection" and 'response' not in locals():
  350. rep.write("❌ Snoop Project bad_save, timeout")
  351. else:
  352. rep.write(r.text)
  353. except Exception:
  354. console.log(snoopbanner.err_all(err_="low"), f"\nlog --> [{websites_names}:[bold red] {r.encoding} | response?[/bold red]]")
  355. if error_type == "redirection":
  356. return session_size
  357. ## Основная функция.
  358. def snoop(username, BDdemo_new, verbose=False, norm=False, reports=False, user=False, country=False, speed=False,
  359. print_found_only=False, timeout=None, color=True, cert=False, headerS=None):
  360. ## Печать инфострок.
  361. еasteregg = ['Snoop', 'snoop', 'SNOOP',
  362. 'Snoop Project', 'snoop project', 'SNOOP PROJECT',
  363. 'Snoop_Project', 'snoop_project', 'SNOOP_PROJECT',
  364. 'Snoop-Project', 'snoop-project', 'SNOOP-PROJECT',
  365. 'Snooppr', 'snooppr', 'SNOOPPR']
  366. info_str("разыскиваем:", username.replace("%20", " "), color)
  367. if len(username) < 3:
  368. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ nickname не может быть короче 3-х символов",
  369. k=True, m=True) + "\n пропуск\n")
  370. return False, False
  371. elif username in еasteregg:
  372. with console.status("[bold blue] 💡 Обнаружена пасхалка...", spinner='noise'):
  373. try:
  374. r_east = r_session(url="https://raw.githubusercontent.com/snooppr/snoop/master/changelog.txt", timeout=timeout)
  375. r_repo = r_session(url='https://api.github.com/repos/snooppr/snoop', timeout=timeout).json()
  376. r_latestvers = r_session(url='https://api.github.com/repos/snooppr/snoop/tags', timeout=timeout).json()
  377. console.print(Panel(Markdown(r_east.text.replace("=" * 83, "")),
  378. subtitle="[bold blue]журнал snoop-версий[/bold blue]", style=STL(color="cyan")))
  379. console.print(Panel(f"[bold cyan]Дата создания проекта:[/bold cyan] 2020-02-14 " + \
  380. f"({round((time.time() - 1581638400) / 86400)}_дней).\n" + \
  381. f"[bold cyan]Последнее обновление репозитория:[/bold cyan] " + \
  382. f"{'_'.join(r_repo.get('pushed_at')[0:-4].split('T'))} (UTC).\n" + \
  383. f"[bold cyan]Размер репозитория:[/bold cyan] {round(int(r_repo.get('size')) / 1024, 1)} Мб.\n" + \
  384. f"[bold cyan]Github-рейтинг:[/bold cyan] {r_repo.get('watchers')} звёзд.\n" + \
  385. f"[bold cyan]Скрытые опции:[/bold cyan]\n'--headers/-H':: Задать user-agent вручную, агент " + \
  386. f"заключается в кавычки, по умолчанию для каждого сайта задается случайный " + \
  387. f"либо переопределенный user-agent из БД snoop.\n" + \
  388. f"'--cert-on/-C':: Включить проверку сертификатов на серверах, " + \
  389. f"по умолчанию проверка сертификатов на серверах " + \
  390. f"отключена, что позволяет обрабатывать проблемные сайты без ошибок.\n"
  391. f"[bold cyan]Последняя версия snoop:[/bold cyan] {r_latestvers[0].get('name')}.",
  392. style=STL(color="cyan"), subtitle="[bold blue]ключевые показатели[/bold blue]", expand=False))
  393. except Exception:
  394. console.log(snoopbanner.err_all(err_="high"))
  395. sys.exit()
  396. username = re.sub(" ", "%20", username)
  397. ## Предотвращение 'DoS' из-за невалидных логинов; номеров телефонов, ошибок поиска из-за спецсимволов.
  398. with open('domainlist.txt', 'r', encoding="utf-8") as err:
  399. ermail = err.read().splitlines()
  400. username_bad = username.rsplit(sep='@', maxsplit=1)
  401. username_bad = '@bro'.join(username_bad).lower()
  402. for ermail_iter in ermail:
  403. if ermail_iter.lower() == username.lower():
  404. print("\n" + Style.BRIGHT + Fore.RED + format_txt("⛔️ bad nickname: '{0}' (обнаружен чистый домен)".format(ermail_iter),
  405. k=True, m=True) + "\n пропуск\n")
  406. return False, False
  407. elif ermail_iter.lower() in username.lower():
  408. usernameR = username.rsplit(sep=ermail_iter.lower(), maxsplit=1)[1]
  409. username = username.rsplit(sep='@', maxsplit=1)[0]
  410. if len(username) == 0:
  411. username = usernameR
  412. print(f"\n{Fore.CYAN}Обнаружен E-mail адрес, извлекаем nickname: '{Style.BRIGHT}{Fore.CYAN}{username}{Style.RESET_ALL}" + \
  413. f"{Fore.CYAN}'\nsnoop способен отличать e-mail от логина, например, поиск '{username_bad}'\n" + \
  414. f"не является валидной электропочтой, но может существовать как nickname, следовательно — не будет обрезан\n")
  415. if len(username) == 0 and len(usernameR) == 0:
  416. print("\n" + Style.BRIGHT + Fore.RED + format_txt("⛔️ bad nickname: '{0}' (обнаружен чистый домен)".format(ermail_iter),
  417. k=True, m=True) + "\n пропуск\n")
  418. return False, False
  419. elif len(username) != 0 and len(username) < 3:
  420. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ nickname не может быть короче 3-х символов",
  421. k=True, m=True) + "\n пропуск\n")
  422. return False, False
  423. del ermail
  424. err_nick = re.findall(dic_binding.get("symbol_bad"), username)
  425. if err_nick:
  426. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ недопустимые символы в nickname: " + \
  427. "{0}{1}{2}{3}{4}".format(Style.RESET_ALL, Fore.RED, err_nick,
  428. Style.RESET_ALL, Style.BRIGHT + Fore.RED),
  429. k=True, m=True) + "\n пропуск\n")
  430. return False, False
  431. ernumber = ['76', '77', '78', '79', '89', "38", "37", "9", "+"]
  432. if any(ernumber in username[0:2] for ernumber in ernumber):
  433. if len(username) >= 10 and len(username) <= 13 and username[1:].isdigit() is True:
  434. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ snoop выслеживает учётки пользователей, " + \
  435. "но не номера телефонов...", k=True, m=True) + "\n пропуск\n")
  436. return False, False
  437. elif '.' in username and '@' not in username:
  438. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ nickname, содержащий [.] и не являющийся email, " + \
  439. "невалидный...", k=True, m=True) + "\n пропуск\n")
  440. return False, False
  441. global nick
  442. nick = username.replace("%20", " ") #username 2-переменные (args/info)
  443. ## Создать многопоточный/процессный сеанс для всех запросов.
  444. if Android:
  445. try:
  446. proc_ = len(BDdemo_new) if len(BDdemo_new) < 17 else 17
  447. executor1 = ProcessPoolExecutor(max_workers=proc_ if not speed else speed)
  448. except Exception:
  449. console.log(snoopbanner.err_all(err_="high"))
  450. global lame_workhorse
  451. lame_workhorse = True
  452. executor1 = ThreadPoolExecutor(max_workers=10 if not speed else speed)
  453. elif Windows:
  454. cpu = 1 if psutil.cpu_count(logical=False) == None else psutil.cpu_count(logical=False)
  455. if norm is False:
  456. thread__ = len(BDdemo_new) if len(BDdemo_new) < (cpu * 5) else (18 if cpu < 4 else 30)
  457. else:
  458. thread__ = len(BDdemo_new) if len(BDdemo_new) < (os.cpu_count() * 5) else (20 if cpu < 4 else 40)
  459. executor1 = ThreadPoolExecutor(max_workers=thread__ if not speed else speed)
  460. elif Linux:
  461. if norm is False:
  462. proc_ = len(BDdemo_new) if len(BDdemo_new) < 70 else (50 if len(os.sched_getaffinity(0)) < 4 else 140)
  463. else:
  464. proc_ = len(BDdemo_new) if len(BDdemo_new) < 70 else (60 if len(os.sched_getaffinity(0)) < 4 else 180)
  465. executor1 = ProcessPoolExecutor(max_workers=proc_ if not speed else speed)
  466. if norm is False:
  467. executor2 = ThreadPoolExecutor(max_workers=1)
  468. ## Результаты анализа всех сайтов.
  469. dic_snoop_full = {}
  470. BDdemo_new_quick = {}
  471. lst_invalid = []
  472. ## Создание futures на все запросы. Это позволит распараллелить запросы с прерываниями.
  473. for websites_names, param_websites in BDdemo_new.items():
  474. results_site = {}
  475. results_site['flagcountry'] = param_websites.get("country")
  476. results_site['flagcountryklas'] = param_websites.get("country_klas")
  477. results_site['url_main'] = param_websites.get("urlMain")
  478. # username = param_websites.get("usernameON")
  479. # Пользовательский user-agent браузера (рандомно на каждый сайт), а при сбое — постоянный с расширенным заголовком.
  480. majR = random.choice(range(101, 118, 1))
  481. RandHead=([f'{{"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) ' + \
  482. f'Chrome/{majR}.0.0.0 Safari/537.36"}}',
  483. f'{{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' + \
  484. f'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/{majR}.0.0.0 Safari/537.36"}}'])
  485. headers = json.loads(random.choice(RandHead))
  486. # Переопределить/добавить любые дополнительные заголовки необходимые для сайта из БД, или задать U-A из cli.
  487. if headerS is not None:
  488. headers.update({"User-Agent": ''.join(headerS)})
  489. elif "headers" in param_websites:
  490. headers.update(param_websites["headers"])
  491. # console.print(headers, websites_names) #проверка u-агентов
  492. # Пропуск временно-отключенного сайта, не делать запрос если имя пользователя не подходит для сайта.
  493. exclusionYES = param_websites.get("exclusion")
  494. if exclusionYES and re.search(exclusionYES, username) or param_websites.get("bad_site") == 1:
  495. if exclusionYES and re.search(exclusionYES, username) and not print_found_only and not norm:
  496. lst_invalid.append(print_invalid(websites_names, f"#недопустимый ник '{nick}' для данного сайта", color))
  497. results_site["exists"] = "invalid_nick"
  498. results_site["url_user"] = '*' * 56
  499. results_site['countryCSV'] = "****"
  500. results_site['http_status'] = '*' * 10
  501. results_site['session_size'] = ""
  502. results_site['check_time_ms'] = '*' * 15
  503. results_site['response_time_ms'] = '*' * 15
  504. results_site['response_time_site_ms'] = '*' * 25
  505. if param_websites.get("bad_site") == 1 and verbose and not print_found_only and not norm:
  506. lst_invalid.append(print_invalid(websites_names, f"*ПРОПУСК. DYNAMIC GRAY_LIST", color))
  507. if param_websites.get("bad_site") == 1:
  508. dic_binding.get("badraw").append(websites_names)
  509. results_site["exists"] = "gray_list"
  510. else:
  511. # URL пользователя на сайте (если он существует).
  512. url = param_websites["url"].format(username)
  513. results_site["url_user"] = url
  514. url_API = param_websites.get("urlProbe")
  515. # Использование api/nickname.
  516. url_API = url if url_API is None else url_API.format(username)
  517. # Повторы.
  518. connect = 1 if param_websites.get("country_klas") == "UA" else 2
  519. # Если нужен только статус кода, не загружать тело страницы, экономия памяти, и многие сайты с защитой предпочитают Head.
  520. if param_websites["errorTypе"] != 'status_code' or reports:
  521. method = "get"
  522. else:
  523. method = "head"
  524. # Сайт перенаправляет запрос на другой URL.
  525. # Имя найдено. Запретить перенаправление чтобы захватить статус кода из первоначального url.
  526. if param_websites["errorTypе"] == "response_url" or param_websites["errorTypе"] == "redirection":
  527. allow_redirects = False
  528. # Разрешить любой редирект, который хочет сделать сайт и захватить тело и статус ответа.
  529. else:
  530. allow_redirects = True
  531. # Дергаем объект сессии не по прямому назначению, спасаем CPU/Windows/Многопоточность на длинной дистанции.
  532. # Кроме того SSL замариновать при multiprocessing.
  533. # Отправить параллельно все запросы и сохранить future для последующего доступа.
  534. try:
  535. future_ = executor1.submit(r_session, cert=cert, speed=speed, norm=norm, connect=connect, method=method,
  536. url=url_API, headers=headers, allow_redirects=allow_redirects, timeout=timeout)
  537. if norm: #quick режим
  538. BDdemo_new_quick.update({future_:{websites_names:param_websites}})
  539. else: #последовательный режим
  540. param_websites["request_future"] = future_
  541. except Exception:
  542. continue
  543. # Добавлять во вл. словарь future со всеми другими результатами.
  544. dic_snoop_full[websites_names] = results_site
  545. # Вывести на печать invalid_data.
  546. if bool(lst_invalid) is True:
  547. print("".join(lst_invalid))
  548. ## Прогресс_описание.
  549. if not verbose:
  550. refresh = False
  551. refresh_per_second = 4.0 if "demo" in version else (2.0 if not Windows else 1.0)
  552. if not Windows:
  553. spin_emoj = 'arrow3' if norm else random.choice(["dots", "dots12"])
  554. progress = Progress(TimeElapsedColumn(), SpinnerColumn(spinner_name=spin_emoj),
  555. "[progress.percentage]{task.percentage:>1.0f}%", BarColumn(bar_width=None, complete_style='cyan',
  556. finished_style='cyan bold'), refresh_per_second=refresh_per_second) #transient=True) #исчезает прогресс
  557. else:
  558. progress = Progress(TimeElapsedColumn(), "[progress.percentage]{task.percentage:>1.0f}%", BarColumn(bar_width=None,
  559. complete_style='cyan', finished_style='cyan bold'), refresh_per_second=refresh_per_second)
  560. else:
  561. refresh = True
  562. progress = Progress(TimeElapsedColumn(), "[progress.percentage]{task.percentage:>1.0f}%", auto_refresh=False)
  563. ## Панель вербализации.
  564. if not Android:
  565. if color:
  566. console.print(Panel("[yellow]время[/yellow] | [magenta]выпол.[/magenta] | [bold cyan]отклик (t=s)[/bold cyan] " + \
  567. "| [bold red]общ.[bold cyan]время (T=s)[/bold cyan][/bold red] | [bold cyan]разм.данных[/bold cyan] " + \
  568. "| [bold cyan]дост.память[/bold cyan]",
  569. title="Обозначение", style=STL(color="cyan")))
  570. else:
  571. console.print(Panel("отклик сайта (t=s) | общ.время (T=s) | разм.данных | дост.память", title="Обозначение"))
  572. else:
  573. if color:
  574. console.print(Panel("[yellow]time[/yellow] | [magenta]perc.[/magenta] | [bold cyan]response (t=s)[/bold cyan] " + \
  575. "| [bold red]total [bold cyan]time (T=s)[/bold cyan][/bold red] | [bold cyan]data [/bold cyan]" + \
  576. "| [bold cyan]avail.ram[/bold cyan]",
  577. title="Designation", style=STL(color="cyan")))
  578. else:
  579. console.print(Panel("time | perc. | response (t=s) | total time (T=s) | data | avail.ram", title="Designation"))
  580. ## Пройтись по массиву future и получить результаты.
  581. li_time = [0]
  582. with progress:
  583. if color is True:
  584. task0 = progress.add_task("", total=len(BDdemo_new_quick)) if norm else progress.add_task("", total=len(BDdemo_new))
  585. iterator_future = iter(as_completed(BDdemo_new_quick)) if norm else iter(BDdemo_new.items())
  586. for future in iterator_future:
  587. if norm:
  588. websites_names = [*BDdemo_new_quick.get(future).keys()][0]
  589. param_websites = [*BDdemo_new_quick.get(future).values()][0]
  590. else:
  591. websites_names = future[0]
  592. param_websites = future[1]
  593. if color is True:
  594. progress.update(task0, advance=1, refresh=refresh) #progress.refresh()
  595. # Пропустить запрещенный никнейм или пропуск сайта из gray-list.
  596. if dic_snoop_full.get(websites_names).get("exists") is not None:
  597. continue
  598. # Получить метаинформацию сайта, снова.
  599. url = dic_snoop_full.get(websites_names).get("url_user")
  600. country_emojis = dic_snoop_full.get(websites_names).get("flagcountry")
  601. country_code = dic_snoop_full.get(websites_names).get("flagcountryklas")
  602. country_Emoj_Code = country_emojis if not Windows else country_code
  603. # Получить ожидаемый тип данных 4-х методов.
  604. error_type = param_websites["errorTypе"]
  605. # Результат ответа от сервера.
  606. request_future = future if norm else param_websites["request_future"]
  607. r, error_type, response_time = r_results(request_future=request_future, norm=norm,
  608. error_type=error_type, websites_names=websites_names,
  609. print_found_only=print_found_only, verbose=verbose,
  610. color=color, timeout=timeout, country_code=f" ~{country_code}")
  611. # Повторный запрос на сбойное соединение результативнее, чем через Adapter.
  612. if norm is False and r == "FakeNone":
  613. global recensor
  614. head_duble = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  615. 'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
  616. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' + \
  617. 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'}
  618. for num, _ in enumerate(range(3), 1):
  619. recensor += 1
  620. if num > 2:
  621. head_duble = ""
  622. r_retry = executor2.submit(r_session, url=url, headers=head_duble,
  623. allow_redirects=allow_redirects, timeout=4)
  624. if color is True and print_found_only is False:
  625. print(f"{Style.RESET_ALL}{Fore.CYAN}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.CYAN}]" \
  626. f"{Style.DIM}{Fore.GREEN} ┌──└──повторное соединение{Style.RESET_ALL}")
  627. else:
  628. if print_found_only is False:
  629. print(" ┌──└──повторное соединение")
  630. r, error_type, response_time = r_results(request_future=r_retry, error_type=param_websites.get("errorTypе"),
  631. websites_names=websites_names, print_found_only=print_found_only,
  632. verbose=verbose, color=color, timeout=4.5, country_code=f" ~{country_code}")
  633. if r != "FakeNone":
  634. break
  635. del r_retry
  636. # Сбор сбойной локации bad_zone.
  637. if r == None or r == "FakeNone" or r == "FakeStuck":
  638. dic_binding.get("badzone").append(country_code)
  639. ## Проверка, 4 методов; #1.
  640. # Автодетектирование кодировки при устаревшей специфике либы requests/ISO-8859-1, или ее смена вручную через БД.
  641. try:
  642. if r is not None and r != "FakeNone" and r != "FakeStuck":
  643. if r.content and r.encoding == 'ISO-8859-1': #ловушка (if r is not None ≠ if r)
  644. r.encoding = char_detect(r.content).get("encoding")
  645. if r.encoding is None: r.encoding = "utf-8"
  646. elif r.content and r.encoding != 'ISO-8859-1' and r.encoding != 'utf-8':
  647. if r.encoding == "cp-1251": r.encoding = "cp1251"
  648. elif r.encoding == "cp-1252": r.encoding = "cp1252"
  649. elif r.encoding == "windows1251": r.encoding = "windows-1251"
  650. elif r.encoding == "windows1252": r.encoding = "windows-1252"
  651. except Exception:
  652. r.encoding = "utf-8"
  653. # Ответы message (разные локации).
  654. if error_type == "message":
  655. try:
  656. if param_websites.get("encoding") is not None:
  657. r.encoding = param_websites.get("encoding")
  658. except Exception:
  659. console.log(snoopbanner.err_all(err_="high"))
  660. error = param_websites.get("errorMsg")
  661. error2 = param_websites.get("errоrMsg2")
  662. error3 = param_websites.get("errorMsg3") if param_websites.get("errorMsg3") is not None else "FakeNoneNoneNone"
  663. if param_websites.get("errorMsg2"):
  664. sys.exit()
  665. try:
  666. if r.status_code > 200 and param_websites.get("ignore_status_code") is None \
  667. or error in r.text or error2 in r.text or error3 in r.text:
  668. if not print_found_only and not norm:
  669. print_not_found(websites_names, verbose, color)
  670. exists = "увы"
  671. else:
  672. if not norm:
  673. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  674. exists = "найден!"
  675. if reports:
  676. sreports(url, headers, error_type, username, websites_names, r)
  677. except UnicodeEncodeError:
  678. exists = "увы"
  679. ## Проверка, 4 методов; #2.
  680. # Проверка username при статусе 301 и 303 (перенаправление и соль).
  681. elif error_type == "redirection":
  682. if r.status_code == 301 or r.status_code == 303:
  683. if not norm:
  684. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  685. exists = "найден!"
  686. if reports:
  687. session_size = sreports(url, headers, error_type, username, websites_names, r)
  688. else:
  689. if not print_found_only and not norm:
  690. print_not_found(websites_names, verbose, color)
  691. session_size = len(str(r.content))
  692. exists = "увы"
  693. ## Проверка, 4 методов; #3.
  694. # Проверяет, является ли код состояния ответа 2..
  695. elif error_type == "status_code":
  696. if not r.status_code >= 300 or r.status_code < 200:
  697. if not norm:
  698. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  699. if reports:
  700. sreports(url, headers, error_type, username, websites_names, r)
  701. exists = "найден!"
  702. else:
  703. if not print_found_only and not norm:
  704. print_not_found(websites_names, verbose, color)
  705. exists = "увы"
  706. ## Проверка, 4 методов; #4.
  707. # Перенаправление.
  708. elif error_type == "response_url":
  709. if 200 <= r.status_code < 300:
  710. if not norm:
  711. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  712. if reports:
  713. sreports(url, headers, error_type, username, websites_names, r)
  714. exists = "найден!"
  715. else:
  716. if not print_found_only and not norm:
  717. print_not_found(websites_names, verbose, color)
  718. exists = "увы"
  719. ## Если все 4 метода не сработали, например, из-за ошибки доступа (красный) или из-за неизвестной ошибки.
  720. else:
  721. exists = "блок"
  722. ## Попытка получить информацию из запроса, пишем в csv.
  723. try:
  724. http_status = r.status_code
  725. except Exception:
  726. http_status = "сбой" if r != "FakeStuck" else "завис"
  727. try: #сессия в КБ
  728. if reports is True:
  729. session_size = session_size if error_type == 'redirection' else len(str(r.content))
  730. else:
  731. session_size = len(str(r.content))
  732. if session_size >= 555:
  733. session_size = round(session_size / 1024)
  734. elif session_size < 555:
  735. session_size = round((session_size / 1024), 2)
  736. except Exception:
  737. session_size = "Err"
  738. ## Считать тайминги с приемлемой точностью.
  739. # Реакция.
  740. ello_time = round(float(time.time() - timestart), 2) #текущее
  741. li_time.append(ello_time)
  742. dif_time = round(li_time[-1] - li_time[-2], 2) #разница
  743. ## Опция '-v'.
  744. if verbose is True:
  745. ram_free = mem_test()
  746. ram_free_color = "[cyan]" if ram_free > 100 else "[red]"
  747. R = "[red]" if dif_time > 2.7 and dif_time != ello_time else "[cyan]" #задержка в общем времени, цвет
  748. R1 = "bold red" if dif_time > 2.7 and dif_time != ello_time else "bold blue"
  749. if session_size == 0 or session_size is None:
  750. Ssession_size = "Head"
  751. elif session_size == "Err":
  752. Ssession_size = "Нет"
  753. else:
  754. Ssession_size = str(session_size) + " Kb"
  755. if color is True:
  756. console.print(f"[cyan] [*{response_time} s] {R}[*{ello_time} s] [cyan][*{Ssession_size}]",
  757. f"{ram_free_color}[*{ram_free} Мб]")
  758. console.rule("", style=R1)
  759. else:
  760. console.print(f" [*{response_time} s T] >>", f"[*{ello_time} s t]", f"[*{Ssession_size}]",
  761. f"[*{ram_free} Мб]", highlight=False)
  762. console.rule(style="color")
  763. ## Служебная информация/CSV (2-й словарь 'объединение словарей', чтобы не вызывать ошибку длины 1-го при итерациях).
  764. if dif_time > 2.7 and dif_time != ello_time:
  765. dic_snoop_full.get(websites_names)['response_time_site_ms'] = str(dif_time)
  766. else:
  767. dic_snoop_full.get(websites_names)['response_time_site_ms'] = "нет"
  768. dic_snoop_full.get(websites_names)['exists'] = exists
  769. dic_snoop_full.get(websites_names)['session_size'] = session_size
  770. dic_snoop_full.get(websites_names)['countryCSV'] = country_code
  771. dic_snoop_full.get(websites_names)['http_status'] = http_status
  772. dic_snoop_full.get(websites_names)['check_time_ms'] = response_time
  773. dic_snoop_full.get(websites_names)['response_time_ms'] = str(ello_time)
  774. # Добавление результатов этого сайта в окончательный словарь со всеми другими результатами.
  775. dic_snoop_full[websites_names] = dic_snoop_full.get(websites_names)
  776. # не удерживать ресурсы соединения с сервером; предотвратить утечку памяти: del future.
  777. if norm:
  778. BDdemo_new_quick.pop(future, None)
  779. else:
  780. param_websites.pop("request_future", None)
  781. # Высвободить незначительную часть ресурсов.
  782. try:
  783. if 'executor2' in locals(): executor2.shutdown()
  784. except Exception:
  785. console.log(snoopbanner.err_all(err_="low"))
  786. # Вернуть словарь со всеми данными на запрос функции snoop и пробросить удерживаемые ресурсы (позже, закрыть в фоне).
  787. return dic_snoop_full, executor1
  788. ## Опция '-t'.
  789. def timeout_check(value):
  790. try:
  791. global glob_timeout
  792. glob_timeout = int(value)
  793. except Exception:
  794. raise argparse.ArgumentTypeError(f"\n\033[31;1mTimeout '{value}' Err,\033[0m \033[36mукажите время в 'секундах'.\n \033[0m")
  795. if glob_timeout <= 0:
  796. raise argparse.ArgumentTypeError(f"\033[31;1mTimeout '{value}' Err,\033[0m \033[36mукажите время > 0sec.\n \033[0m")
  797. return glob_timeout
  798. ## Опция '-p'.
  799. def speed_snoop(speed):
  800. try:
  801. speed = int(speed)
  802. if Windows and (speed <= 0 or speed > 60):
  803. raise Exception("")
  804. elif speed <= 0 or speed > 300:
  805. raise Exception("")
  806. return speed
  807. except Exception:
  808. if not Windows:
  809. raise argparse.ArgumentTypeError(f"\n\033[31;1mMax. workers proc = '{speed}' Err,\033[0m" + \
  810. " \033[36m рабочий диапазон от '1' до '300' целым числом.\n \033[0m")
  811. else:
  812. snoopbanner.logo(text=format_txt(f" ! Задана слишком высокая многопоточноть: '{speed} поток' не имеет смысла, " + \
  813. f"уменьшите значение '--pool/-p <= 60'. Обратите внимание, что, например, " + \
  814. f"в OS GNU/Linux используется иная технология, которую имеет смысл разгонять.",
  815. k=True, m=True) + "\n\n", exit=False)
  816. sys.exit()
  817. ## Обновление Snoop.
  818. def update_snoop():
  819. print("""
  820. \033[36mВы действительно хотите:
  821. __ _
  822. ._ _| _._|_ _ (_ ._ _ _ ._ )
  823. |_||_)(_|(_| |_(/_ __)| |(_)(_)|_) o
  824. | | \033[0m""")
  825. while True:
  826. print("\033[36mВыберите действие:\033[0m [y/n] ", end='')
  827. upd = input()
  828. if upd == "y" or upd == "Y":
  829. print("\033[36mПримечание: функция обновления Snoop работает при помощи утилиты < Git >\033[0m")
  830. os.startfile("update.bat") if Windows else os.system("./update.sh")
  831. break
  832. elif upd == "n" or upd == "N":
  833. print(Style.BRIGHT + Fore.RED + "\nОбновление отклонено\nВыход")
  834. break
  835. else:
  836. print(Style.BRIGHT + Fore.RED + format_txt("{0}└──False, [Y/N] ?", k=True, m=True).format(' ' * 25))
  837. sys.exit()
  838. ## Удаление отчетов.
  839. def autoclean():
  840. print("""
  841. \033[36mВы действительно хотите:\033[0m \033[31;1m
  842. _ _
  843. _| _ | _.|| |_) _ ._ _ .-_|_ )
  844. (_|(/_| (_||| | \(/_|_)(_)| |_ o
  845. | \033[0m""")
  846. while True:
  847. print("\033[36mВыберите действие:\033[0m [y/n] ", end='')
  848. del_all = input()
  849. if del_all == "y" or del_all == "Y":
  850. try:
  851. # Определение директорий.
  852. path_build_del = "/results" if not Windows else "\\results"
  853. if 'source' in version and not Android:
  854. rm = dirpath + path_build_del
  855. reports = rm
  856. else:
  857. rm = dirpath
  858. reports = rm + path_build_del
  859. # Подсчет файлов и размера удаляемого каталога 'results'.
  860. total_size = 0
  861. delfiles = []
  862. for total_file in glob.iglob(reports + '/**/*', recursive=True):
  863. total_size += os.path.getsize(total_file)
  864. if os.path.isfile(total_file): delfiles.append(total_file)
  865. # Сброс кэша и удаление каталога 'results'.
  866. shutil.rmtree(rm, ignore_errors=True)
  867. print(f"\n\033[31;1mdeleted --> '{rm}'\033[0m\033[36m {len(delfiles)} files, {round(total_size/1024/1024, 2)} Mb\033[0m")
  868. except Exception:
  869. console.log("[red]Ошибка")
  870. break
  871. elif del_all == "n" or del_all == "N":
  872. print(Style.BRIGHT + Fore.RED + "\nОтмена действия\nВыход")
  873. break
  874. else:
  875. print(Style.BRIGHT + Fore.RED + format_txt("{0}└──False, [Y/N] ?", k=True, m=True).format(' ' * 25))
  876. sys.exit()
  877. ## Лицензия/системная информация.
  878. def license_snoop():
  879. with open('COPYRIGHT', 'r', encoding="utf8") as copyright:
  880. wl = 4
  881. if Windows:
  882. wl = 5 if int(platform.win32_ver()[0]) < 10 else 4
  883. cop = copyright.read().replace("\ufeffSnoop", "Snoop", 1)
  884. cop = cop.replace('=' * 80, "~" * (os.get_terminal_size()[0] - wl)).strip()
  885. console.print(Panel(cop, title='[bold white]COPYRIGHT[/bold white]', style=STL(color="white", bgcolor="blue")))
  886. if not Android:
  887. cpu = 2 if psutil.cpu_count(logical=False) == None else psutil.cpu_count(logical=False)
  888. pool_ = str(cpu * 5 if Windows else (os.cpu_count() * 40)) + \
  889. f" {'threads (~1_Gb_Ram = 50_Threads = 5_Mbit/s)' if Windows else 'process (~2_Gb_Ram = 100_Process = 10_Mbit/s)'}"
  890. if Windows and 'full' in version:
  891. ram_av = 900
  892. elif Windows and 'demo' in version:
  893. ram_av = 500
  894. if Linux and 'full' in version:
  895. ram_av = 6000 if os.cpu_count() > 4 else 1200
  896. elif Linux and 'demo' in version:
  897. ram_av = 950
  898. try:
  899. ram = int(psutil.virtual_memory().total / 1024 / 1024)
  900. ram_free = int(psutil.virtual_memory().available / 1024 / 1024)
  901. if ram_free < ram_av:
  902. A, B = "[bold red]", "[/bold red]"
  903. else:
  904. A, B = "[dim cyan]", "[/dim cyan]"
  905. os_ver = platform.platform(aliased=True, terse=0)
  906. threadS = f"thread(s) per core: [dim cyan]{int(psutil.cpu_count() / psutil.cpu_count(logical=False))}[/dim cyan]"
  907. except Exception:
  908. console.print(f"\n[bold red]Используемая версия Snoop: '{version}' разработана для платформы Android, " + \
  909. f"но кажется используется что-то другое 💻\n\nВыход")
  910. sys.exit()
  911. elif Android:
  912. pool_ = str(os.cpu_count() * 3) + f" process, (~512_Mb_Ram = 50_Process = 5_Mbit/s)"
  913. try:
  914. ram = subprocess.check_output("free -m", shell=True, text=True).splitlines()[1].split()[1]
  915. ram_free = int(subprocess.check_output("free -m", shell=True, text=True).splitlines()[1].split()[-1])
  916. if ram_free <= 200:
  917. A, B = "[bold red]", "[/bold red]"
  918. else:
  919. A, B = "[dim cyan]", "[/dim cyan]"
  920. os_ver = 'Android ' + subprocess.check_output("getprop ro.build.version.release", shell=True, text=True).strip()
  921. threadS = f'model: [dim cyan]{subprocess.check_output("getprop ro.product.cpu.abi", shell=True, text=True).strip()}[/dim cyan]'
  922. T_v = dict(os.environ).get("TERMUX_VERSION")
  923. except Exception:
  924. T_v, ram_free, os_ver, threadS, A, B = "Not Termux?!", "?", "?", "?", "[bold red]", "[/bold red]"
  925. ram = "pkg install procps |"
  926. termux = f"\nTermux: [dim cyan]{T_v}[/dim cyan]\n" if Android else "\n"
  927. light_v = True if not 'snoopplugins' in globals() else False
  928. if python3_8:
  929. colorama_v = f", (colorama::{version_lib('colorama')})"
  930. rich_v = f", (rich::{version_lib('rich')})"
  931. urllib3_v = f", (urllib3::{version_lib('urllib3')})"
  932. psutil_v = f", (psutil::{version_lib('psutil')})"
  933. char_v = f", (charset_normalizer::{version_lib('charset_normalizer')})"
  934. else:
  935. urllib3_v = ""
  936. colorama_v = ""
  937. rich_v = ""
  938. psutil_v = ""
  939. char_v = ""
  940. console.print('\n', Panel(f"Program: [blue bold]{'light ' if light_v else ''}[/blue bold][dim cyan]{version}"\
  941. f"{str(platform.architecture(executable=sys.executable, bits='', linkage=''))}[/dim cyan]\n" + \
  942. f"OS: [dim cyan]{os_ver}[/dim cyan]" + termux + \
  943. f"Locale: [dim cyan]{locale.setlocale(locale.LC_ALL)}[/dim cyan]\n" + \
  944. f"Python: [dim cyan]{platform.python_version()}[/dim cyan]\n" + \
  945. f"Key libraries: [dim cyan](requests::{requests.__version__}), (certifi::{certifi.__version__}), " + \
  946. f"(speedtest::{snoopnetworktest.speedtest.__version__}){rich_v}{psutil_v}" + \
  947. f"{colorama_v}{urllib3_v}{char_v}[/dim cyan]\n" + \
  948. f"CPU(s): [dim cyan]{os.cpu_count()},[/dim cyan] {threadS}\n" + \
  949. f"Ram: [dim cyan]{ram} Мб,[/dim cyan] available: {A}{ram_free} Мб{B}\n" + \
  950. f"Recommended pool: [dim cyan]{pool_}[/dim cyan]",
  951. title='[bold cyan]snoop info[/bold cyan]', style=STL(color="cyan")))
  952. sys.exit()
  953. ## ОСНОВА.
  954. def main_cli():
  955. web_sites = f"{len(BDflag) // 100}00+"
  956. # Назначение опций Snoop.
  957. parser = argparse.ArgumentParser(formatter_class=argparse.RawDescriptionHelpFormatter,
  958. usage="python3 snoop.py [search arguments...] nickname\nor\n" + \
  959. "usage: python3 snoop.py [service arguments | plugins arguments]\n",
  960. description=f"{Fore.CYAN}\nСправка{Style.RESET_ALL}",
  961. epilog=(f"{Fore.CYAN}Snoop {Style.BRIGHT}{Fore.RED}demo version {Style.RESET_ALL}" + \
  962. f"{Fore.CYAN}поддержка: \033[31;1m{flagBS}\033[0m \033[36mWebsites!\n{Fore.CYAN}" + \
  963. f"Snoop \033[36;1mfull version\033[0m \033[36mподдержка: \033[36;1m{web_sites} \033[0m" + \
  964. f"\033[36mWebsites!!!\033[0m\n\n"))
  965. # Service arguments.
  966. service_group = parser.add_argument_group('\033[36mservice arguments\033[0m')
  967. service_group.add_argument("--version", "-V", action="store_true",
  968. help="\033[36mA\033[0mbout: вывод на печать версий:: OS; Snoop; Python и Лицензии")
  969. service_group.add_argument("--list-all", "-l", action="store_true", dest="listing",
  970. help="\033[36mВ\033[0mывести на печать детальную информацию о базе данных Snoop")
  971. service_group.add_argument("--donate", "-d", action="store_true", dest="donation",
  972. help="\033[36mП\033[0mожертвовать на развитие Snoop Project-а, получить/приобрести \
  973. \033[32;1mSnoop full version\033[0m")
  974. service_group.add_argument("--autoclean", "-a", action="store_true", dest="autoclean", default=False,
  975. help="\033[36mУ\033[0mдалить все отчеты, очистить кэш")
  976. service_group.add_argument("--update", "-U", action="store_true", dest="update",
  977. help="\033[36mО\033[0mбновить Snoop")
  978. # Plugins arguments.
  979. plugins_group = parser.add_argument_group('\033[36mplugins arguments\033[0m')
  980. plugins_group.add_argument("--module", "-m", action="store_true", dest="module", default=False,
  981. help="\033[36mO\033[0mSINT поиск: задействовать различные плагины Snoop:: IP/GEO/YANDEX")
  982. # Search arguments.
  983. search_group = parser.add_argument_group('\033[36msearch arguments\033[0m')
  984. search_group.add_argument("username", nargs='*', metavar='nickname', action="store", default=None,
  985. help="\033[36mН\033[0mикнейм разыскиваемого пользователя. \
  986. Поддерживается поиск одновременно нескольких имен.\
  987. Ник, содержащий в своем имени пробел, заключается в кавычки")
  988. search_group.add_argument("--base", "-b <file>", dest="json_file", default="BDdemo", metavar='',
  989. help=argparse.SUPPRESS if "demo" in version else "\033[36mУ\033[0mказать для поиска 'nickname' \
  990. другую БД (Локально)")
  991. search_group.add_argument("--web-base", "-w", action="store_true", dest="web", default=False,
  992. help=f"\033[36mП\033[0mодключиться для поиска 'nickname' к динамично-обновляемой web_БД ({web_sites} сайтов)")
  993. search_group.add_argument("--site", "-s <site_name>", action="append", metavar='', dest="site_list", default=None,
  994. help="\033[36mУ\033[0mказать имя сайта из БД '--list-all'. Поиск 'nickname' на одном указанном ресурсе, \
  995. допустимо использовать опцию '-s' несколько раз")
  996. search_group.add_argument("--exclude", "-e <country_code>", action="append", metavar='', dest="exclude_country", default=None,
  997. help="\033[36mИ\033[0mсключить из поиска выбранный регион, допустимо использовать опцию '-e' \
  998. несколько раз, например, '-e RU -e WR' исключить из поиска Россию и Мир")
  999. search_group.add_argument("--include", "-i <country_code>", action="append", metavar='', dest="one_level", default=None,
  1000. help="\033[36mВ\033[0mключить в поиск только выбранный регион, \
  1001. допустимо использовать опцию '-i' несколько раз, например, '-i US -i UA' поиск по США и Украине")
  1002. search_group.add_argument("--time-out", "-t <digit>", action="store", metavar='', dest="timeout", type=timeout_check, default=9,
  1003. help="\033[36mУ\033[0mстановить выделение макс.времени на ожидание ответа от сервера (секунды).\n"
  1004. "Влияет на продолжительность поиска. Влияет на 'Timeout ошибки'.\
  1005. Вкл. эту опцию необходимо при медленном интернет соединении (по умолчанию 9с)")
  1006. search_group.add_argument("--country-sort", "-c", action="store_true", dest="country", default=False,
  1007. help="\033[36mП\033[0mечать и запись результатов по странам, а не по алфавиту")
  1008. search_group.add_argument("--no-func", "-n", action="store_true", dest="no_func", default=False,
  1009. help="\033[36m✓\033[0mМонохромный терминал, не использовать цвета в url \
  1010. ✓Запретить открытие web browser-а\
  1011. ✓Отключить вывод на печать флагов стран\
  1012. ✓Отключить индикацию и статус прогресса")
  1013. search_group.add_argument("--found-print", "-f", action="store_true", dest="print_found_only", default=False,
  1014. help="\033[36mВ\033[0mыводить на печать только найденные аккаунты")
  1015. search_group.add_argument("--verbose", "-v", action="store_true", dest="verbose", default=False,
  1016. help="\033[36mВ\033[0mо время поиска 'nickname' выводить на печать подробную вербализацию")
  1017. search_group.add_argument("--userlist", "-u <file>", metavar='', action="store", dest="user", default=False,
  1018. help="\033[36mУ\033[0mказать файл со списком user-ов. Snoop интеллектуально обработает \
  1019. данные и предоставит доп.отчеты")
  1020. search_group.add_argument("--save-page", "-S", action="store_true", dest="reports", default=False,
  1021. help="\033[36mС\033[0mохранять найденные странички пользователей в локальные html-файлы,\
  1022. медленный режим")
  1023. search_group.add_argument("--cert-on", "-C", default=False, action="store_true", dest="cert",
  1024. help=argparse.SUPPRESS)
  1025. search_group.add_argument("--headers", "-H <User-Agent>", metavar='', dest="headerS", nargs=1, default=None,
  1026. help=argparse.SUPPRESS)
  1027. search_group.add_argument("--pool", "-p <digit>", metavar='', dest="speed", type=speed_snoop, default=False,
  1028. help=
  1029. """
  1030. \033[36mО\033[0mтключить автооптимизацию и задать вручную ускорение поиска от 1 до 300 макс. рабочих
  1031. потоков/процессов. По умолчанию используется персональная предельная граница ЭВМ в
  1032. Quick-режиме, в остальных режимах используется предельная граница слабых ПК. Слишком низкое или высокое
  1033. значение может существенно замедлить работу ПО. ~Расчетное оптимальное значение для данного устройства
  1034. см. блок 'snoop info' параметр 'Recommended pool' опция [--version/-V]. Данную опцию рекомендуется
  1035. использовать 1) если пользователь имеет многоядерное устройство 2) не желает использовать Quick-режим
  1036. [--quick/-q] 3) намеревается ускорить поиск, например, в режиме с опцией [--found-print/-f'].
  1037. Опция персональна и способна разогнать поиск в Snoop full version до огромных скоростей
  1038. """)
  1039. search_group.add_argument("--quick", "-q", action="store_true", dest="norm", default=False,
  1040. help=
  1041. """
  1042. \033[36mБ\033[0mыстрый и агрессивный режим поиска.
  1043. Не обрабатывает повторно сбойные ресурсы, вследствие чего ускоряется поиск,
  1044. но и немного повышается Bad_raw. Quick-режим подстраивается под мощность ПК,
  1045. не выводит промежуточные результаты на печать,
  1046. эффективен и предназначен для Snoop full version
  1047. """)
  1048. args = parser.parse_args()
  1049. dic_binding.get("options_speed").extend([args.norm, args.speed, args.one_level, args.site_list])
  1050. ## Опции '-csei' несовместимы между собой и быстрый режим.
  1051. if args.norm and 'full' in version:
  1052. print(Fore.CYAN + format_txt("активирована опция '-q': «быстрый режим поиска»", k=True))
  1053. args.version, args.listing, args.donation, args.timeout = False, False, False, 8
  1054. args.update, args.module, args.autoclean = False, False, False
  1055. options = []
  1056. options.extend([args.site_list, args.country, args.verbose, args.print_found_only,
  1057. args.no_func, args.reports, args.cert, args.headerS, args.speed])
  1058. if any(options) or args.timeout != 8:
  1059. snoopbanner.logo(text=format_txt("⛔️ с quick-режимом ['-q'] совместимы лишь опции ['-w', '-u', '-e', '-i']", k=True, m=True))
  1060. elif args.norm and 'demo' in version:
  1061. snoopbanner.logo("в demo деактивирован переключатель '-q': «режим SNOOPninja/Quick»...",
  1062. color="\033[37m\033[44m", exit=False)
  1063. snoopbanner.donate()
  1064. elif args.norm is False and args.listing is False and 'full' in version:
  1065. if Linux:
  1066. print(Fore.CYAN + format_txt("активирован дефолтный поиск '--': «режим SNOOPninja»", k=True))
  1067. k = 0
  1068. for _ in bool(args.site_list), bool(args.country), bool(args.exclude_country), bool(args.one_level):
  1069. if _ is True:
  1070. k += 1
  1071. if k == 2:
  1072. snoopbanner.logo(text=format_txt("⛔️ опции ['-c', '-e' '-i', '-s'] несовместимы между собой", k=True, m=True))
  1073. ## Опция '-p'.
  1074. if args.speed and 'full' in version:
  1075. thread_proc = "потоков" if Windows else "процессов"
  1076. print(Fore.CYAN + format_txt(f"активирована опция '-p': «макс. рабочих {thread_proc} =" + \
  1077. "{0}{1} {2}{3}{4}» {5}".format(Style.BRIGHT, Fore.CYAN, args.speed,
  1078. Style.RESET_ALL, Fore.CYAN,
  1079. Style.RESET_ALL), k=True))
  1080. elif args.speed and 'demo' in version:
  1081. snoopbanner.logo("Функция '-p' настройка ускорения поиска доступна пользователям Snoop full version...",
  1082. color="\033[37m\033[44m", exit=False)
  1083. snoopbanner.donate()
  1084. ## Опция '-V' не путать с опцией '-v'.
  1085. if args.version:
  1086. license_snoop()
  1087. ## Опция '-a'.
  1088. if args.autoclean:
  1089. print(Fore.CYAN + format_txt("активирована опция '-a': «удаление накопленных отчетов»", k=True))
  1090. autoclean()
  1091. ## Опция '-H'.
  1092. if args.headerS:
  1093. print(Fore.CYAN + format_txt("активирована скрытая опция '-H': «переопределение user-agent(s)»:", k=True), '\n',
  1094. Fore.CYAN + format_txt("user-agent: '{0}{1}{2}{3}{4}'".format(Style.BRIGHT, Fore.CYAN, ''.join(args.headerS),
  1095. Style.RESET_ALL, Fore.CYAN)), sep='')
  1096. ## Опция '-m'.
  1097. # Информативный вывод.
  1098. if args.module:
  1099. if not 'snoopplugins' in globals():
  1100. snoopbanner.logo(text=f"\nTHIS IS THE LIGHT VERSION OF SNOOP PROJECT WITH PLUGINS DISABLED\n$ {os.path.basename(sys.argv[0])} --version/-V")
  1101. sys.exit()
  1102. if 'full' in version:
  1103. with console.status("[cyan] проверка параметров..."):
  1104. meta()
  1105. print(Fore.CYAN + format_txt("активирована опция '-m': «модульный поиск»", k=True))
  1106. def module():
  1107. print(f"\n" + \
  1108. f"\033[36m╭Выберите плагин или действие из списка\033[0m\n" + \
  1109. f"\033[36m├──\033[0m\033[36;1m[1] --> GEO_IP/domain\033[0m\n" + \
  1110. f"\033[36m├──\033[0m\033[36;1m[2] --> Reverse Vgeocoder\033[0m\n" + \
  1111. f"\033[36m├──\033[0m\033[36;1m[3] --> \033[30;1mYandex_parser\033[0m\n" + \
  1112. f"\033[36m├──\033[0m\033[32;1m[help] --> Справка\033[0m\n" + \
  1113. f"\033[36m└──\033[0m\033[31;1m[q] --> Выход\033[0m\n")
  1114. mod = console.input("[cyan]ввод ---> [/cyan]")
  1115. if mod == 'help':
  1116. snoopbanner.help_module_1()
  1117. return module()
  1118. elif mod == '1':
  1119. table = Table(title=Style.BRIGHT + Fore.GREEN + "Выбран плагин" + Style.RESET_ALL, style="green", header_style='green')
  1120. table.add_column("GEO_IP/domain_v0.6", style="green", justify="center")
  1121. table.add_row('Получение информации об ip/domain/url цели или по списку этих данных')
  1122. console.print(table)
  1123. snoopplugins.module1()
  1124. elif mod == '2':
  1125. table = Table(title=Style.BRIGHT + Fore.GREEN + "Выбран плагин" + Style.RESET_ALL, style="green", header_style='green')
  1126. table.add_column("Reverse Vgeocoder_v0.6", style="green", justify="center")
  1127. table.add_row('Визуализация Географических координат')
  1128. console.print(table)
  1129. snoopplugins.module2()
  1130. elif mod == '3':
  1131. table = Table(title=Style.BRIGHT + Fore.GREEN + "Выбран плагин" + Style.RESET_ALL, style="green", header_style='green')
  1132. table.add_column("Yandex_parser_v0.5", style="green", justify="center")
  1133. table.add_row('Яндекс парсер: Я_Отзывы; Я_Кью; Я_Маркет; Я_Музыка; Я_Дзен; Я_Диск; E-mail; Name.')
  1134. console.print(table)
  1135. snoopplugins.module3()
  1136. elif mod == 'q':
  1137. print(Style.BRIGHT + Fore.RED + "└──Выход")
  1138. sys.exit()
  1139. else:
  1140. print(Style.BRIGHT + Fore.RED + "└──Неверный выбор\n" + Style.RESET_ALL)
  1141. return module()
  1142. module()
  1143. sys.exit()
  1144. ## Опции '-f' + "-v".
  1145. if args.verbose is True and args.print_found_only is True:
  1146. snoopbanner.logo(text=format_txt("⛔️ режим подробной вербализации [опция '-v'] отображает детальную информацию " + \
  1147. "[опция '-f'] неуместна", k=True, m=True))
  1148. ## Опция '-С'.
  1149. if args.cert:
  1150. print(Fore.CYAN + format_txt("активирована скрытая опция '-C': «проверка сертификатов на серверах вкл»", k=True))
  1151. ## Опция '-w'.
  1152. if args.web:
  1153. print(Fore.CYAN + format_txt("активирована опция '-w': «подключение к внешней web_database»", k=True))
  1154. ## Опция '-S'.
  1155. if args.reports:
  1156. print(Fore.CYAN + format_txt("активирована опция '-S': «сохранять странички найденных аккаунтов»", k=True))
  1157. ## Опция '-n'.
  1158. if args.no_func:
  1159. print(Fore.CYAN + format_txt("активирована опция '-n': «отключены:: цвета; флаги; браузер; прогресс»", k=True))
  1160. ## Опция '-t'.
  1161. try:
  1162. if args.timeout and args.norm is False:
  1163. print(Fore.CYAN + format_txt("активирована опция '-t': ожидание ответа от " + \
  1164. "сайта до{0}{1} {2} {3}{4}с.» {5}".format(Style.BRIGHT, Fore.CYAN, glob_timeout,
  1165. Style.RESET_ALL, Fore.CYAN,
  1166. Style.RESET_ALL), k=True))
  1167. except Exception:
  1168. pass
  1169. ## Опция '-f'.
  1170. if args.print_found_only:
  1171. print(Fore.CYAN + format_txt("активирована опция '-f': «выводить на печать только найденные аккаунты»", k=True))
  1172. ## Опция '-s'.
  1173. if args.site_list:
  1174. print(Fore.CYAN + format_txt(f"активирована опция '-s': «поиск{Style.BRIGHT}{Fore.CYAN} {', '.join(args.username)}" + \
  1175. f"{Style.RESET_ALL} {Fore.CYAN}на выбранных website(s)»", k=True), '\n',
  1176. Fore.CYAN + format_txt("допустимо использовать опцию '-s' несколько раз"), "\n",
  1177. Fore.CYAN + format_txt("[опция '-s'] несовместима с [опциями '-с', '-e', '-i']"), sep="")
  1178. ## Опция '--list-all'.
  1179. if args.listing:
  1180. print(Fore.CYAN + format_txt("активирована опция '-l': «детальная информация о БД Snoop»", k=True))
  1181. print("\033[36m\nСортировать БД Snoop по странам, по имени сайта или обобщенно ?\n" + \
  1182. "по странам —\033[0m 1 \033[36mпо имени —\033[0m 2 \033[36mall —\033[0m 3\n")
  1183. # Общий вывод стран (3!).
  1184. # Вывод для full/demo version.
  1185. def sort_list_all(DB, fore, version, line=False):
  1186. listfull = []
  1187. if sortY == "3":
  1188. if line:
  1189. console.rule("[cyan]Ok, print All Country", style="cyan bold")
  1190. print("")
  1191. li = [DB.get(con).get("country_klas") if Windows else DB.get(con).get("country") for con in DB]
  1192. cnt = str(Counter(li))
  1193. try:
  1194. flag_str_sum = (cnt.split('{')[1]).replace("'", "").replace("}", "").replace(")", "")
  1195. all_ = str(len(DB))
  1196. except Exception:
  1197. flag_str_sum = str("БД повреждена.")
  1198. all_ = "-1"
  1199. table = Table(title=Style.BRIGHT + fore + version + Style.RESET_ALL, header_style='green', style="green")
  1200. table.add_column("Геолокация: Кол-во websites", style="magenta", justify='full')
  1201. table.add_column("All", style="cyan", justify='full')
  1202. table.add_row(flag_str_sum, all_)
  1203. console.print(table)
  1204. # Сортируем по алфавиту для full/demo version (2!).
  1205. elif sortY == "2":
  1206. if line:
  1207. console.rule("[cyan]Ok, сортируем по алфавиту", style="cyan bold")
  1208. if version == "demo version":
  1209. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan", bgcolor="red")))
  1210. else:
  1211. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan")))
  1212. i = 0
  1213. sorted_dict_v_listtuple = sorted(DB.items(), key=lambda x: x[0].lower()) #сорт.словаря по глав.ключу без учета регистра
  1214. datajson_sort = dict(sorted_dict_v_listtuple) #преобр.список обратно в словарь (сортированный)
  1215. for con in datajson_sort:
  1216. S = datajson_sort.get(con).get("country_klas") if Windows else datajson_sort.get(con).get("country")
  1217. i += 1
  1218. listfull.append(f"\033[36;2m{i}.\033[0m \033[36m{S} {con}")
  1219. print("\n~~~~~~~~~~~~~~~~\n".join(listfull), "\n")
  1220. # Сортируем по странам для full/demo version (1!).
  1221. elif sortY == "1":
  1222. listwindows = []
  1223. if line:
  1224. console.rule("[cyan]Ok, сортируем по странам", style="cyan bold")
  1225. for con in DB:
  1226. S = DB.get(con).get("country_klas") if Windows else DB.get(con).get("country")
  1227. listwindows.append(f"{S} {con}\n")
  1228. if version == "demo version":
  1229. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan", bgcolor="red")))
  1230. else:
  1231. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan")))
  1232. for i in enumerate(sorted(listwindows, key=str.lower), 1):
  1233. listfull.append(f"\033[36;2m{i[0]}. \033[0m\033[36m{i[1]}")
  1234. print("~~~~~~~~~~~~~~~~\n".join(listfull))
  1235. # Запуск функции '--list-all'.
  1236. while True:
  1237. sortY = console.input("[cyan]Выберите действие: [/cyan]")
  1238. if sortY == "1" or sortY == "2":
  1239. sort_list_all(BDflag, Fore.GREEN, "full version", line=True)
  1240. sort_list_all(BDdemo, Fore.RED, "demo version")
  1241. break
  1242. elif sortY == "3":
  1243. sort_list_all(BDdemo, Fore.RED, "demo version", line=True)
  1244. sort_list_all(BDflag, Fore.GREEN, "full version")
  1245. break
  1246. # Действие не выбрано '--list-all'.
  1247. else:
  1248. print(Style.BRIGHT + Fore.RED + format_txt("{0}└──False, [1/2/3] ?", k=True, m=True).format(' ' * 19))
  1249. sys.exit()
  1250. ## Опция донат '-d'.
  1251. if args.donation:
  1252. print(Fore.CYAN + format_txt("активирована опция '-d': «финансовая поддержка проекта»", k=True))
  1253. snoopbanner.donate()
  1254. ## Опция '-u' указание файла-списка разыскиваемых пользователей.
  1255. if args.user:
  1256. userlists, userlists_bad, duble, _duble, short_user = [], [], [], [], []
  1257. flipped, d = {}, {}
  1258. try:
  1259. patchuserlist = ("{}".format(args.user))
  1260. userfile = os.path.basename(patchuserlist)
  1261. print(Fore.CYAN + format_txt("активирована опция '-u': «розыск nickname(s) из файла:: {0}{1}{2}{3}{4}» {5}",
  1262. k=True).format(Style.BRIGHT, Fore.CYAN, userfile, Style.RESET_ALL, Fore.CYAN, Style.RESET_ALL))
  1263. with open(patchuserlist, "r", encoding="utf8") as u1:
  1264. userlist = [(line[0], line[1].strip()) for line in enumerate(u1.read().replace("\ufeff", "").splitlines(), 1)]
  1265. for num, user in userlist:
  1266. i_for = (num, user)
  1267. if re.findall(dic_binding.get("symbol_bad"), user):
  1268. if all(i_for[1] != x[1] for x in userlists_bad):
  1269. userlists_bad.append(i_for)
  1270. else:
  1271. duble.append(i_for)
  1272. continue
  1273. elif user == "":
  1274. continue
  1275. elif len(user) <= 2:
  1276. short_user.append(i_for)
  1277. continue
  1278. else:
  1279. if all(i_for[1] != x[1] for x in userlists):
  1280. userlists.append(i_for)
  1281. else:
  1282. duble.append(i_for)
  1283. except Exception:
  1284. print(f"\n\033[31;1mНе могу найти_прочитать файл: '{userfile}'.\033[0m \033[36m\n " + \
  1285. f"\nПожалуйста, укажите текстовый файл в кодировке —\033[0m \033[36;1mutf-8.\033[0m\n" + \
  1286. f"\033[36mПо умолчанию, например, блокнот в OS Windows сохраняет текст в кодировке — ANSI.\033[0m\n" + \
  1287. f"\033[36mОткройте ваш файл '{userfile}' и измените кодировку [файл ---> сохранить как ---> utf-8].\n" + \
  1288. f"\033[36mИли удалите из файла нечитаемые спецсимволы.")
  1289. sys.exit()
  1290. # good.
  1291. if userlists:
  1292. _userlists = [f"[dim cyan]{num}.[/dim cyan] {v} [{k}]".replace("", "") for num, (k, v) in enumerate(userlists, 1)]
  1293. console.print(Panel.fit("\n".join(_userlists).replace("%20", " "), title=f"valid ({len(userlists)})",
  1294. style=STL(color="cyan")))
  1295. # duplicate.
  1296. if duble:
  1297. dict_duble = dict(duble)
  1298. for key, value in dict_duble.items():
  1299. if value not in flipped:
  1300. flipped[value] = [key]
  1301. else:
  1302. flipped[value].append(key)
  1303. for k,v in flipped.items():
  1304. k = f"{k} ({len(v)})"
  1305. d[k] = v
  1306. for num, (k, v) in enumerate(d.items(), 1):
  1307. str_1 = f"[dim yellow]{num}.[/dim yellow] {k} {v}".replace(" (", " ——> ").replace(")", " шт.")
  1308. str_2 = str_1.replace("——> ", "——> [bold yellow]").replace(" шт.", " шт.[/bold yellow]")
  1309. _duble.append(str_2)
  1310. print(f"\n\033[36mследующие nickname(s) из '\033[36;1m{userfile}\033[0m\033[36m' содержат " + \
  1311. f"\033[33mдубли\033[0m\033[36m и будут пропущены:\033[0m")
  1312. console.print(Panel.fit("\n".join(_duble), title=f"duplicate ({len(duble)})", style=STL(color="yellow")))
  1313. # bad.
  1314. if userlists_bad:
  1315. _userlists_bad = [f"[dim red]{num}.[/dim red] {v} [{k}]" for num, (k, v) in enumerate(userlists_bad, 1)]
  1316. print(f"\n\033[36mследующие nickname(s) из '\033[36;1m{userfile}\033[0m\033[36m' содержат " + \
  1317. f"\033[31;1mN/A-символы\033[0m\033[36m и будут пропущены:\033[0m")
  1318. console.print(Panel.fit("\n".join(_userlists_bad), title=f"invalid_data ({len(userlists_bad)})",
  1319. style=STL(color="bright_red")))
  1320. # Short.
  1321. if short_user:
  1322. _short_user = [f"[dim red]{num}.[/dim red] {v} [{k}]" for num, (k, v) in enumerate(short_user, 1)]
  1323. print(f"\n\033[36mследующие nickname(s) из '\033[36;1m{userfile}\033[0m\033[36m'\033[0m " + \
  1324. f"\033[31;1mкороче 3-х символов\033[0m\033[36m и будут пропущены:\033[0m")
  1325. console.print(Panel.fit("\n".join(_short_user).replace("%20", " "), title=f"short nickname ({len(short_user)})",
  1326. style=STL(color="bright_red")))
  1327. # Сохранение bad_nickname(s) в результатах txt.
  1328. if short_user or userlists_bad:
  1329. for bad_user1, bad_user2 in itertools.zip_longest(short_user, userlists_bad):
  1330. with open (f"{dirpath}/results/nicknames/bad_nicknames.txt", "a", encoding="utf-8") as bad_nick:
  1331. if bad_user1:
  1332. bad_nick.write(f"{time.strftime('%Y-%m-%d_%H:%M:%S', time_date)} <FILE: {userfile}> '{bad_user1[1]}'\n")
  1333. if bad_user2:
  1334. bad_nick.write(f"{time.strftime('%Y-%m-%d_%H:%M:%S', time_date)} <FILE: {userfile}> '{bad_user2[1]}'\n")
  1335. USERLIST = [i[1] for i in userlists]
  1336. del userlists, duble, userlists_bad, _duble, short_user, flipped, d
  1337. if bool(USERLIST) is False:
  1338. print("\n", Style.BRIGHT + Fore.RED + format_txt("⛔️ Файл '{0}' не содержит ни одного валидного nickname".format(userfile),
  1339. k=True, m=True), "\n\n\033[31;1mВыход\033[0m\n", sep="")
  1340. sys.exit()
  1341. ## Проверка остальных (в т.ч. повтор) опций.
  1342. ## Опция '--update' обновление Snoop.
  1343. if args.update:
  1344. print(Fore.CYAN + format_txt("активирована опция '-U': «обновление snoop»", k=True))
  1345. update_snoop()
  1346. ## Опция '-w'.
  1347. if args.web:
  1348. print("")
  1349. snoopbanner.logo("Функция '-w' доступна только пользователям Snoop full version...",
  1350. color="\033[37m\033[44m", exit=False)
  1351. snoopbanner.donate()
  1352. ## Работа с базой.
  1353. # опция '-b'. Проверить, существует ли альтернативная база данных, иначе default.
  1354. if not os.path.exists(str(args.json_file)):
  1355. print(f"\n\033[31;1mОшибка! Неверно указан путь к файлу: '{str(args.json_file)}'.\033[0m")
  1356. sys.exit()
  1357. ## Опция '-c'. Сортировка по странам.
  1358. if args.country is True and args.web is False:
  1359. print(Fore.CYAN + format_txt("активирована опция '-c': «сортировка/запись результатов по странам»", k=True))
  1360. country_sites = sorted(BDdemo, key=lambda k: ("country" not in k, BDdemo[k].get("country", sys.maxsize)))
  1361. sort_web_BDdemo_new = {}
  1362. for site in country_sites:
  1363. sort_web_BDdemo_new[site] = BDdemo.get(site)
  1364. ## Функция для опций '-ei'.
  1365. def one_exl(one_exl_, bool_):
  1366. lap = []
  1367. bd_flag = []
  1368. for k, v in BDdemo.items():
  1369. bd_flag.append(v.get('country_klas').lower())
  1370. if all(item.lower() != v.get('country_klas').lower() for item in one_exl_) is bool_:
  1371. BDdemo_new[k] = v
  1372. enter_coun_u = [x.lower() for x in one_exl_]
  1373. lap = list(set(bd_flag) & set(enter_coun_u))
  1374. diff_list = list(set(enter_coun_u) - set(bd_flag)) #вывести уник элем из enter_coun_u иначе set(enter_coun_u)^set(bd_flag)
  1375. if bool(BDdemo_new) is False:
  1376. print('\n', format_txt(f"⛔️ \033[31;1m[{str(diff_list).strip('[]')}] пожалуйста проверьте ввод, " + \
  1377. f"т.к. все указанные регионы для поиска являются невалидными.\033[0m", k=True, m=True), sep='')
  1378. sys.exit()
  1379. # Вернуть корректный и bad списки пользовательского ввода в cli.
  1380. return lap, diff_list
  1381. ## Если опции '-sei' не указаны, то используем БД, как есть.
  1382. BDdemo_new = {}
  1383. if args.site_list is None and args.exclude_country is None and args.one_level is None:
  1384. BDdemo_new = BDdemo if len(BDdemo) < 404 else sys.exit()
  1385. ## Опция '-s'.
  1386. elif args.site_list is not None:
  1387. # Убедиться, что сайты в базе имеются, создать для проверки сокращенную базу данных сайта(ов).
  1388. for site in args.site_list:
  1389. for site_yes in BDdemo:
  1390. if site.lower() == site_yes.lower():
  1391. BDdemo_new[site_yes] = BDdemo[site_yes] #выбираем в словарь найденные сайты из БД
  1392. try:
  1393. diff_k_bd = set(BDflag) ^ set(BDdemo)
  1394. except Exception:
  1395. snoopbanner.logo(text="\nnickname(s) не задан(ы)")
  1396. for site_yes_full_diff in diff_k_bd:
  1397. if site.lower() == site_yes_full_diff.lower(): #если сайт (-s) в БД Full версии
  1398. print(format_txt("{0}⛔️ пропуск:{2} {3}сайт из БД {4}full-версии{5} {6}недоступен в{7} {8}demo-версии{9}{10}:: " + \
  1399. "'{11}{1}{12}{13}'{14}", k=True, m=True).format(Style.BRIGHT + Fore.RED, site_yes_full_diff,
  1400. Style.RESET_ALL, Fore.CYAN, Style.BRIGHT + Fore.CYAN,
  1401. Style.RESET_ALL, Fore.CYAN, Style.RESET_ALL,
  1402. Style.BRIGHT + Fore.YELLOW, Style.RESET_ALL,
  1403. Fore.CYAN, Style.BRIGHT + Fore.BLACK,
  1404. Style.RESET_ALL, Fore.CYAN, Style.RESET_ALL))
  1405. if not any(site.lower() == site_yes_full.lower() for site_yes_full in BDflag): #если ни одного совпадения по сайту
  1406. print(format_txt("{0}⛔️ пропуск:{1} {2}желаемый сайт отсутствует в БД Snoop:: '" + \
  1407. "{3}{4}{5}' {6}", k=True, m=True).format(Style.BRIGHT + Fore.RED, Style.RESET_ALL, Fore.CYAN,
  1408. Style.BRIGHT + Fore.RED, site, Style.RESET_ALL + Fore.CYAN,
  1409. Style.RESET_ALL))
  1410. # Отмена поиска, если нет ни одного совпадения по БД и '-s'.
  1411. if not BDdemo_new:
  1412. sys.exit()
  1413. ## Опция '-e'.
  1414. # Создать для проверки сокращенную базу данных сайта(ов).
  1415. # Создать и добавить в новую БД сайты, аргументы (-e) которых != бук.кодам стран (country_klas).
  1416. elif args.exclude_country is not None:
  1417. lap, diff_list = one_exl(one_exl_=args.exclude_country, bool_=True)
  1418. str_e = "активирована опция '-e': «исключить из поиска выбранные регионы»::" + \
  1419. "{0} {1} {2} {3} {4} {5}".format(Fore.CYAN, str(lap).strip('[]').upper(),
  1420. Style.RESET_ALL, Style.BRIGHT + Fore.RED,
  1421. str(diff_list).strip('[]'), Style.RESET_ALL)
  1422. print(Fore.CYAN + format_txt(str_e, k=True), '\n',
  1423. Fore.CYAN + format_txt("допустимо использовать опцию '-e' несколько раз", m=True), '\n',
  1424. Fore.CYAN + format_txt("[опция '-e'] несовместима с [опциями '-s', '-c', '-i']", m=True), sep='')
  1425. ## Опция '-i'.
  1426. # Создать для проверки сокращенную базу данных сайта(ов).
  1427. # Создать и добавить в новую БД сайты, аргументы (-e) которых != бук.кодам стран (country_klas).
  1428. elif args.one_level is not None:
  1429. lap, diff_list = one_exl(one_exl_=args.one_level, bool_=False)
  1430. str_i = "активирована опция '-i': «включить в поиск только выбранные регионы»::" + \
  1431. "{0} {1} {2} {3} {4} {5}".format(Fore.CYAN, str(lap).strip('[]').upper(),
  1432. Style.RESET_ALL, Style.BRIGHT + Fore.RED,
  1433. str(diff_list).strip('[]'), Style.RESET_ALL)
  1434. print(Fore.CYAN + format_txt(str_i, k=True), '\n',
  1435. Fore.CYAN + format_txt("допустимо использовать опцию '-i' несколько раз", m=True), '\n',
  1436. Fore.CYAN + format_txt("[опция '-i'] несовместима с [опциями '-s', '-c', 'e']", m=True), sep='')
  1437. ## Ник не задан или противоречие опций.
  1438. if bool(args.username) is False and bool(args.user) is False:
  1439. snoopbanner.logo(text="\nпараметры либо nickname(s) не задан(ы)")
  1440. if bool(args.username) is True and bool(args.user) is True:
  1441. print('\n⛔️' + format_txt("\033[31;1m выберите для поиска nickname(s) из файла или задайте в cli,\n" + \
  1442. "но не совместное использование nickname(s): из файла и cli", k=True, m=True), "\033[31;1m\n\nВыход\033[0m")
  1443. sys.exit()
  1444. ## Опция '-v'.
  1445. if args.verbose and bool(args.username) or args.verbose and bool(USERLIST):
  1446. print(Fore.CYAN + format_txt("активирована опция '-v': «подробная вербализация в CLI»\n", k=True))
  1447. snoopnetworktest.nettest()
  1448. ## Опция '-w' активна/не активна.
  1449. try:
  1450. if args.web is False:
  1451. _DB = f"_[_{len(BDdemo_new)}_]" if len(BDdemo_new) != len(BDdemo) else ""
  1452. print(f"\n{Fore.CYAN}загружена локальная база: {Style.BRIGHT}{Fore.CYAN}{len(BDdemo)}_Websites{_DB}{Style.RESET_ALL}")
  1453. except Exception:
  1454. print("\033[31;1mInvalid загружаемая база данных.\033[0m")
  1455. ## Проверка версий lib 'requests/urllib3'.
  1456. warning_lib()
  1457. ## Крутим user's.
  1458. def starts(SQ):
  1459. kef_user = 0
  1460. ungzip, ungzip_all, find_url_lst, el = [], [], [], []
  1461. exl = "/".join(lap).upper() if args.exclude_country is not None else "нет" #искл.регионы_valid
  1462. one = "/".join(lap).upper() if args.one_level is not None else "нет" #вкл.регионы_valid
  1463. for username in SQ:
  1464. kef_user += 1
  1465. sort_sites = sort_web_BDdemo_new if args.country is True else BDdemo_new
  1466. FULL, hardware = snoop(username, sort_sites, country=args.country, user=args.user, verbose=args.verbose, cert=args.cert,
  1467. norm=args.norm, reports=args.reports, print_found_only=args.print_found_only, timeout=args.timeout,
  1468. color=not args.no_func, headerS=args.headerS, speed=args.speed)
  1469. exists_counter = 0
  1470. if bool(FULL) is False:
  1471. cli_file = " <CLI> " if args.user is False else f" <FILE: {userfile}>"
  1472. with open (f"{dirpath}/results/nicknames/bad_nicknames.txt", "a", encoding="utf-8") as bad_nick:
  1473. bad_nick.write(f"{time.strftime('%Y-%m-%d_%H:%M:%S', time_date)} {cli_file} '{username}'\n")
  1474. continue
  1475. ## Запись в txt.
  1476. file_txt = open(f"{dirpath}/results/nicknames/txt/{username}.txt", "w", encoding="utf-8")
  1477. file_txt.write("Адрес | ресурс" + "\n\n")
  1478. for website_name in FULL:
  1479. dictionary = FULL[website_name]
  1480. if type(dictionary.get("session_size")) != str:
  1481. ungzip.append(dictionary.get("session_size")), ungzip_all.append(dictionary.get("session_size"))
  1482. if dictionary.get("exists") == "найден!":
  1483. exists_counter += 1
  1484. find_url_lst.append(exists_counter)
  1485. file_txt.write(dictionary["url_user"] + " | " + (website_name) + "\n")
  1486. # Размер сессии персональный и общий, кроме CSV.
  1487. try:
  1488. sess_size = round(sum(ungzip) / 1024, 2) #в МБ
  1489. s_size_all = round(sum(ungzip_all) / 1024, 2) #в МБ
  1490. except Exception:
  1491. sess_size = 0.000_000_000_1
  1492. s_size_all = "Err"
  1493. timefinish = time.time() - timestart - sum(el)
  1494. el.append(timefinish)
  1495. time_all = str(round(time.time() - timestart))
  1496. file_txt.write("\n" f"Запрашиваемый объект: <{nick}> найден: {exists_counter} раз(а).")
  1497. file_txt.write("\n" f"Сессия: {str(round(timefinish))}сек {str(sess_size)}Mb.")
  1498. file_txt.write("\n" f"База Snoop (demo version): {flagBS} Websites.")
  1499. file_txt.write("\n" f"Исключённые регионы: {exl}.")
  1500. file_txt.write("\n" f"Выбор конкретных регионов: {one}.")
  1501. file_txt.write("\n" f"Обновлено: {time.strftime('%Y-%m-%d_%H:%M:%S', time_date)}.\n")
  1502. file_txt.write("\n" f"©2020-{time.localtime().tm_year} «Snoop Project» (demo version).")
  1503. file_txt.close()
  1504. ## Запись в html.
  1505. if Android and re.search("[^\W \da-zA-Z]+", nick):
  1506. username = f"nickname_{time.strftime('%Y-%m-%d_%H-%M-%S')}"
  1507. file_html = open(f"{dirpath}/results/nicknames/html/{username}.html", "w", encoding="utf-8")
  1508. path_ = dirpath if not Android else "/storage/emulated/0/snoop"
  1509. file_html.write("<!DOCTYPE html>\n<html lang='ru'>\n\n<head>\n<title>◕ Snoop HTML-отчет</title>\n" + \
  1510. "<meta charset='utf-8'>\n<style>\nbody {background: url(../../../web/public.png) " + \
  1511. "no-repeat 20% 0%}\n.str1{text-shadow: 0px 0px 20px #333333}\n.shad{display: inline-block}\n" + \
  1512. ".shad:hover{text-shadow: 0px 0px 14px #6495ED; transform: scale(1.1); transition: transform 0.15s}\n" + \
  1513. "</style>\n<link rel='stylesheet' href='../../../web/style.css'>\n</head>\n\n<body id='snoop'>\n\n" + \
  1514. "<div id='particles-js'></div>\n\n" + \
  1515. "<h1><a class='GL' href='file://" + f"{path_}/results/nicknames/html/'>open file</a>" + "</h1>\n")
  1516. file_html.write("<h3>Snoop Project (demo version)</h3>\n<p>Нажмите: 'сортировать по странам', возврат:" + \
  1517. "'<span style='text-shadow: 0px 0px 13px #40E0D0'>F5'</span></p>\n<div id='report'>\n" + \
  1518. "<button onclick='sortList()'>Сортировать по странам ↓↑</button><br>\n<ol" + " id='id777'>\n")
  1519. li = []
  1520. for website_name in FULL:
  1521. dictionary = FULL[website_name]
  1522. flag_sum = dictionary["flagcountry"]
  1523. if dictionary.get("exists") == "найден!":
  1524. li.append(flag_sum)
  1525. file_html.write("<li><span class='shad'>" + dictionary["flagcountry"] + \
  1526. "<a target='_blank' href='" + dictionary["url_user"] + "'>" + \
  1527. (website_name) + "</a></span></li>\n")
  1528. try:
  1529. cnt = []
  1530. for k, v in sorted(Counter(li).items(), key=lambda x: x[1], reverse=True):
  1531. cnt.append(f"({k} ⇔ {v})")
  1532. flag_str_sum = "; ".join(cnt)
  1533. except Exception:
  1534. flag_str_sum = "-1"
  1535. file_html.write("</ol>\n</div>\n\n<br>\n\n<div id='meta'>GEO: " + flag_str_sum + ".\n")
  1536. file_html.write("<br> Запрашиваемый объект &lt; <b>" + str(nick) + "</b> &gt; найден: <b>" + str(exists_counter) + "</b> раз(а).")
  1537. file_html.write("<br> Сессия: " + "<b>" + str(round(timefinish)) + "сек_" + str(sess_size) + "Mb</b>.\n")
  1538. file_html.write("<br> Исключённые регионы: <b>" + str(exl) + "</b>.\n")
  1539. file_html.write("<br> Выбор конкретных регионов: <b>" + str(one) + "</b>.\n")
  1540. file_html.write("<br> База Snoop (demo version): <b>" + str(flagBS) + "</b>" + " Websites.\n")
  1541. file_html.write("<br> Обновлено: " + "<i><b>" + time.strftime("%Y-%m-%d</b>_%H:%M:%S", time_date) + ".</i><br><br>\n</div>\n")
  1542. file_html.write("""
  1543. <br>
  1544. <script>
  1545. function sortList() {
  1546. var list, i, switching, b, shouldSwitch;
  1547. list = document.getElementById('id777');
  1548. switching = true;
  1549. while (switching) {
  1550. switching = false;
  1551. b = list.getElementsByTagName("LI");
  1552. for (i = 0; i < (b.length - 1); i++) {
  1553. shouldSwitch = false;
  1554. if (b[i].innerHTML.toLowerCase() > b[i + 1].innerHTML.toLowerCase()) {
  1555. shouldSwitch = true;
  1556. break;
  1557. }
  1558. }
  1559. if (shouldSwitch) {
  1560. b[i].parentNode.insertBefore(b[i + 1], b[i]);
  1561. switching = true;
  1562. }
  1563. }
  1564. }
  1565. function rnd(min, max) {
  1566. return Math.random() * (max - min) + min;
  1567. }
  1568. var don = decodeURIComponent(escape(window.atob("\\
  1569. 4oyb77iPINCh0L/QsNGB0LjQsdC+INC30LAg0LjQvdGC0LXRgNC10YEg0LogU25vb3AgZGVtbyB2\\
  1570. ZXJzaW9uLgoK0JXRgdC70Lgg0LjQvNC10LXRgtGB0Y8g0LLQvtC30LzQvtC20L3QvtGB0YLRjCwg\\
  1571. 0L/QvtC00LTQtdGA0LbQuNGC0LUg0YTQuNC90LDQvdGB0L7QstC+INGN0YLQvtGCINGD0L3QuNC6\\
  1572. 0LDQu9GM0L3Ri9C5IElULdC/0YDQvtC10LrRgjoK0L/QvtC70YPRh9C40YLQtSBTbm9vcCBmdWxs\\
  1573. IHZlcnNpb24g0LHQtdC3INC+0LPRgNCw0L3QuNGH0LXQvdC40LkuCgpD0LwuICJzbm9vcF9jbGku\\
  1574. YmluIC0taGVscCAvIHNub29wX2NsaS5leGUgLS1oZWxwIi4K")))
  1575. var don1 = decodeURIComponent(escape(window.atob("\\
  1576. PGZvbnQgY29sb3I9InJlZCIgc2l6ZT0iMiI+4oybIFNub29wIGRlbW8gdmVyc2lvbi48L2ZvbnQ+\\
  1577. Cjxicj48YnI+CtCU0LvRjyDQv9C+0LTQtNC10YDQttC60Lgg0JHQlCDQuCDQtNCw0LvRjNC90LXQ\\
  1578. udGI0LXQs9C+INGA0LDQt9Cy0LjRgtC40Y8g0J/QniDigJQg0L/RgNC+0LXQutGC0YMg0YLRgNC1\\
  1579. 0LHRg9C10YLRgdGPINGE0LjQvdCw0L3RgdC+0LLQsNGPINC/0L7QtNC00LXRgNC20LrQsC48YnI+\\
  1580. CtCf0L7QtNC00LXRgNC20LjRgtC1INGA0LDQt9GA0LDQsdC+0YLRh9C40LrQsCDQuCDQtdCz0L4g\\
  1581. 0LjRgdGB0LvQtdC00L7QstCw0L3QuNGPINC00L7QvdCw0YLQvtC8LCDQuNC70Lgg0L/RgNC40L7Q\\
  1582. sdGA0LXRgtCw0Y8gPGI+PGZvbnQgY29sb3I9ImdyZWVuIj5Tbm9vcCBmdWxsIHZlcnNpb24hPC9m\\
  1583. b250PjwvYj4KPGJyPjxicj4KQ9C8LiAic25vb3BfY2xpLmJpbiAtLWhlbHAgLyBzbm9vcF9jbGku\\
  1584. ZXhlIC0taGVscCIuCg==")))
  1585. func = setInterval(() => {alert(don)}, rnd(30, 45) * 1000)
  1586. func1 = setTimeout(() => {id777.onmouseover = function() {document.write(don1)}}, rnd(55, 75) * 1000)
  1587. </script>
  1588. <script src="../../../web/particles.js"></script>
  1589. <script src="../../../web/app.js"></script>
  1590. <audio title="Megapolis (remix).mp3" controls="controls" autoplay="autoplay">
  1591. <source src="../../../web/Megapolis%20(remix).mp3" type="audio/mpeg">
  1592. </audio>
  1593. <br>
  1594. <audio title="for snoop in cyberpunk.mp3" controls="controls">
  1595. <source src="../../../web/for%20snoop%20in%20cyberpunk.mp3" type="audio/mpeg">
  1596. </audio>
  1597. <br><br>
  1598. <div id='buttons'>
  1599. <a target='_blank' href='https://github.com/snooppr/snoop' class="SnA"><span class="SnSpan">🛠 Source Исходный код</span></a>
  1600. <a target='_blank' href='https://drive.google.com/file/d/12DzAQMgTcgeG-zJrfDxpUbFjlXcBq5ih/view' class="DnA"><span class="DnSpan">📖 Doc Документация</span></a>
  1601. <a onclick='bay()' class="DnA"><span class="DnSpan">💳 Get Full_Version</span></a>
  1602. </div>
  1603. <br><br>\n
  1604. """ + \
  1605. snoopbanner.buy() + \
  1606. f"""\n\n<p class='str1'><span style="color: gray"><small><small>Отчёт создан в ПО Snoop Project. <br> ©2020-{time.localtime().tm_year} «Snoop Project».</small></small></span></p>
  1607. <script>
  1608. if(typeof don == "undefined" || typeof don1 == "undefined" || don.length != 216 || don1.length != 335 || typeof func == "undefined" || typeof func1 == "undefined")
  1609. document.getElementById('snoop').innerHTML=""
  1610. </script>
  1611. </body>
  1612. </html>""")
  1613. file_html.close()
  1614. ## Запись в csv.
  1615. if rus_windows is False:
  1616. file_csv = open(f"{dirpath}/results/nicknames/csv/{username}.csv", "w", newline='', encoding="utf-8")
  1617. else:
  1618. file_csv = open(f"{dirpath}/results/nicknames/csv/{username}.csv", "w", newline='') #для ru_пользователей
  1619. usernamCSV = re.sub(" ", "_", nick)
  1620. censors_cor = int((censors - recensor) / kef_user) #err_connection_all
  1621. try:
  1622. flagBS_err = round(censors_cor * 100 / (len(BDdemo_new) - len(dic_binding.get("badraw"))), 2)
  1623. except ZeroDivisionError:
  1624. flagBS_err = 0
  1625. try:
  1626. bad_zone = f"~{Counter(dic_binding.get('badzone')).most_common(2)[0][0]}/" + \
  1627. f"{Counter(dic_binding.get('badzone')).most_common(2)[1][0]}"
  1628. except IndexError:
  1629. try:
  1630. bad_zone = f"~{Counter(dic_binding.get('badzone')).most_common(2)[0][0]}"
  1631. except IndexError:
  1632. bad_zone = "ERR"
  1633. writer = csv.writer(file_csv)
  1634. if rus_windows or rus_unix or Android:
  1635. writer.writerow(['Никнейм', 'Ресурс', 'Страна', 'Url', 'Ссылка_на_профиль', 'Статус', 'Статус_http',
  1636. 'Общее_замедление/сек', 'Отклик/сек', 'Общее_время/сек', 'Сессия/Kb'])
  1637. else:
  1638. writer.writerow(['username', 'resource', 'country', 'url', 'url_username', 'status', 'http',
  1639. 'deceleration/s', 'response/s', 'time/s', 'session/Kb'])
  1640. for site in FULL:
  1641. if FULL[site]['session_size'] == 0:
  1642. Ssession = "Head"
  1643. elif type(FULL[site]['session_size']) != str:
  1644. Ssession = str(FULL.get(site).get("session_size")).replace('.', locale.localeconv()['decimal_point'])
  1645. else:
  1646. Ssession = "Bad"
  1647. writer.writerow([usernamCSV, site, FULL[site]['countryCSV'], FULL[site]['url_main'], FULL[site]['url_user'],
  1648. FULL[site]['exists'], FULL[site]['http_status'],
  1649. FULL[site]['response_time_site_ms'].replace('.', locale.localeconv()['decimal_point']),
  1650. FULL[site]['check_time_ms'].replace('.', locale.localeconv()['decimal_point']),
  1651. FULL[site]['response_time_ms'].replace('.', locale.localeconv()['decimal_point']),
  1652. Ssession])
  1653. writer.writerow(['«' + '-'*30, '-'*8, '-'*4, '-'*35, '-'*56, '-'*13, '-'*17, '-'*32, '-'*13, '-'*23, '-'*16 + '»'])
  1654. writer.writerow([f'БД_(demoversion)={flagBS}_Websites'])
  1655. writer.writerow('')
  1656. writer.writerow([f'Исключённые_регионы={exl}'])
  1657. writer.writerow([f'Выбор_конкретных_регионов={one}'])
  1658. writer.writerow([f"Bad_raw:_{flagBS_err}%_БД,_bad_zone_{bad_zone}" if flagBS_err >= 2 else ''])
  1659. writer.writerow('')
  1660. writer.writerow(['Дата'])
  1661. writer.writerow([time.strftime("%Y-%m-%d_%H:%M:%S", time_date)])
  1662. writer.writerow([f'©2020-{time.localtime().tm_year} «Snoop Project»\n(demo version).'])
  1663. file_csv.close()
  1664. ungzip.clear()
  1665. dic_binding.get("badraw").clear()
  1666. ## Финишный вывод в cli.
  1667. if bool(FULL) is True:
  1668. direct_results = f"{dirpath}/results/nicknames/*" if not Windows else f"{dirpath}\\results\\nicknames\\*"
  1669. print(f"{Fore.CYAN}├─Результаты:{Style.RESET_ALL} найдено --> {len(find_url_lst)} url (сессия: {time_all}_сек__{s_size_all}_Mb)")
  1670. print(f"{Fore.CYAN}├──Сохранено в:{Style.RESET_ALL} {direct_results}")
  1671. if flagBS_err >= 2: #perc_%
  1672. bad_raw(flagBS_err, time_date, bad_zone, [args.exclude_country, args.one_level, args.site_list])
  1673. else:
  1674. print(f"{Fore.CYAN}└───Дата поиска:{Style.RESET_ALL} {time.strftime('%Y-%m-%d_%H:%M:%S', time_date)}\n")
  1675. if "demo" in version:
  1676. console.print(f"[italic] Получить Snoop Full Version (+4.6K сайтов):[/italic]\n[dim yellow] " + \
  1677. f"$ {'python ' if 'source' in version else ''}" + \
  1678. f"{os.path.basename(sys.argv[0])} --donate/-d[/dim yellow]\n", highlight=False)
  1679. elif "full" in version and Windows and not any(dic_binding.get("options_speed")):
  1680. console.print(format_txt(f" [bold red] ![/bold red] [bold yellow]Обратите внимание: скорость поиска можно существенно " + \
  1681. f"ускорить, используя опции::[/bold yellow]", k=True, m=True))
  1682. console.print(format_txt(f"[bold yellow] (-[bold green]-q[/bold green]uick/-[bold green]-p[/bold green]ool/" + \
  1683. f"-[bold green]-f[/bold green]ound-print)[/bold yellow]", k=True, m=True), "\n", highlight=False)
  1684. console.print(Panel(f"{e_mail} до {Do}", title=license, style=STL(color="white", bgcolor="blue")))
  1685. ## Открывать/нет браузер с результатами поиска.
  1686. if args.no_func is False and exists_counter >= 1:
  1687. try:
  1688. if not Android:
  1689. try:
  1690. webbrowser.open(f"file://{dirpath}/results/nicknames/html/{username}.html")
  1691. except Exception:
  1692. console.print("[bold red]Невозможно открыть web-браузер, проблемы в операционной системе.")
  1693. else:
  1694. install_service = Style.DIM + Fore.CYAN + \
  1695. "\nДля авто-открытия результатов во внешнем браузере на Android у пользователя " + \
  1696. "должна быть настроена среда, код:" + Style.RESET_ALL + Fore.CYAN + \
  1697. "\ncd && pkg install termux-tools; echo 'allow-external-apps=true' >>" + \
  1698. ".termux/termux.properties" + Style.RESET_ALL + \
  1699. Style.DIM + Fore.CYAN + "\n\nИ перезапустить терминал."
  1700. termux_sv = False
  1701. if os.path.exists("/data/data/com.termux/files/usr/bin/termux-open"):
  1702. with open("/data/data/com.termux/files/home/.termux/termux.properties", "r", encoding="utf-8") as f:
  1703. for line in f:
  1704. if ("allow-external-apps" in line and "#" not in line) and line.split("=")[1].strip().lower() == "true":
  1705. termux_sv = True
  1706. if termux_sv is True:
  1707. subprocess.run(f"termux-open {dirpath}/results/nicknames/html/{username}.html", shell=True)
  1708. else:
  1709. print(install_service)
  1710. else:
  1711. print(install_service)
  1712. except Exception:
  1713. print(f"\n\033[31;1mНе удалось открыть результаты\033[0m")
  1714. try:
  1715. hardware.shutdown()
  1716. except Exception:
  1717. pass
  1718. # Метаинформация.
  1719. if 'full' in version:
  1720. meta()
  1721. ## поиск по выбранным пользователям либо из cli, либо из файла.
  1722. starts(args.username) if args.user is False else starts(USERLIST)
  1723. ## Arbeiten...
  1724. if __name__ == '__main__':
  1725. try:
  1726. main_cli()
  1727. except KeyboardInterrupt:
  1728. console.print(f"\n[bold red]Прерывание [italic](Ctrl + c)[/bold red]")
  1729. if Windows:
  1730. os.kill(os.getpid(), signal.SIGBREAK)
  1731. elif lame_workhorse:
  1732. os.kill(os.getpid(), signal.SIGKILL)
  1733. else:
  1734. for child in active_children():
  1735. child.terminate()