snoop.py 118 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101111121131141151161171181191201211221231241251261271281291301311321331341351361371381391401411421431441451461471481491501511521531541551561571581591601611621631641651661671681691701711721731741751761771781791801811821831841851861871881891901911921931941951961971981992002012022032042052062072082092102112122132142152162172182192202212222232242252262272282292302312322332342352362372382392402412422432442452462472482492502512522532542552562572582592602612622632642652662672682692702712722732742752762772782792802812822832842852862872882892902912922932942952962972982993003013023033043053063073083093103113123133143153163173183193203213223233243253263273283293303313323333343353363373383393403413423433443453463473483493503513523533543553563573583593603613623633643653663673683693703713723733743753763773783793803813823833843853863873883893903913923933943953963973983994004014024034044054064074084094104114124134144154164174184194204214224234244254264274284294304314324334344354364374384394404414424434444454464474484494504514524534544554564574584594604614624634644654664674684694704714724734744754764774784794804814824834844854864874884894904914924934944954964974984995005015025035045055065075085095105115125135145155165175185195205215225235245255265275285295305315325335345355365375385395405415425435445455465475485495505515525535545555565575585595605615625635645655665675685695705715725735745755765775785795805815825835845855865875885895905915925935945955965975985996006016026036046056066076086096106116126136146156166176186196206216226236246256266276286296306316326336346356366376386396406416426436446456466476486496506516526536546556566576586596606616626636646656666676686696706716726736746756766776786796806816826836846856866876886896906916926936946956966976986997007017027037047057067077087097107117127137147157167177187197207217227237247257267277287297307317327337347357367377387397407417427437447457467477487497507517527537547557567577587597607617627637647657667677687697707717727737747757767777787797807817827837847857867877887897907917927937947957967977987998008018028038048058068078088098108118128138148158168178188198208218228238248258268278288298308318328338348358368378388398408418428438448458468478488498508518528538548558568578588598608618628638648658668678688698708718728738748758768778788798808818828838848858868878888898908918928938948958968978988999009019029039049059069079089099109119129139149159169179189199209219229239249259269279289299309319329339349359369379389399409419429439449459469479489499509519529539549559569579589599609619629639649659669679689699709719729739749759769779789799809819829839849859869879889899909919929939949959969979989991000100110021003100410051006100710081009101010111012101310141015101610171018101910201021102210231024102510261027102810291030103110321033103410351036103710381039104010411042104310441045104610471048104910501051105210531054105510561057105810591060106110621063106410651066106710681069107010711072107310741075107610771078107910801081108210831084108510861087108810891090109110921093109410951096109710981099110011011102110311041105110611071108110911101111111211131114111511161117111811191120112111221123112411251126112711281129113011311132113311341135113611371138113911401141114211431144114511461147114811491150115111521153115411551156115711581159116011611162116311641165116611671168116911701171117211731174117511761177117811791180118111821183118411851186118711881189119011911192119311941195119611971198119912001201120212031204120512061207120812091210121112121213121412151216121712181219122012211222122312241225122612271228122912301231123212331234123512361237123812391240124112421243124412451246124712481249125012511252125312541255125612571258125912601261126212631264126512661267126812691270127112721273127412751276127712781279128012811282128312841285128612871288128912901291129212931294129512961297129812991300130113021303130413051306130713081309131013111312131313141315131613171318131913201321132213231324132513261327132813291330133113321333133413351336133713381339134013411342134313441345134613471348134913501351135213531354135513561357135813591360136113621363136413651366136713681369137013711372137313741375137613771378137913801381138213831384138513861387138813891390139113921393139413951396139713981399140014011402140314041405140614071408140914101411141214131414141514161417141814191420142114221423142414251426142714281429143014311432143314341435143614371438143914401441144214431444144514461447144814491450145114521453145414551456145714581459146014611462146314641465146614671468146914701471147214731474147514761477147814791480148114821483148414851486148714881489149014911492149314941495149614971498149915001501150215031504150515061507150815091510151115121513151415151516151715181519152015211522152315241525152615271528152915301531153215331534153515361537153815391540154115421543154415451546154715481549155015511552155315541555155615571558155915601561156215631564156515661567156815691570157115721573157415751576157715781579158015811582158315841585158615871588158915901591159215931594159515961597159815991600160116021603160416051606160716081609161016111612161316141615161616171618161916201621162216231624162516261627162816291630163116321633163416351636163716381639164016411642164316441645164616471648164916501651165216531654165516561657165816591660166116621663166416651666166716681669167016711672167316741675167616771678167916801681168216831684168516861687168816891690169116921693169416951696169716981699170017011702170317041705170617071708170917101711171217131714171517161717171817191720172117221723172417251726172717281729173017311732173317341735173617371738173917401741174217431744174517461747174817491750175117521753175417551756175717581759176017611762176317641765176617671768176917701771177217731774177517761777177817791780178117821783178417851786178717881789179017911792179317941795179617971798179918001801180218031804180518061807180818091810181118121813181418151816181718181819182018211822182318241825182618271828182918301831183218331834183518361837183818391840184118421843184418451846184718481849185018511852185318541855185618571858185918601861186218631864186518661867186818691870187118721873187418751876187718781879188018811882188318841885188618871888188918901891189218931894189518961897189818991900190119021903190419051906190719081909191019111912191319141915191619171918191919201921192219231924192519261927192819291930193119321933193419351936193719381939194019411942194319441945194619471948194919501951195219531954195519561957195819591960196119621963196419651966196719681969197019711972197319741975197619771978197919801981198219831984198519861987198819891990199119921993199419951996199719981999200020012002200320042005200620072008200920102011201220132014201520162017201820192020202120222023202420252026202720282029203020312032203320342035203620372038203920402041204220432044204520462047204820492050205120522053205420552056205720582059206020612062206320642065206620672068
  1. #! /usr/bin/env python3
  2. # Copyright (c) 2020 Snoop Project <snoopproject@protonmail.com>
  3. import argparse
  4. import certifi
  5. import csv
  6. import glob
  7. import itertools
  8. import json
  9. import locale
  10. import os
  11. import platform
  12. import psutil
  13. import random
  14. import re
  15. import requests
  16. import shutil
  17. import signal
  18. import ssl
  19. import subprocess
  20. import sys
  21. import textwrap
  22. import time
  23. import webbrowser
  24. from charset_normalizer import detect as char_detect
  25. from collections import Counter
  26. from colorama import Fore, init, Style
  27. from concurrent.futures import as_completed, ProcessPoolExecutor, ThreadPoolExecutor, TimeoutError
  28. from multiprocessing import active_children
  29. from rich.console import Console
  30. from rich.markdown import Markdown
  31. from rich.panel import Panel
  32. from rich.progress import BarColumn, Progress, SpinnerColumn, TimeElapsedColumn
  33. from rich.style import Style as STL
  34. from rich.table import Table
  35. import snoopbanner
  36. import snoopnetworktest
  37. import snoopplugins
  38. if int(platform.python_version_tuple()[1]) >= 8:
  39. from importlib.metadata import version as version_lib
  40. PYTHON_3_8_PLUS = True
  41. else:
  42. PYTHON_3_8_PLUS = False
  43. locale.setlocale(locale.LC_ALL, '')
  44. init(autoreset=True)
  45. console = Console()
  46. ## Баннер и версия ПО.
  47. def version_snoop(vers, vers_code, demo_full):
  48. print(f"""\033[36m
  49. ___|
  50. \___ \ __ \ _ \ _ \ __ \
  51. | | | ( | ( | | |
  52. _____/ _| _|\___/ \___/ .__/
  53. _| \033[0m \033[37m\033[44m{vers}\033[0m
  54. """)
  55. sb = "build" if vers_code == 'b' else "source"
  56. _sb = "demo" if demo_full == 'd' else "full"
  57. if WINDOWS: OS_ = f"ru Snoop for Windows {sb} {_sb}"
  58. elif ANDROID: OS_ = f"ru Snoop for Termux {sb} {_sb}"
  59. elif LINUX: OS_ = f"ru Snoop for GNU/Linux {sb} {_sb}"
  60. console.print("[dim cyan]Примеры:[dim cyan]")
  61. console.print(f"[dim cyan] $ [/dim cyan]" + \
  62. f"[cyan]{'cd C:' + chr(92) + 'path' + chr(92) + 'snoop' if WINDOWS else 'cd ~/snoop'}[/cyan]")
  63. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'python' if WINDOWS else 'python3'} snoop.py --help[/cyan] #справка")
  64. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'python' if WINDOWS else 'python3'} snoop.py --module[/cyan] #плагины")
  65. console.print(f"[dim cyan] $ [/dim cyan][cyan]{'python' if WINDOWS else 'python3'} snoop.py nickname[/cyan] #поиск user-a")
  66. console.rule(characters="=", style="cyan")
  67. print("")
  68. return f"{vers}_{OS_}"
  69. ## Создание директорий результатов.
  70. def mkdir_path():
  71. if WINDOWS:
  72. dirhome = os.environ['LOCALAPPDATA'] + "\\snoop"
  73. elif ANDROID:
  74. try:
  75. dirhome = "/data/data/com.termux/files/home/storage/shared/snoop"
  76. except Exception:
  77. dirhome = os.environ['HOME'] + "/snoop"
  78. elif LINUX:
  79. dirhome = os.environ['HOME'] + "/snoop"
  80. dirpath = os.getcwd() if 'source' in VERSION and not ANDROID else dirhome
  81. os.makedirs(f"{dirpath}/results", exist_ok=True)
  82. os.makedirs(f"{dirpath}/results/nicknames/html", exist_ok=True)
  83. os.makedirs(f"{dirpath}/results/nicknames/txt", exist_ok=True)
  84. os.makedirs(f"{dirpath}/results/nicknames/csv", exist_ok=True)
  85. os.makedirs(f"{dirpath}/results/nicknames/save reports", exist_ok=True)
  86. os.makedirs(f"{dirpath}/results/plugins/ReverseVgeocoder", exist_ok=True)
  87. os.makedirs(f"{dirpath}/results/plugins/Yandex_parser", exist_ok=True)
  88. os.makedirs(f"{dirpath}/results/plugins/domain", exist_ok=True)
  89. return dirpath
  90. # Константы.
  91. ANDROID = True if hasattr(sys, 'getandroidapilevel') else False
  92. WINDOWS = True if sys.platform == 'win32' else False
  93. LINUX = True if ANDROID is False and WINDOWS is False else False
  94. E_MAIL = 'demo: snoopproject@protonmail.com'
  95. END_OF_LICENSE = (2025, 9, 10, 3, 0, 0, 0, 0, 0) #формат даты согласно международному стандарту ISO 8601, год-месяц-день.
  96. VERSION = version_snoop('v1.4.1h', "s", "d")
  97. DIRPATH = mkdir_path()
  98. TIME_START = time.time()
  99. TIME_DATE = time.localtime()
  100. dic_binding = {"symbol_bad": re.compile("[^a-zA-Zа-яА-Я\_\s\d\%\@\-\.\+]"),
  101. "badraw": [], "badzone": [], "options_speed": [],
  102. "censors": 0, "android_lame_workhorse": False}
  103. # Создание web-каталога и его контроль, но не файлов внутри + раздача верных прав "-x -R" после компиляции двоичных данных [.mp3].
  104. def web_path_copy():
  105. try:
  106. if "build" in VERSION and os.path.exists(f"{DIRPATH}/web") is False:
  107. shutil.copytree(web_path, f"{DIRPATH}/web")
  108. if LINUX: # и 'build' in 'VERSION'
  109. os.chmod(f"{DIRPATH}/web", 0o755)
  110. for total_file_path in glob.iglob(f"{DIRPATH}/web/**/*", recursive=True):
  111. if os.path.isfile(total_file_path) == True:
  112. os.chmod(total_file_path, 0o644)
  113. else:
  114. os.chmod(total_file_path, 0o755)
  115. elif "source" in VERSION and ANDROID and os.path.exists("/data/data/com.termux/files/home/storage/shared/snoop/web") is False:
  116. shutil.copytree(f"{os.getcwd()}/web", "/data/data/com.termux/files/home/storage/shared/snoop/web")
  117. except Exception as e:
  118. print(f"ERR: {e}")
  119. # Действие лицензии.
  120. def license():
  121. date_up = int(time.mktime(END_OF_LICENSE)) #дата в секундах с начала эпохи
  122. End = time.strftime('%Y-%m-%d', time.gmtime(date_up))
  123. if time.time() > date_up:
  124. snoopbanner.logo(text=f"ПО {VERSION} деактивировано согласно лицензии.")
  125. sys.exit()
  126. return End
  127. ## Расход памяти.
  128. def mem_test():
  129. try:
  130. return round(psutil.virtual_memory().available / 1024 / 1024)
  131. except Exception:
  132. if not WINDOWS:
  133. console.print(f"{' ' * 17} [bold red]ERR Psutil lib[/bold red]")
  134. return int(subprocess.check_output("free -m", shell=True, text=True).splitlines()[1].split()[-1])
  135. else:
  136. return -1
  137. ## Вывести на печать инфостроку.
  138. def info_str(infostr, nick, color=True):
  139. if color is True:
  140. print(f"{Fore.GREEN}[{Fore.YELLOW}*{Fore.GREEN}] {infostr}{Fore.RED} <{Fore.WHITE} {nick} {Fore.RED}>{Style.RESET_ALL}")
  141. else:
  142. print(f"\n[*] {infostr} < {nick} >")
  143. ## Bad_raw, bad_zone.
  144. def bad_raw(flagBS_err, bad_zone, nick, lst_options):
  145. print(f"{Fore.CYAN}├───Дата поиска:{Style.RESET_ALL} {time.strftime('%Y-%m-%d__%H:%M:%S', TIME_DATE)}")
  146. if any(lst_options):
  147. print(f"{Fore.CYAN}└────\033[31;1mBad_raw: {flagBS_err}% БД, bad_zone {bad_zone}\033[0m\n")
  148. else:
  149. if 4 >= flagBS_err >= 2:
  150. print(f"{Fore.CYAN}└────\033[33;1mВнимание! Bad_raw: {flagBS_err}% БД, bad_zone {bad_zone}\033[0m")
  151. elif 9 >= flagBS_err > 4:
  152. print(f"{Fore.CYAN}└────\033[31;1mВнимание!! Bad_raw: {flagBS_err}% БД, bad_zone {bad_zone}\033[0m")
  153. elif flagBS_err > 9:
  154. print(f"{Fore.CYAN}└────\033[30m\033[41mВнимание!!! Bad_raw: {flagBS_err}% БД, критический уровень, " + \
  155. f"bad_zone {bad_zone}\033[0m")
  156. if not any(lst_options):
  157. print(Fore.CYAN + " └─нестабильное соединение или I_Censorship")
  158. print(f" \033[36m{'├' if 'full' in VERSION else '└'}─используйте \033[36;1mVPN\033[0m\033[36m/'\033[0m" + \
  159. f"\033[36;1m--web-base\033[0m\033[36m'\033[0m ", end='' if 'full' in VERSION else '\n\n')
  160. if "full" in VERSION:
  161. nick = f"'{nick}'" if nick.count(" ") > 0 else nick
  162. print(f"\033[36m\n └─или исключите из поиска bad_zone: '\033[36;1m" + \
  163. f"{bad_zone.split('/')[0].replace('~', '')}\033[0m" + \
  164. f"\033[36m'\n └─$ {os.path.basename(sys.argv[0])} --exclude " + \
  165. f"{bad_zone.split('/')[0].replace('~', '')} {nick}\033[0m\n")
  166. ## Форматирование, отступы.
  167. def format_txt(text, k=False, m=False):
  168. gal = " • " if WINDOWS else " ✔ "
  169. indent_end = "" if k else " " * 3
  170. gal = gal if k and not m else ""
  171. try:
  172. return textwrap.fill(f"{gal}{text}", width=os.get_terminal_size()[0], subsequent_indent=" " * 3, initial_indent=indent_end)
  173. except OSError:
  174. return "ERR"
  175. ## Вывести на печать ошибки.
  176. def print_error(websites_names, errstr, country_code, errX, verbose=False, color=True):
  177. """Вывести на печать разного рода ошибки сети."""
  178. if color is True:
  179. print(f"{Style.RESET_ALL}{Fore.RED}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.RED}]{Style.BRIGHT}" \
  180. f"{Fore.GREEN} {websites_names}: {Style.BRIGHT}{Fore.RED}{errstr}{country_code}" \
  181. f"{Fore.YELLOW} {errX if verbose else ''} {Style.RESET_ALL}")
  182. else:
  183. print(f"[!] {websites_names}: {errstr}{country_code} {errX if verbose else ''}")
  184. ## Вывод на печать на разных платформах, индикация.
  185. def print_found_country(websites_names, url, country_Emoj_Code, verbose=False, color=True):
  186. """Вывести на печать аккаунт найден."""
  187. if color is True and WINDOWS:
  188. print(f"{Style.RESET_ALL}{Style.BRIGHT}{Fore.CYAN}{country_Emoj_Code}" \
  189. f"{Fore.GREEN} {websites_names}:{Style.RESET_ALL}{Fore.GREEN} {url}{Style.RESET_ALL}")
  190. elif color is True and not WINDOWS:
  191. print(f"{Style.RESET_ALL}{country_Emoj_Code}{Style.BRIGHT}{Fore.GREEN} {websites_names}: " \
  192. f"{Style.RESET_ALL}{Style.DIM}{Fore.GREEN}{url}{Style.RESET_ALL}")
  193. else:
  194. print(f"[+] {websites_names}: {url}")
  195. def print_not_found(websites_names, verbose=False, color=True):
  196. """Вывести на печать аккаунт не найден."""
  197. if color is True:
  198. print(f"{Style.RESET_ALL}{Fore.CYAN}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.CYAN}]" \
  199. f"{Style.BRIGHT}{Fore.GREEN} {websites_names}: {Style.BRIGHT}{Fore.YELLOW}Увы!{Style.RESET_ALL}")
  200. else:
  201. print(f"[-] {websites_names}: Увы!")
  202. ## Вывести на печать пропуск сайтов по блок. маске в имени username, gray_list.
  203. def print_invalid(websites_names, message, color=True):
  204. if color is True:
  205. return f"{Style.RESET_ALL}{Fore.RED}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.RED}]" \
  206. f"{Style.BRIGHT}{Fore.GREEN} {websites_names}: {Style.RESET_ALL}{Fore.YELLOW}{message}{Style.RESET_ALL}\n"
  207. else:
  208. return f"[-] {websites_names}: {message}\n"
  209. ## Вывести предупреждение об устаревших версиях библиотек.
  210. def warning_lib():
  211. if int(requests.urllib3.__version__.split(".")[0]) < 2 or int("".join(requests.__version__.split("."))) < 2282:
  212. console.log("[yellow]Внимание! \n\nВ Requests > v2.28.2 / Urllib3 v2 разработчики отказались от поддержки старых шифров. " + \
  213. "Некоторые, немногочисленные, устаревшие сайты из БД, работающие по старой технологии, будут продолжать " + \
  214. "коннектиться без ошибок (Snoop будет стремиться обеспечивать режим совместимости с любыми старыми версиями " + \
  215. "Requests / Urllib3).[/yellow]\n\n[bold green]Все же рекомендуется обновить зависимости: \n" + \
  216. "$ python -m pip install requests urllib3 -U[/bold green]", highlight=False)
  217. console.rule(characters="=", style="cyan")
  218. ## Сеть.
  219. def r_session(cert=False, connect=0, speed=False, norm = False, method="get",
  220. url=None, headers="", allow_redirects=True, timeout=9):
  221. """
  222. Объект сессии нужен для расширения пула сетевых соединений, существенный минус (многопоточноть/OS Windows):
  223. с течением времени происходит утечка процессорного времени. Обходное решение: создавать временную сессию
  224. на каждое соединение без кэширования, прирост производительности (Windows) ~25-30%.
  225. Кроме того, в версии urllib3 > 2 при multiprocessing (Linux) необходимо вручную мариновать объект SSL.
  226. """
  227. if speed:
  228. connections = (speed + 20) if speed >= 60 else (70 if not WINDOWS else 50)
  229. elif speed is False:
  230. connections = 200 if LINUX else (70 if WINDOWS else 50) #L/W/A.
  231. if "test" in VERSION:
  232. total = False if norm else None
  233. retry = requests.urllib3.util.Retry(total=total, connect=connect, read=0, status=0, other=1, backoff_factor=0.1)
  234. adapter = requests.adapters.HTTPAdapter(max_retries=retry)
  235. else:
  236. adapter = requests.adapters.HTTPAdapter()
  237. try: #urllib3 > 2
  238. cert_reqs = ssl.CERT_NONE if cert is False else ssl.CERT_REQUIRED
  239. ciphers = 'ECDHE+AESGCM:ECDHE+CHACHA20:DHE+AESGCM:DHE+CHACHA20:ECDH+AESGCM:DH+AESGCM\
  240. :ECDH+AES:DH+AES:RSA+AESGCM:RSA+AES:!aNULL:!eNULL:!MD5:!DSS:HIGH:!DH'
  241. ctx = requests.urllib3.util.create_urllib3_context(ciphers=ciphers, cert_reqs=cert_reqs)
  242. adapter.init_poolmanager(connections=connections, maxsize=20, block=False,
  243. ssl_minimum_version=ssl.TLSVersion.TLSv1, ssl_context=ctx)
  244. except Exception: #urllib3 < 2, перенастраивать процессы не требуется
  245. requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS += ':HIGH:!DH:!aNULL'
  246. adapter.init_poolmanager(connections=connections, maxsize=20, block=False)
  247. requests.packages.urllib3.disable_warnings()
  248. r_session = requests.Session()
  249. r_session.max_redirects = 9
  250. r_session.verify = False if cert is False else certifi.where()
  251. r_session.mount('http://', adapter)
  252. r_session.mount('https://', adapter)
  253. if method == "get":
  254. req_session = r_session.get
  255. elif method == "head":
  256. req_session = r_session.head
  257. return req_session(url=url, headers=headers, allow_redirects=allow_redirects, timeout=timeout)
  258. # Вернуть результат future for2.
  259. # Логика: возврат ответа и дублирующего метода (из 4-х) в случае успеха/повтора.
  260. def r_results(request_future, error_type, websites_names, timeout=None, norm=False,
  261. print_found_only=False, verbose=False, color=True, country_code=''):
  262. try:
  263. res = request_future.result(timeout=timeout + 20)
  264. if res.status_code:
  265. return res, error_type, str(round(res.elapsed.total_seconds(), 2))
  266. except requests.exceptions.HTTPError as err1:
  267. if norm is False and print_found_only is False:
  268. print_error(websites_names, "HTTP Error ", country_code, err1, verbose, color)
  269. except requests.exceptions.ConnectionError as err2:
  270. if norm is False and ('aborted' in str(err2) or 'None: None' in str(err2) or
  271. 'SSLZeroReturnError' in str(err2) or 'Failed' in str(err2) or 'None' == str(err2)):
  272. dic_binding.update({'censors': dic_binding.get('censors') + 1})
  273. if print_found_only is False:
  274. print_error(websites_names, "Ошибка соединения ", country_code, err2, verbose, color)
  275. return "FakeNone", "", "-"
  276. else:
  277. if norm is False and print_found_only is False:
  278. print_error(websites_names, "Censorship | TLS ", country_code, err2, verbose, color)
  279. except (requests.exceptions.Timeout, TimeoutError) as err3:
  280. if norm is False and print_found_only is False:
  281. print_error(websites_names, "Timeout ошибка ", country_code, err3, verbose, color)
  282. if len(str(repr(err3))) == 14:
  283. dic_binding.update({'censors': dic_binding.get('censors') + 1})
  284. return "FakeStuck", "", "-"
  285. except requests.exceptions.RequestException as err4:
  286. if norm is False and print_found_only is False:
  287. print_error(websites_names, "Непредвиденная ошибка ", country_code, err4, verbose, color)
  288. except Exception as err5:
  289. if norm is False and print_found_only is False:
  290. print_error(websites_names, "Network Pool Crash ", country_code, err5, verbose, color)
  291. dic_binding.update({'censors': dic_binding.get('censors') + 1})
  292. return None, "Great Snoop returns None", "-"
  293. ## Сохранение отчетов, опция (-S).
  294. def new_session(url, headers, error_type, username, websites_names, r, t):
  295. """
  296. Если nickname найден, но актуальная html-страница находится дальше по редиректу,
  297. поднимаем новое соединение и двигаемся по редиректу чтобы ее захватить и сохранить.
  298. """
  299. response = r_session(url=url, headers=headers, allow_redirects=True, timeout=t)
  300. # Ловушка на некот.сайтах (if response.content is not None ≠ if response.content).
  301. if response.content is not None and response.encoding == 'ISO-8859-1':
  302. try:
  303. response.encoding = char_detect(response.content).get("encoding")
  304. if response.encoding is None:
  305. response.encoding = "utf-8"
  306. except Exception:
  307. response.encoding = "utf-8"
  308. try:
  309. session_size = len(response.content) #подсчет извлеченных данных
  310. except UnicodeEncodeError:
  311. session_size = None
  312. return response, session_size
  313. def sreports(url, headers, error_type, username, websites_names, r):
  314. os.makedirs(f"{DIRPATH}/results/nicknames/save reports/{username}", exist_ok=True)
  315. # Сохранять отчеты для метода: redirection.
  316. if error_type == "redirection":
  317. try:
  318. response, session_size = new_session(url, headers, error_type,
  319. username, websites_names, r, t=6)
  320. except requests.exceptions.ConnectionError:
  321. time.sleep(0.02)
  322. try:
  323. response, session_size = new_session(url, error_type, username,
  324. websites_names, r, headers="", t=3)
  325. except Exception:
  326. session_size = 'Err' #подсчет извлеченных данных
  327. except Exception:
  328. session_size = 'Err'
  329. # Сохранять отчеты для всех остальных методов: status; response; message со стандартными параметрами.
  330. try:
  331. with open(f"{DIRPATH}/results/nicknames/save reports/{username}/{websites_names}.html", 'w', encoding=r.encoding) as rep:
  332. if 'response' in locals():
  333. rep.write(response.text)
  334. elif error_type == "redirection" and 'response' not in locals():
  335. rep.write("❌ Snoop Project bad_save, timeout")
  336. else:
  337. rep.write(r.text)
  338. except Exception:
  339. console.log(snoopbanner.err_all(err_="low"), f"\nlog --> [{websites_names}:[bold red] {r.encoding} | response?[/bold red]]")
  340. if error_type == "redirection":
  341. return session_size
  342. ## Snoop функция.
  343. def snoop(username, BDdemo_new, verbose=False, norm=False, reports=False, user=False, country=False,
  344. speed=False, print_found_only=False, timeout=None, color=True, cert=False, header_custom=None):
  345. ## Печать инфострок.
  346. еasteregg = ['Snoop', 'snoop', 'SNOOP',
  347. 'Snoop Project', 'snoop project', 'SNOOP PROJECT',
  348. 'Snoop_Project', 'snoop_project', 'SNOOP_PROJECT',
  349. 'Snoop-Project', 'snoop-project', 'SNOOP-PROJECT',
  350. 'Snooppr', 'snooppr', 'SNOOPPR']
  351. nick = username.replace("%20", " ") #username 2-переменные (args/info)
  352. info_str("разыскиваем:", nick, color)
  353. if len(username) < 3:
  354. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ nickname не может быть короче 3-х символов",
  355. k=True, m=True) + "\n пропуск\n")
  356. return False, False, nick
  357. elif username in еasteregg:
  358. with console.status("[bold blue] 💡 Обнаружена пасхалка...", spinner='noise'):
  359. try:
  360. r_east = r_session(url="https://raw.githubusercontent.com/snooppr/snoop/master/changelog.txt", timeout=timeout)
  361. r_repo = r_session(url='https://api.github.com/repos/snooppr/snoop', timeout=timeout).json()
  362. r_latestvers = r_session(url='https://api.github.com/repos/snooppr/snoop/tags', timeout=timeout).json()
  363. console.print(Panel(Markdown(r_east.text.replace("=" * 83, "")),
  364. subtitle="[bold blue]журнал snoop-версий[/bold blue]", style=STL(color="cyan")))
  365. console.print(Panel(f"[bold cyan]Дата создания проекта:[/bold cyan] 2020-02-14 " + \
  366. f"({round((time.time() - 1581638400) / 86400)}_дней).\n" + \
  367. f"[bold cyan]Последнее обновление репозитория:[/bold cyan] " + \
  368. f"{'_'.join(r_repo.get('pushed_at')[0:-4].split('T'))} (UTC).\n" + \
  369. f"[bold cyan]Размер репозитория:[/bold cyan] {round(int(r_repo.get('size')) / 1024, 1)} Мб.\n" + \
  370. f"[bold cyan]Github-рейтинг:[/bold cyan] {r_repo.get('watchers')} звёзд.\n" + \
  371. f"[bold cyan]Скрытые опции:[/bold cyan]\n'--headers/-H':: Задать user-agent вручную, агент " + \
  372. f"заключается в кавычки, по умолчанию для каждого сайта задается " + \
  373. f"случайный либо переопределенный user-agent из БД snoop.\n" + \
  374. f"'--cert-on/-C':: Включить проверку сертификатов на серверах, " + \
  375. f"по умолчанию проверка сертификатов на серверах " + \
  376. f"отключена, что позволяет обрабатывать проблемные сайты без ошибок.\n"
  377. f"[bold cyan]Последняя версия snoop:[/bold cyan] {r_latestvers[0].get('name')}.",
  378. style=STL(color="cyan"), subtitle="[bold blue]ключевые показатели[/bold blue]", expand=False))
  379. except Exception:
  380. console.log(snoopbanner.err_all(err_="high"))
  381. sys.exit()
  382. username = re.sub(" ", "%20", username)
  383. ## Предотвращение 'DoS' из-за невалидных логинов; номеров телефонов, ошибок поиска из-за спецсимволов.
  384. with open('domainlist.txt', 'r', encoding="utf-8") as err:
  385. ermail = err.read().splitlines()
  386. username_bad = username.rsplit(sep='@', maxsplit=1)
  387. username_bad = '@bro'.join(username_bad).lower()
  388. for ermail_iter in ermail:
  389. if ermail_iter.lower() == username.lower():
  390. print("\n" + Style.BRIGHT + Fore.RED + format_txt("⛔️ bad nickname: '{0}' (обнаружен чистый домен)"
  391. .format(ermail_iter), k=True, m=True) + "\n пропуск\n")
  392. return False, False, nick
  393. elif ermail_iter.lower() in username.lower():
  394. usernameR = username.rsplit(sep=ermail_iter.lower(), maxsplit=1)[1]
  395. username = username.rsplit(sep='@', maxsplit=1)[0]
  396. if len(username) == 0:
  397. username = usernameR
  398. print(f"\n{Fore.CYAN}Обнаружен E-mail адрес, извлекаем nickname: " + \
  399. f"'{Style.BRIGHT}{Fore.CYAN}{username}{Style.RESET_ALL}" + \
  400. f"{Fore.CYAN}'\nSnoop способен отличать e-mail от логина, например, поиск '{username_bad}'\n" + \
  401. f"не является валидной электропочтой, но может существовать как nickname, следовательно — не будет обрезан\n")
  402. if len(username) == 0 and len(usernameR) == 0:
  403. print("\n" + Style.BRIGHT + Fore.RED + format_txt("⛔️ bad nickname: '{0}' (обнаружен чистый домен)"\
  404. .format(ermail_iter), k=True, m=True) + "\n пропуск\n")
  405. return False, False, nick
  406. elif len(username) != 0 and len(username) < 3:
  407. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ nickname не может быть короче 3-х символов",
  408. k=True, m=True) + "\n пропуск\n")
  409. return False, False, nick
  410. del ermail
  411. err_nick = re.findall(dic_binding.get("symbol_bad"), username)
  412. if err_nick:
  413. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ недопустимые символы в nickname: " + \
  414. "{0}{1}{2}{3}{4}".format(Style.RESET_ALL, Fore.RED, err_nick,
  415. Style.RESET_ALL, Style.BRIGHT + Fore.RED),
  416. k=True, m=True) + "\n пропуск\n")
  417. return False, False, nick
  418. ernumber = ['76', '77', '78', '79', '89', "38", "37", "9", "+"]
  419. if any(ernumber in username[0:2] for ernumber in ernumber):
  420. if len(username) >= 10 and len(username) <= 13 and username[1:].isdigit() is True:
  421. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ snoop выслеживает учётки пользователей, " + \
  422. "но не номера телефонов...", k=True, m=True) + "\n пропуск\n")
  423. return False, False, nick
  424. elif '.' in username and '@' not in username:
  425. print(Style.BRIGHT + Fore.RED + format_txt("⛔️ nickname, содержащий [.] и не являющийся email, " + \
  426. "невалидный...", k=True, m=True) + "\n пропуск\n")
  427. return False, False, nick
  428. ## Создать многопоточный/процессный сеанс для всех запросов.
  429. if ANDROID:
  430. try:
  431. proc_ = len(BDdemo_new) if len(BDdemo_new) < 17 else 17
  432. executor1 = ProcessPoolExecutor(max_workers=proc_ if not speed else speed)
  433. except Exception:
  434. console.log(snoopbanner.err_all(err_="high"))
  435. dic_binding.update({'android_lame_workhorse': True})
  436. executor1 = ThreadPoolExecutor(max_workers=10 if not speed else speed)
  437. elif WINDOWS:
  438. cpu = 1 if psutil.cpu_count(logical=False) == None else psutil.cpu_count(logical=False)
  439. if norm is False:
  440. thread__ = len(BDdemo_new) if len(BDdemo_new) < (cpu * 5) else (18 if cpu < 4 else 30)
  441. else:
  442. thread__ = len(BDdemo_new) if len(BDdemo_new) < (os.cpu_count() * 5) else (20 if cpu < 4 else 40)
  443. executor1 = ThreadPoolExecutor(max_workers=thread__ if not speed else speed)
  444. elif LINUX:
  445. if norm is False:
  446. proc_ = len(BDdemo_new) if len(BDdemo_new) < 70 else (50 if len(os.sched_getaffinity(0)) < 4 else 140)
  447. else:
  448. proc_ = len(BDdemo_new) if len(BDdemo_new) < 70 else (60 if len(os.sched_getaffinity(0)) < 4 else 180)
  449. executor1 = ProcessPoolExecutor(max_workers=proc_ if not speed else speed)
  450. if norm is False:
  451. executor2 = ThreadPoolExecutor(max_workers=1)
  452. ## Анализ всех сайтов.
  453. dic_snoop_full = {}
  454. BDdemo_new_quick = {}
  455. lst_invalid = []
  456. ## Создание futures на все запросы. Это позволит распараллелить запросы с прерываниями.
  457. for websites_names, param_websites in BDdemo_new.items():
  458. results_site = {}
  459. results_site['flagcountry'] = param_websites.get("country")
  460. results_site['flagcountryklas'] = param_websites.get("country_klas")
  461. results_site['url_main'] = param_websites.get("urlMain")
  462. # username = param_websites.get("usernameON")
  463. # Пользовательский user-agent браузера (рандомно на каждый сайт), а при сбое — постоянный с расширенным заголовком.
  464. majR = random.choice(range(101, 124, 1))
  465. RandHead=([f'{{"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) ' + \
  466. f'Chrome/{majR}.0.0.0 Safari/537.36"}}',
  467. f'{{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' + \
  468. f'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/{majR}.0.0.0 Safari/537.36"}}'])
  469. headers = json.loads(random.choice(RandHead))
  470. # Переопределить/добавить любые дополнительные заголовки необходимые для сайта из БД, или задать U-A из CLI.
  471. if header_custom is not None:
  472. headers.update({"User-Agent": ''.join(header_custom)})
  473. elif "headers" in param_websites:
  474. headers.update(param_websites["headers"])
  475. # console.print(headers, websites_names) #проверка u-агентов
  476. # Пропуск временно-отключенного сайта, не делать запрос если имя пользователя не подходит для сайта.
  477. exclusionYES = param_websites.get("exclusion")
  478. if exclusionYES and re.search(exclusionYES, username) or param_websites.get("bad_site") == 1:
  479. if exclusionYES and re.search(exclusionYES, username) and not print_found_only and not norm:
  480. lst_invalid.append(print_invalid(websites_names, f"#недопустимый ник '{nick}' для данного сайта", color))
  481. results_site["exists"] = "invalid_nick"
  482. results_site["url_user"] = '*' * 56
  483. results_site['countryCSV'] = "****"
  484. results_site['http_status'] = '*' * 10
  485. results_site['session_size'] = ""
  486. results_site['check_time_ms'] = '*' * 15
  487. results_site['response_time_ms'] = '*' * 15
  488. results_site['response_time_site_ms'] = '*' * 25
  489. if param_websites.get("bad_site") == 1 and verbose and not print_found_only and not norm:
  490. lst_invalid.append(print_invalid(websites_names, f"*ПРОПУСК. DYNAMIC GRAY_LIST", color))
  491. if param_websites.get("bad_site") == 1:
  492. dic_binding.get("badraw").append(websites_names)
  493. results_site["exists"] = "gray_list"
  494. else:
  495. # URL пользователя на сайте (если он существует).
  496. url = param_websites["url"].format(username)
  497. results_site["url_user"] = url
  498. url_API = param_websites.get("urlProbe")
  499. # Использование api/nickname.
  500. url_API = url if url_API is None else url_API.format(username)
  501. # Повторы.
  502. connect = 1 if param_websites.get("country_klas") == "UA" else 2
  503. # Если нужен только статус кода, не загружать тело страницы, экономия памяти, и многие сайты с защитой предпочитают Head.
  504. if param_websites["errorTypе"] != 'status_code' or reports:
  505. method = "get"
  506. else:
  507. method = "head"
  508. # Сайт перенаправляет запрос.
  509. # Запретить перенаправление чтобы захватить статус кода из первоначального url.
  510. if param_websites["errorTypе"] == "response_url" or param_websites["errorTypе"] == "redirection":
  511. allow_redirects = False
  512. # Разрешить любой редирект, который хочет сделать сайт и захватить тело и статус ответа.
  513. else:
  514. allow_redirects = True
  515. # Дергаем объект сессии не по прямому назначению, спасаем CPU/Windows/Многопоточность на длинной дистанции.
  516. # Кроме того SSL замариновать при multiprocessing.
  517. # Отправить параллельно все запросы и сохранить future для последующего доступа.
  518. try:
  519. future_ = executor1.submit(r_session, cert=cert, speed=speed, norm=norm, connect=connect, method=method,
  520. url=url_API, headers=headers, allow_redirects=allow_redirects, timeout=timeout)
  521. if norm: #quick режим
  522. BDdemo_new_quick.update({future_:{websites_names:param_websites}})
  523. else: #последовательный режим
  524. param_websites["request_future"] = future_
  525. except Exception:
  526. continue
  527. # Добавлять во вложенный словарь future со всеми другими результатами.
  528. dic_snoop_full[websites_names] = results_site
  529. # Вывести на печать invalid_data.
  530. if bool(lst_invalid) is True:
  531. print("".join(lst_invalid))
  532. ## Прогресс_описание.
  533. if not verbose:
  534. refresh = False
  535. refresh_per_second = 4.0 if "demo" in VERSION else (2.0 if not WINDOWS else 1.0)
  536. if not WINDOWS:
  537. spin_emoj = 'arrow3' if norm else random.choice(["dots", "dots12"])
  538. progress = Progress(TimeElapsedColumn(), SpinnerColumn(spinner_name=spin_emoj),
  539. "[progress.percentage]{task.percentage:>1.0f}%", BarColumn(bar_width=None, complete_style='cyan',
  540. finished_style='cyan bold'), refresh_per_second=refresh_per_second)
  541. else:
  542. progress = Progress(TimeElapsedColumn(), "[progress.percentage]{task.percentage:>1.0f}%", BarColumn(bar_width=None,
  543. complete_style='cyan', finished_style='cyan bold'), refresh_per_second=refresh_per_second)
  544. else:
  545. refresh = True
  546. progress = Progress(TimeElapsedColumn(), "[progress.percentage]{task.percentage:>1.0f}%", auto_refresh=False)
  547. ## Панель вербализации.
  548. if not ANDROID:
  549. if color:
  550. console.print(Panel("[yellow]время[/yellow] | [magenta]выпол.[/magenta] | [bold cyan]отклик (t=s)[/bold cyan] " + \
  551. "| [bold red]общ.[bold cyan]время (T=s)[/bold cyan][/bold red] | " + \
  552. "[bold cyan]разм.данных[/bold cyan] | [bold cyan]дост.память[/bold cyan]",
  553. title="Обозначение", style=STL(color="cyan")))
  554. else:
  555. console.print(Panel("отклик сайта (t=s) | общ.время (T=s) | разм.данных | дост.память", title="Обозначение"))
  556. else:
  557. if color:
  558. console.print(Panel("[yellow]time[/yellow] | [magenta]perc.[/magenta] | [bold cyan]response (t=s)[/bold cyan] " + \
  559. "| [bold red]total [bold cyan]time (T=s)[/bold cyan][/bold red] | [bold cyan]data [/bold cyan]" + \
  560. "| [bold cyan]avail.ram[/bold cyan]",
  561. title="Designation", style=STL(color="cyan")))
  562. else:
  563. console.print(Panel("time | perc. | response (t=s) | total time (T=s) | data | avail.ram", title="Designation"))
  564. ## Пройтись по массиву future и получить результаты.
  565. li_time = [0]
  566. with progress:
  567. if color is True:
  568. task0 = progress.add_task("", total=len(BDdemo_new_quick)) if norm else progress.add_task("", total=len(BDdemo_new))
  569. iterator_future = iter(as_completed(BDdemo_new_quick)) if norm else iter(BDdemo_new.items())
  570. for future in iterator_future:
  571. if norm:
  572. websites_names = [*BDdemo_new_quick.get(future).keys()][0]
  573. param_websites = [*BDdemo_new_quick.get(future).values()][0]
  574. else:
  575. websites_names = future[0]
  576. param_websites = future[1]
  577. if color is True:
  578. progress.update(task0, advance=1, refresh=refresh) #progress.refresh()
  579. # Пропустить запрещенный никнейм или пропуск сайта из gray-list.
  580. if dic_snoop_full.get(websites_names).get("exists") is not None:
  581. continue
  582. # Получить метаинформацию сайта, снова.
  583. url = dic_snoop_full.get(websites_names).get("url_user")
  584. country_emojis = dic_snoop_full.get(websites_names).get("flagcountry")
  585. country_code = dic_snoop_full.get(websites_names).get("flagcountryklas")
  586. country_Emoj_Code = country_emojis if not WINDOWS else country_code
  587. # Получить ожидаемый тип данных 4-х методов.
  588. error_type = param_websites["errorTypе"]
  589. # Результат ответа от сервера.
  590. request_future = future if norm else param_websites["request_future"]
  591. r, error_type, response_time = r_results(request_future=request_future, norm=norm,
  592. error_type=error_type, websites_names=websites_names,
  593. print_found_only=print_found_only, verbose=verbose,
  594. color=color, timeout=timeout, country_code=f" ~{country_code}")
  595. # Повторный запрос на сбойное соединение результативнее, чем через Adapter.
  596. if norm is False and r == "FakeNone":
  597. head_duble = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  598. 'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
  599. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' + \
  600. 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'}
  601. for num, _ in enumerate(range(3), 1):
  602. dic_binding.update({'censors': dic_binding.get('censors') - 1})
  603. if num > 2:
  604. head_duble = ""
  605. r_retry = executor2.submit(r_session, url=url, headers=head_duble,
  606. allow_redirects=allow_redirects, timeout=4)
  607. if color is True and print_found_only is False:
  608. print(f"{Style.RESET_ALL}{Fore.CYAN}[{Style.BRIGHT}{Fore.RED}-{Style.RESET_ALL}{Fore.CYAN}]" \
  609. f"{Style.DIM}{Fore.GREEN} ┌──└──повторное соединение{Style.RESET_ALL}")
  610. else:
  611. if print_found_only is False:
  612. print(" ┌──└──повторное соединение")
  613. r, error_type, response_time = r_results(request_future=r_retry, error_type=param_websites.get("errorTypе"),
  614. websites_names=websites_names, print_found_only=print_found_only,
  615. verbose=verbose, color=color, timeout=4.5,
  616. country_code=f" ~{country_code}")
  617. if r != "FakeNone":
  618. break
  619. del r_retry
  620. # Сбор сбойной локации bad_zone.
  621. if r == None or r == "FakeNone" or r == "FakeStuck":
  622. dic_binding.get("badzone").append(country_code)
  623. ## Проверка, 4 методов; #1.
  624. # Автодетектирование кодировки при устаревшей специфике либы requests/ISO-8859-1, или ее смена вручную через БД.
  625. try:
  626. if r is not None and r != "FakeNone" and r != "FakeStuck":
  627. if r.content and r.encoding == 'ISO-8859-1': #ловушка (if r is not None ≠ if r)
  628. r.encoding = char_detect(r.content).get("encoding")
  629. if r.encoding is None: r.encoding = "utf-8"
  630. elif r.content and r.encoding != 'ISO-8859-1' and r.encoding.lower() != 'utf-8':
  631. if r.encoding == "cp-1251": r.encoding = "cp1251"
  632. elif r.encoding == "cp-1252": r.encoding = "cp1252"
  633. elif r.encoding == "windows1251": r.encoding = "windows-1251"
  634. elif r.encoding == "windows1252": r.encoding = "windows-1252"
  635. except Exception:
  636. r.encoding = "utf-8"
  637. # Ответы message (разные локации).
  638. if error_type == "message":
  639. try:
  640. if param_websites.get("encoding") is not None:
  641. r.encoding = param_websites.get("encoding")
  642. except Exception:
  643. console.log(snoopbanner.err_all(err_="high"))
  644. error = param_websites.get("errorMsg")
  645. error2 = param_websites.get("errоrMsg2")
  646. error3 = param_websites.get("errorMsg3") if param_websites.get("errorMsg3") is not None else "FakeNoneNoneNone"
  647. if param_websites.get("errorMsg2"):
  648. sys.exit()
  649. try:
  650. if r.status_code > 200 and param_websites.get("ignore_status_code") is None \
  651. or error in r.text or error2 in r.text or error3 in r.text:
  652. if not print_found_only and not norm:
  653. print_not_found(websites_names, verbose, color)
  654. exists = "увы"
  655. else:
  656. if not norm:
  657. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  658. exists = "найден!"
  659. if reports:
  660. sreports(url, headers, error_type, username, websites_names, r)
  661. except UnicodeEncodeError:
  662. exists = "увы"
  663. ## Проверка, 4 методов; #2.
  664. # Проверка username при статусе 301 и 303 (перенаправление и соль).
  665. elif error_type == "redirection":
  666. if r.status_code == 301 or r.status_code == 303:
  667. if not norm:
  668. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  669. exists = "найден!"
  670. if reports:
  671. session_size = sreports(url, headers, error_type, username, websites_names, r)
  672. else:
  673. if not print_found_only and not norm:
  674. print_not_found(websites_names, verbose, color)
  675. session_size = len(str(r.content))
  676. exists = "увы"
  677. ## Проверка, 4 методов; #3.
  678. # Проверяет, является ли код состояния ответа 2..
  679. elif error_type == "status_code":
  680. if not r.status_code >= 300 or r.status_code < 200:
  681. if not norm:
  682. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  683. if reports:
  684. sreports(url, headers, error_type, username, websites_names, r)
  685. exists = "найден!"
  686. else:
  687. if not print_found_only and not norm:
  688. print_not_found(websites_names, verbose, color)
  689. exists = "увы"
  690. ## Проверка, 4 методов; #4.
  691. # Перенаправление.
  692. elif error_type == "response_url":
  693. if 200 <= r.status_code < 300:
  694. if not norm:
  695. print_found_country(websites_names, url, country_Emoj_Code, verbose, color)
  696. if reports:
  697. sreports(url, headers, error_type, username, websites_names, r)
  698. exists = "найден!"
  699. else:
  700. if not print_found_only and not norm:
  701. print_not_found(websites_names, verbose, color)
  702. exists = "увы"
  703. ## Если все 4 метода не сработали, например, из-за ошибки доступа (красный) или из-за неизвестной ошибки.
  704. else:
  705. exists = "блок"
  706. ## Попытка получить информацию из запроса, пишем в csv.
  707. try:
  708. http_status = r.status_code
  709. except Exception:
  710. http_status = "сбой" if r != "FakeStuck" else "завис"
  711. try: #сессия в КБ
  712. if reports is True:
  713. session_size = session_size if error_type == 'redirection' else len(str(r.content))
  714. else:
  715. session_size = len(str(r.content))
  716. if session_size >= 555:
  717. session_size = round(session_size / 1024)
  718. elif session_size < 555:
  719. session_size = round((session_size / 1024), 2)
  720. except Exception:
  721. session_size = "Err"
  722. ## Считать тайминги с приемлемой точностью.
  723. # Реакция.
  724. ello_time = round(float(time.time() - TIME_START), 2) #текущее
  725. li_time.append(ello_time)
  726. dif_time = round(li_time[-1] - li_time[-2], 2) #разница
  727. ## Опция '-v'.
  728. if verbose is True:
  729. ram_free = mem_test()
  730. ram_free_color = "[cyan]" if ram_free > 100 else "[red]"
  731. R = "[red]" if dif_time > 2.7 and dif_time != ello_time else "[cyan]" #задержка в общем времени, цвет
  732. R1 = "bold red" if dif_time > 2.7 and dif_time != ello_time else "bold blue"
  733. if session_size == 0 or session_size is None:
  734. Ssession_size = "Head"
  735. elif session_size == "Err":
  736. Ssession_size = "Нет"
  737. else:
  738. Ssession_size = str(session_size) + " Kb"
  739. if color is True:
  740. console.print(f"[cyan] [*{response_time} s] {R}[*{ello_time} s] [cyan][*{Ssession_size}]",
  741. f"{ram_free_color}[*{ram_free} Мб]")
  742. console.rule("", style=R1)
  743. else:
  744. console.print(f" [*{response_time} s T] >>", f"[*{ello_time} s t]", f"[*{Ssession_size}]",
  745. f"[*{ram_free} Мб]", highlight=False)
  746. console.rule(style="color")
  747. ## Служебная информация/CSV, обновление словаря с финальными результатами.
  748. if dif_time > 2.7 and dif_time != ello_time:
  749. dic_snoop_full.get(websites_names)['response_time_site_ms'] = str(dif_time)
  750. else:
  751. dic_snoop_full.get(websites_names)['response_time_site_ms'] = "нет"
  752. dic_snoop_full.get(websites_names)['exists'] = exists
  753. dic_snoop_full.get(websites_names)['session_size'] = session_size
  754. dic_snoop_full.get(websites_names)['countryCSV'] = country_code
  755. dic_snoop_full.get(websites_names)['http_status'] = http_status
  756. dic_snoop_full.get(websites_names)['check_time_ms'] = response_time
  757. dic_snoop_full.get(websites_names)['response_time_ms'] = str(ello_time)
  758. # Добавление результатов этого сайта в окончательный словарь со всеми другими результатами.
  759. dic_snoop_full[websites_names] = dic_snoop_full.get(websites_names)
  760. # не удерживать ресурсы соединения с сервером; предотвратить утечку памяти: del future.
  761. if norm:
  762. BDdemo_new_quick.pop(future, None)
  763. else:
  764. param_websites.pop("request_future", None)
  765. # Высвободить незначительную часть ресурсов.
  766. try:
  767. if 'executor2' in locals():
  768. executor2.shutdown()
  769. except Exception:
  770. console.log(snoopbanner.err_all(err_="low"))
  771. # Вернуть словарь со всеми данными на запрос функции snoop и пробросить удерживаемые ресурсы (позже, закрыть в фоне).
  772. return dic_snoop_full, executor1, nick
  773. ## Опция '-t'.
  774. def set_timeout(value):
  775. try:
  776. timeout = int(value)
  777. except Exception:
  778. raise argparse.ArgumentTypeError(f"\n\033[31;1mTimeout '{value}' Err,\033[0m \033[36m" + \
  779. f"укажите время целым числом в секундах.\n \033[0m")
  780. if timeout <= 0:
  781. raise argparse.ArgumentTypeError(f"\n\033[31;1mTimeout '{value}' Err,\033[0m \033[36m" + \
  782. f"укажите время > 0 sec.\n \033[0m")
  783. return timeout
  784. ## Опция '-p'.
  785. def speed_snoop(speed):
  786. try:
  787. speed = int(speed)
  788. if WINDOWS and (speed <= 0 or speed > 60):
  789. raise Exception("")
  790. elif speed <= 0 or speed > 300:
  791. raise Exception("")
  792. return speed
  793. except Exception:
  794. if not WINDOWS:
  795. raise argparse.ArgumentTypeError(f"\n\033[31;1mMax. workers proc = '{speed}' Err,\033[0m" + \
  796. " \033[36m рабочий диапазон от '1' до '300' целым числом.\n \033[0m")
  797. else:
  798. snoopbanner.logo(text=format_txt(f" ! Задана слишком высокая многопоточноть: '{speed} поток' не имеет смысла, " + \
  799. f"уменьшите значение '--pool/-p <= 60'. Обратите внимание, что, например, " + \
  800. f"в OS GNU/Linux используется иная технология, которую имеет смысл разгонять.",
  801. k=True, m=True) + "\n\n", exit=False)
  802. sys.exit()
  803. ## Обновление исходного кода Snoop Project.
  804. def update_snoop():
  805. print("""
  806. \033[36mВы действительно хотите:
  807. __ _
  808. ._ _| _._|_ _ (_ ._ _ _ ._ )
  809. |_||_)(_|(_| |_(/_ __)| |(_)(_)|_) o
  810. | | \033[0m""")
  811. while True:
  812. print("\033[36mВыберите действие:\033[0m [y/n] ", end='')
  813. upd = input()
  814. if upd == "y" or upd == "Y":
  815. print("\033[36mПримечание: функция обновления Snoop работает при помощи утилиты < Git >\033[0m")
  816. os.startfile("update.bat") if WINDOWS else os.system("./update.sh")
  817. break
  818. elif upd == "n" or upd == "N":
  819. print(Style.BRIGHT + Fore.RED + "\nОбновление отклонено\nВыход")
  820. break
  821. else:
  822. print(Style.BRIGHT + Fore.RED + format_txt("{0}└──False, [Y/N] ?", k=True, m=True).format(' ' * 25))
  823. sys.exit()
  824. ## Удаление отчетов.
  825. def autoclean():
  826. print("""
  827. \033[36mВы действительно хотите:\033[0m \033[31;1m
  828. _ _
  829. _| _ | _.|| |_) _ ._ _ .-_|_ )
  830. (_|(/_| (_||| | \(/_|_)(_)| |_ o
  831. | \033[0m""")
  832. while True:
  833. print("\033[36mВыберите действие:\033[0m [y/n] ", end='')
  834. del_all = input()
  835. if del_all == "y" or del_all == "Y":
  836. try:
  837. # Определение директорий.
  838. path_build_del = "/results" if not WINDOWS else "\\results"
  839. if 'source' in VERSION and not ANDROID:
  840. rm = DIRPATH + path_build_del
  841. reports = rm
  842. else:
  843. rm = DIRPATH
  844. reports = rm + path_build_del
  845. # Подсчет файлов и размера удаляемого каталога 'results'.
  846. total_size = 0
  847. delfiles = []
  848. for total_file in glob.iglob(reports + '/**/*', recursive=True):
  849. total_size += os.path.getsize(total_file)
  850. if os.path.isfile(total_file): delfiles.append(total_file)
  851. # Сброс кэша и удаление каталога 'results'.
  852. shutil.rmtree(rm, ignore_errors=True)
  853. print(f"\n\033[31;1mdeleted --> '{rm}'\033[0m\033[36m {len(delfiles)} files, " + \
  854. f"{round(total_size/1024/1024, 2)} Mb\033[0m")
  855. except Exception:
  856. console.log("[red]Ошибка")
  857. break
  858. elif del_all == "n" or del_all == "N":
  859. print(Style.BRIGHT + Fore.RED + "\nОтмена действия\nВыход")
  860. break
  861. else:
  862. print(Style.BRIGHT + Fore.RED + format_txt("{0}└──False, [Y/N] ?", k=True, m=True).format(' ' * 25))
  863. sys.exit()
  864. ## Лицензия/системная информация.
  865. def license_snoop():
  866. with open('COPYRIGHT', 'r', encoding="utf8") as copyright:
  867. wl = 4
  868. if WINDOWS:
  869. wl = 5 if int(platform.win32_ver()[0]) < 10 else 4
  870. cop = copyright.read().replace("\ufeffSnoop", "Snoop", 1)
  871. cop = cop.replace('=' * 80, "~" * (os.get_terminal_size()[0] - wl)).strip()
  872. console.print(Panel(cop, title='[bold white]COPYRIGHT[/bold white]', style=STL(color="white", bgcolor="blue")))
  873. if not ANDROID:
  874. cpu = 2 if psutil.cpu_count(logical=False) == None else psutil.cpu_count(logical=False)
  875. pool_ = str(cpu * 7 if WINDOWS else (os.cpu_count() * 40)) + \
  876. f" {'threads (~600_Mb_Ram = 50_Threads = 5_Mbit/s)' if WINDOWS else 'process (~1.2_Gb_Ram = 100_Process = 10_Mbit/s)'}"
  877. if WINDOWS and 'full' in VERSION:
  878. ram_av = 800
  879. elif WINDOWS and 'demo' in VERSION:
  880. ram_av = 500
  881. if LINUX and 'full' in VERSION:
  882. ram_av = 4000 if os.cpu_count() > 4 else 1100
  883. elif LINUX and 'demo' in VERSION:
  884. ram_av = 950
  885. try:
  886. ram = int(psutil.virtual_memory().total / 1024 / 1024)
  887. ram_free = int(psutil.virtual_memory().available / 1024 / 1024)
  888. if ram_free < ram_av:
  889. A, B = "[bold red]", "[/bold red]"
  890. else:
  891. A, B = "[dim cyan]", "[/dim cyan]"
  892. os_ver = platform.platform(aliased=True, terse=0)
  893. threadS = f"thread(s) per core: [dim cyan]{int(psutil.cpu_count() / psutil.cpu_count(logical=False))}[/dim cyan]"
  894. except Exception:
  895. console.print(f"\n[bold red]Используемая версия Snoop: '{VERSION}' разработана для платформы Android, " + \
  896. f"но кажется используется что-то другое 💻\n\nВыход")
  897. sys.exit()
  898. elif ANDROID:
  899. pool_ = str(os.cpu_count() * 3) + f" process, (~300_Mb_Ram = 25_Process = 4_Mbit/s)"
  900. try:
  901. ram = subprocess.check_output("free -m", shell=True, text=True).splitlines()[1].split()[1]
  902. ram_free = int(subprocess.check_output("free -m", shell=True, text=True).splitlines()[1].split()[-1])
  903. if ram_free <= 200:
  904. A, B = "[bold red]", "[/bold red]"
  905. else:
  906. A, B = "[dim cyan]", "[/dim cyan]"
  907. os_ver = 'Android ' + subprocess.check_output("getprop ro.build.version.release", shell=True, text=True).strip()
  908. threadS = f'model: [dim cyan]{subprocess.check_output("getprop ro.product.cpu.abi", shell=True, text=True).strip()}' + \
  909. f'[/dim cyan]'
  910. T_v = dict(os.environ).get("TERMUX_VERSION")
  911. except Exception:
  912. T_v, ram_free, os_ver, threadS, A, B = "Not Termux?!", "?", "?", "?", "[bold red]", "[/bold red]"
  913. ram = "pkg install procps |"
  914. termux = f"\nTermux: [dim cyan]{T_v}[/dim cyan]\n" if ANDROID else "\n"
  915. light_v = True if not 'snoopplugins' in globals() else False
  916. if PYTHON_3_8_PLUS:
  917. colorama_v = f", (colorama::{version_lib('colorama')})"
  918. rich_v = f", (rich::{version_lib('rich')})"
  919. urllib3_v = f", (urllib3::{version_lib('urllib3')})"
  920. psutil_v = f", (psutil::{version_lib('psutil')})"
  921. char_v = f", (charset_normalizer::{version_lib('charset_normalizer')})"
  922. else:
  923. urllib3_v = ""
  924. colorama_v = ""
  925. rich_v = ""
  926. psutil_v = ""
  927. char_v = ""
  928. console.print('\n', Panel(f"Program: [blue bold]{'light ' if light_v else ''}[/blue bold][dim cyan]{VERSION}" + \
  929. f"{str(platform.architecture(executable=sys.executable, bits='', linkage=''))}[/dim cyan]\n" + \
  930. f"OS: [dim cyan]{os_ver}[/dim cyan]" + termux + \
  931. f"Locale: [dim cyan]{locale.setlocale(locale.LC_ALL)}[/dim cyan]\n" + \
  932. f"Python: [dim cyan]{platform.python_version()}[/dim cyan]\n" + \
  933. f"Key libraries: [dim cyan](requests::{requests.__version__}), (certifi::{certifi.__version__}), " + \
  934. f"(speedtest::{snoopnetworktest.speedtest.__version__}){rich_v}{psutil_v}" + \
  935. f"{colorama_v}{urllib3_v}{char_v}[/dim cyan]\n" + \
  936. f"CPU(s): [dim cyan]{os.cpu_count()},[/dim cyan] {threadS}\n" + \
  937. f"Ram: [dim cyan]{ram} Мб,[/dim cyan] available: {A}{ram_free} Мб{B}\n" + \
  938. f"Recommended pool: [dim cyan]{pool_}[/dim cyan]",
  939. title='[bold cyan]snoop info[/bold cyan]', style=STL(color="cyan")))
  940. sys.exit()
  941. ## ОСНОВА.
  942. def main_cli():
  943. web_path_copy()
  944. date_off = license()
  945. BDdemo = snoopbanner.DB('BDdemo')
  946. BDflag = snoopbanner.DB('BDflag')
  947. flagBS = len(BDdemo)
  948. web_sites = f"{len(BDflag) // 100}00+"
  949. # Назначение опций Snoop.
  950. parser = argparse.ArgumentParser(formatter_class=argparse.RawDescriptionHelpFormatter,
  951. usage="python3 snoop.py [search arguments...] nickname\nor\n" + \
  952. "usage: python3 snoop.py [service arguments | plugins arguments]\n",
  953. description=f"{Fore.CYAN}\nСправка{Style.RESET_ALL}",
  954. epilog=(f"{Fore.CYAN}Snoop {Style.BRIGHT}{Fore.RED}demo version {Style.RESET_ALL}" + \
  955. f"{Fore.CYAN}поддержка: \033[31;1m{flagBS}\033[0m \033[36mWebsites!\n{Fore.CYAN}" + \
  956. f"Snoop \033[36;1mfull version\033[0m \033[36mподдержка: " + \
  957. f"\033[36;1m{web_sites} \033[0m\033[36mWebsites!!!\033[0m\n\n"))
  958. # Service arguments.
  959. service_group = parser.add_argument_group('\033[36mservice arguments\033[0m')
  960. service_group.add_argument("--version", "-V", action="store_true",
  961. help="\033[36mA\033[0mbout: вывод на печать версии ПО, snoop info и Лицензии")
  962. service_group.add_argument("--list-all", "-l", action="store_true", dest="listing",
  963. help="\033[36mВ\033[0mывести на печать детальную информацию о базе данных Snoop")
  964. service_group.add_argument("--donate", "-d", action="store_true", dest="donation",
  965. help="\033[36mП\033[0mожертвовать на развитие Snoop Project-а, получить/приобрести \
  966. \033[32;1mSnoop full version\033[0m")
  967. service_group.add_argument("--autoclean", "-a", action="store_true", dest="autoclean", default=False,
  968. help="\033[36mУ\033[0mдалить все отчеты, очистить кэш")
  969. service_group.add_argument("--update", "-U", action="store_true", dest="update",
  970. help="\033[36mО\033[0mбновить Snoop")
  971. # Plugins arguments.
  972. plugins_group = parser.add_argument_group('\033[36mplugins arguments\033[0m')
  973. plugins_group.add_argument("--module", "-m", action="store_true", dest="module", default=False,
  974. help="\033[36mO\033[0mSINT поиск: задействовать различные плагины Snoop:: IP/GEO/YANDEX")
  975. # Search arguments.
  976. search_group = parser.add_argument_group('\033[36msearch arguments\033[0m')
  977. search_group.add_argument("username", nargs='*', metavar='nickname', action="store", default=None,
  978. help="\033[36mН\033[0mикнейм разыскиваемого пользователя. \
  979. Поддерживается поиск одновременно нескольких имен.\
  980. Ник, содержащий в своем имени пробел, заключается в кавычки")
  981. search_group.add_argument("--base", "-b <file>", dest="json_file", default="BDdemo", metavar='',
  982. help=argparse.SUPPRESS if "demo" in VERSION else "\033[36mУ\033[0mказать для поиска 'nickname' \
  983. другую БД (Локально)")
  984. search_group.add_argument("--web-base", "-w", action="store_true", dest="web", default=False,
  985. help=f"\033[36mП\033[0mодключиться для поиска 'nickname' к динамично-обновляемой web_БД \
  986. ({web_sites} сайтов)")
  987. search_group.add_argument("--site", "-s <site_name>", action="append", metavar='', dest="site_list", default=None,
  988. help="\033[36mУ\033[0mказать имя сайта из БД '--list-all'. Поиск 'nickname' на одном указанном ресурсе, \
  989. допустимо использовать опцию '-s' несколько раз")
  990. search_group.add_argument("--exclude", "-e <country_code>", action="append", metavar='', dest="exclude_country", default=None,
  991. help="\033[36mИ\033[0mсключить из поиска выбранный регион, допустимо использовать опцию '-e' \
  992. несколько раз, например, '-e RU -e WR' исключить из поиска Россию и Мир")
  993. search_group.add_argument("--include", "-i <country_code>", action="append", metavar='', dest="one_level", default=None,
  994. help="\033[36mВ\033[0mключить в поиск только выбранный регион, \
  995. допустимо использовать опцию '-i' несколько раз, например, '-i US -i UA' поиск по США и Украине")
  996. search_group.add_argument("--time-out", "-t <digit>", action="store", metavar='', dest="timeout", type=set_timeout, default=8.9,
  997. help="\033[36mУ\033[0mстановить max время ожидания ответа от сервера (секунды).\n"
  998. "Влияет на продолжительность поиска и 'timeout ошибки', по умолчанию задано 9 сек")
  999. search_group.add_argument("--country-sort", "-c", action="store_true", dest="country", default=False,
  1000. help="\033[36mП\033[0mечать и запись результатов по странам, а не по алфавиту")
  1001. search_group.add_argument("--no-func", "-n", action="store_true", dest="no_func", default=False,
  1002. help="\033[36m✓\033[0mМонохромный терминал, не использовать цвета в url \
  1003. ✓Запретить открытие web browser-а\
  1004. ✓Отключить вывод на печать флагов стран\
  1005. ✓Отключить индикацию и статус прогресса")
  1006. search_group.add_argument("--found-print", "-f", action="store_true", dest="print_found_only", default=False,
  1007. help="\033[36mВ\033[0mыводить на печать только найденные аккаунты")
  1008. search_group.add_argument("--verbose", "-v", action="store_true", dest="verbose", default=False,
  1009. help="\033[36mВ\033[0mо время поиска 'nickname' выводить на печать подробную вербализацию")
  1010. search_group.add_argument("--userlist", "-u <file>", metavar='', action="store", dest="user", default=False,
  1011. help="\033[36mУ\033[0mказать файл со списком user-ов. Snoop интеллектуально обработает \
  1012. данные и предоставит доп.отчеты")
  1013. search_group.add_argument("--save-page", "-S", action="store_true", dest="reports", default=False,
  1014. help="\033[36mС\033[0mохранять найденные странички пользователей в локальные html-файлы,\
  1015. медленный режим")
  1016. search_group.add_argument("--cert-on", "-C", default=False, action="store_true", dest="cert",
  1017. help=argparse.SUPPRESS)
  1018. search_group.add_argument("--headers", "-H <User-Agent>", metavar='', dest="header_custom", nargs=1, default=None,
  1019. help=argparse.SUPPRESS)
  1020. _val = "60 макс. рабочих потоков." if WINDOWS else "300 макс. процессов."
  1021. search_group.add_argument("--pool", "-p <digit>", metavar='', dest="speed", type=speed_snoop, default=False,
  1022. help=
  1023. f"""
  1024. \033[36mО\033[0mтключить автооптимизацию и задать вручную скорость поиска от 1 до {_val}
  1025. По умолчанию используется высокая нагрузка на ресурсы ЭВМ в Quick-режиме, в остальных режимах
  1026. используется умеренное потребление мощностей. Слишком низкое или высокое значение может существенно
  1027. замедлить работу ПО. ~Расчетное оптимальное значение для данного устройства выводится в 'snoop info',
  1028. параметр 'Recommended pool', опция [--version/-V]. Данную опцию предлагается задействовать
  1029. 1) если пользователь имеет многоядерную ЭВМ и запас ОЗУ или наоборот слабую, арендованную VPS
  1030. 2) ускорять, замедлять поиск рекомендуется в тандеме с опцией [--found-print/-f']
  1031. """)
  1032. search_group.add_argument("--quick", "-q", action="store_true", dest="norm", default=False,
  1033. help=
  1034. """
  1035. \033[36mБ\033[0mыстрый и агрессивный режим поиска.
  1036. Не обрабатывает повторно сбойные ресурсы, вследствие чего ускоряется поиск,
  1037. но и немного повышается Bad_raw. Quick-режим подстраивается под мощность ПК,
  1038. не выводит промежуточные результаты на печать,
  1039. эффективен и предназначен для Snoop full version
  1040. """)
  1041. args = parser.parse_args()
  1042. dic_binding.get("options_speed").extend([args.norm, args.speed, args.one_level, args.site_list])
  1043. ## Опции '-csei' несовместимы между собой и quick-режим.
  1044. if args.norm and 'full' in VERSION:
  1045. print(Fore.CYAN + format_txt("активирована опция '-q': «быстрый режим поиска»", k=True))
  1046. args.version, args.listing, args.donation, args.timeout = False, False, False, 8
  1047. args.update, args.module, args.autoclean = False, False, False
  1048. options = []
  1049. options.extend([args.site_list, args.country, args.verbose, args.print_found_only,
  1050. args.no_func, args.reports, args.cert, args.header_custom, args.speed])
  1051. if any(options) or args.timeout != 8:
  1052. snoopbanner.logo(text=format_txt("⛔️ с quick-режимом ['-q'] совместимы лишь опции ['-w', '-u', '-e', '-i']",
  1053. k=True, m=True))
  1054. elif args.norm and 'demo' in VERSION:
  1055. snoopbanner.logo("в demo деактивирован переключатель '-q': «режим SNOOPninja/Quick»...",
  1056. color="\033[37m\033[44m", exit=False)
  1057. snoopbanner.donate()
  1058. elif args.norm is False and args.listing is False and args.speed is False and 'full' in VERSION:
  1059. if LINUX:
  1060. print(Fore.CYAN + format_txt("активирован дефолтный поиск '--': «режим SNOOPninja»", k=True))
  1061. k = 0
  1062. for _ in bool(args.site_list), bool(args.country), bool(args.exclude_country), bool(args.one_level):
  1063. if _ is True:
  1064. k += 1
  1065. if k == 2:
  1066. snoopbanner.logo(text=format_txt("⛔️ опции ['-c', '-e' '-i', '-s'] несовместимы между собой", k=True, m=True))
  1067. ## Опция '-p'.
  1068. if args.speed and 'full' in VERSION:
  1069. thread_proc = "потоков" if WINDOWS else "процессов"
  1070. print(Fore.CYAN + format_txt(f"активирована опция '-p': «макс. рабочих {thread_proc} =" + \
  1071. "{0}{1} {2}{3}{4}» {5}".format(Style.BRIGHT, Fore.CYAN, args.speed,
  1072. Style.RESET_ALL, Fore.CYAN,
  1073. Style.RESET_ALL), k=True))
  1074. elif args.speed and 'demo' in VERSION:
  1075. snoopbanner.logo("Функция '-p' настройка ускорения/замедления поиска доступна пользователям Snoop full version...",
  1076. color="\033[37m\033[44m", exit=False)
  1077. snoopbanner.donate()
  1078. ## Опция '-V' не путать с опцией '-v'.
  1079. if args.version:
  1080. license_snoop()
  1081. ## Опция '-a'.
  1082. if args.autoclean:
  1083. print(Fore.CYAN + format_txt("активирована опция '-a': «удаление накопленных отчетов»", k=True))
  1084. autoclean()
  1085. ## Опция '-H'.
  1086. if args.header_custom:
  1087. print(Fore.CYAN + format_txt("активирована скрытая опция '-H': «переопределение user-agent(s)»", k=True), '\n',
  1088. Fore.CYAN + format_txt("User-Agent: '{0}{1}{2}{3}{4}'".format(Style.BRIGHT, Fore.CYAN, ''.join(args.header_custom),
  1089. Style.RESET_ALL, Fore.CYAN)), sep='')
  1090. ## Опция '-m'.
  1091. # Информативный вывод.
  1092. if args.module:
  1093. if not 'snoopplugins' in globals():
  1094. snoopbanner.logo(text=f"\nTHIS IS THE LIGHT VERSION OF SNOOP PROJECT WITH PLUGINS DISABLED\n$ " + \
  1095. f"{os.path.basename(sys.argv[0])} --version/-V")
  1096. sys.exit()
  1097. if 'full' in VERSION:
  1098. with console.status("[cyan] проверка параметров..."):
  1099. meta()
  1100. print(Fore.CYAN + format_txt("активирована опция '-m': «модульный поиск»", k=True))
  1101. def module():
  1102. print(f"\n" + \
  1103. f"\033[36m╭Выберите плагин или действие из списка\033[0m\n" + \
  1104. f"\033[36m├──\033[0m\033[36;1m[1] --> GEO_IP/domain\033[0m\n" + \
  1105. f"\033[36m├──\033[0m\033[36;1m[2] --> Reverse Vgeocoder\033[0m\n" + \
  1106. f"\033[36m├──\033[0m\033[36;1m[3] --> \033[30;1mYandex_parser\033[0m\n" + \
  1107. f"\033[36m├──\033[0m\033[32;1m[help] --> Справка\033[0m\n" + \
  1108. f"\033[36m└──\033[0m\033[31;1m[q] --> Выход\033[0m\n")
  1109. mod = console.input("[cyan]ввод ---> [/cyan]")
  1110. if mod == 'help':
  1111. snoopbanner.help_module_1()
  1112. return module()
  1113. elif mod == '1':
  1114. table = Table(title=Style.BRIGHT + Fore.GREEN + "Выбран плагин" + Style.RESET_ALL, style="green", header_style='green')
  1115. table.add_column("GEO_IP/domain_v0.6", style="green", justify="center")
  1116. table.add_row('Получение информации об ip/domain/url цели или по списку этих данных')
  1117. console.print(table)
  1118. snoopplugins.module1()
  1119. elif mod == '2':
  1120. table = Table(title=Style.BRIGHT + Fore.GREEN + "Выбран плагин" + Style.RESET_ALL, style="green", header_style='green')
  1121. table.add_column("Reverse Vgeocoder_v0.6", style="green", justify="center")
  1122. table.add_row('Визуализация Географических координат')
  1123. console.print(table)
  1124. snoopplugins.module2()
  1125. elif mod == '3':
  1126. table = Table(title=Style.BRIGHT + Fore.GREEN + "Выбран плагин" + Style.RESET_ALL, style="green", header_style='green')
  1127. table.add_column("Yandex_parser_v0.5", style="green", justify="center")
  1128. table.add_row('Яндекс парсер: Я_Отзывы; Я_Кью; Я_Маркет; Я_Музыка; Я_Дзен; Я_Диск; E-mail; Name.')
  1129. console.print(table)
  1130. snoopplugins.module3()
  1131. elif mod == 'q':
  1132. print(Style.BRIGHT + Fore.RED + "└──Выход")
  1133. sys.exit()
  1134. else:
  1135. print(Style.BRIGHT + Fore.RED + "└──Неверный выбор\n" + Style.RESET_ALL)
  1136. return module()
  1137. module()
  1138. sys.exit()
  1139. ## Опции '-f' + "-v".
  1140. if args.verbose is True and args.print_found_only is True:
  1141. snoopbanner.logo(text=format_txt("⛔️ режим подробной вербализации [опция '-v'] отображает детальную информацию " + \
  1142. "[опция '-f'] неуместна", k=True, m=True))
  1143. ## Опция '-С'.
  1144. if args.cert:
  1145. print(Fore.CYAN + format_txt("активирована скрытая опция '-C': «проверка сертификатов на серверах вкл»", k=True))
  1146. ## Опция '-w'.
  1147. if args.web:
  1148. print(Fore.CYAN + format_txt("активирована опция '-w': «подключение к внешней web_database»", k=True))
  1149. ## Опция '-S'.
  1150. if args.reports:
  1151. print(Fore.CYAN + format_txt("активирована опция '-S': «сохранять странички найденных аккаунтов»", k=True))
  1152. ## Опция '-n'.
  1153. if args.no_func:
  1154. print(Fore.CYAN + format_txt("активирована опция '-n': «отключены:: цвета; флаги; браузер; прогресс»", k=True))
  1155. ## Опция '-t'.
  1156. if args.timeout != 8.9 and args.norm is False:
  1157. print(Fore.CYAN + format_txt("активирована опция '-t': ожидание ответа от " + \
  1158. "сайта до{0}{1} {2} {3}{4}с.» {5}".format(Style.BRIGHT, Fore.CYAN, args.timeout,
  1159. Style.RESET_ALL, Fore.CYAN,
  1160. Style.RESET_ALL), k=True))
  1161. ## Опция '-f'.
  1162. if args.print_found_only:
  1163. print(Fore.CYAN + format_txt("активирована опция '-f': «выводить на печать только найденные аккаунты»", k=True))
  1164. ## Опция '-s'.
  1165. if args.site_list:
  1166. print(Fore.CYAN + format_txt(f"активирована опция '-s': «поиск{Style.BRIGHT}{Fore.CYAN} {', '.join(args.username)}" + \
  1167. f"{Style.RESET_ALL} {Fore.CYAN}на выбранных website(s)»", k=True), '\n',
  1168. Fore.CYAN + format_txt("допустимо использовать опцию '-s' несколько раз"), "\n",
  1169. Fore.CYAN + format_txt("[опция '-s'] несовместима с [опциями '-с', '-e', '-i']"), sep="")
  1170. ## Опция '--list-all'.
  1171. if args.listing:
  1172. print(Fore.CYAN + format_txt("активирована опция '-l': «детальная информация о БД Snoop»", k=True))
  1173. print("\033[36m\nСортировать БД Snoop по странам, по имени сайта или обобщенно ?\n" + \
  1174. "по странам —\033[0m 1 \033[36mпо имени —\033[0m 2 \033[36mall —\033[0m 3\n")
  1175. # Общий вывод стран (3!).
  1176. # Вывод для full/demo version.
  1177. def sort_list_all(DB, fore, version, line=False):
  1178. listfull = []
  1179. if sortY == "3":
  1180. if line:
  1181. console.rule("[cyan]Ok, print All Country", style="cyan bold")
  1182. print("")
  1183. li = [DB.get(con).get("country_klas") if WINDOWS else DB.get(con).get("country") for con in DB]
  1184. cnt = str(Counter(li))
  1185. try:
  1186. flag_str_sum = (cnt.split('{')[1]).replace("'", "").replace("}", "").replace(")", "")
  1187. all_ = str(len(DB))
  1188. except Exception:
  1189. flag_str_sum = str("БД повреждена.")
  1190. all_ = "-1"
  1191. table = Table(title=Style.BRIGHT + fore + version + Style.RESET_ALL, header_style='green', style="green")
  1192. table.add_column("Геолокация: Кол-во websites", style="magenta", justify='full')
  1193. table.add_column("All", style="cyan", justify='full')
  1194. table.add_row(flag_str_sum, all_)
  1195. console.print(table)
  1196. # Сортируем по алфавиту для full/demo version (2!).
  1197. elif sortY == "2":
  1198. if line:
  1199. console.rule("[cyan]Ok, сортируем по алфавиту", style="cyan bold")
  1200. if version == "demo version":
  1201. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan", bgcolor="red")))
  1202. else:
  1203. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan")))
  1204. i = 0
  1205. sorted_dict_v_listtuple = sorted(DB.items(), key=lambda x: x[0].lower()) #сорт.слов. по глав.ключу без уч. регистра
  1206. datajson_sort = dict(sorted_dict_v_listtuple) #преобр обратно в словарь (отсортированный)
  1207. for con in datajson_sort:
  1208. S = datajson_sort.get(con).get("country_klas") if WINDOWS else datajson_sort.get(con).get("country")
  1209. i += 1
  1210. listfull.append(f"\033[36;2m{i}.\033[0m \033[36m{S} {con}")
  1211. print("\n~~~~~~~~~~~~~~~~\n".join(listfull), "\n")
  1212. # Сортируем по странам для full/demo version (1!).
  1213. elif sortY == "1":
  1214. listwindows = []
  1215. if line:
  1216. console.rule("[cyan]Ok, сортируем по странам", style="cyan bold")
  1217. for con in DB:
  1218. S = DB.get(con).get("country_klas") if WINDOWS else DB.get(con).get("country")
  1219. listwindows.append(f"{S} {con}\n")
  1220. if version == "demo version":
  1221. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan", bgcolor="red")))
  1222. else:
  1223. console.print('\n', Panel.fit("++База данных++", title=version, style=STL(color="cyan")))
  1224. for i in enumerate(sorted(listwindows, key=str.lower), 1):
  1225. listfull.append(f"\033[36;2m{i[0]}. \033[0m\033[36m{i[1]}")
  1226. print("~~~~~~~~~~~~~~~~\n".join(listfull))
  1227. # Запуск функции '--list-all'.
  1228. while True:
  1229. sortY = console.input("[cyan]Выберите действие: [/cyan]")
  1230. if sortY == "1" or sortY == "2":
  1231. sort_list_all(BDflag, Fore.GREEN, "full version", line=True)
  1232. sort_list_all(BDdemo, Fore.RED, "demo version")
  1233. break
  1234. elif sortY == "3":
  1235. sort_list_all(BDdemo, Fore.RED, "demo version", line=True)
  1236. sort_list_all(BDflag, Fore.GREEN, "full version")
  1237. break
  1238. # Действие не выбрано '--list-all'.
  1239. else:
  1240. print(Style.BRIGHT + Fore.RED + format_txt("{0}└──False, [1/2/3] ?", k=True, m=True).format(' ' * 19))
  1241. sys.exit()
  1242. ## Опция донат '-d'.
  1243. if args.donation:
  1244. print(Fore.CYAN + format_txt("активирована опция '-d': «финансовая поддержка проекта»", k=True))
  1245. snoopbanner.donate()
  1246. ## Опция '-u' указание файла-списка разыскиваемых пользователей.
  1247. if args.user:
  1248. userlists, userlists_bad, duble, _duble, short_user = [], [], [], [], []
  1249. flipped, d = {}, {}
  1250. try:
  1251. patchuserlist = ("{}".format(args.user))
  1252. userfile = os.path.basename(patchuserlist)
  1253. print(Fore.CYAN + format_txt("активирована опция '-u': «розыск nickname(s) из файла:: {0}{1}{2}{3}{4}» {5}",
  1254. k=True).format(Style.BRIGHT, Fore.CYAN, userfile,
  1255. Style.RESET_ALL, Fore.CYAN, Style.RESET_ALL))
  1256. with open(patchuserlist, "r", encoding="utf8") as u1:
  1257. userlist = [(line[0], line[1].strip()) for line in enumerate(u1.read().replace("\ufeff", "").splitlines(), 1)]
  1258. for num, user in userlist:
  1259. i_for = (num, user)
  1260. if re.findall(dic_binding.get("symbol_bad"), user):
  1261. if all(i_for[1] != x[1] for x in userlists_bad):
  1262. userlists_bad.append(i_for)
  1263. else:
  1264. duble.append(i_for)
  1265. continue
  1266. elif user == "":
  1267. continue
  1268. elif len(user) <= 2:
  1269. short_user.append(i_for)
  1270. continue
  1271. else:
  1272. if all(i_for[1] != x[1] for x in userlists):
  1273. userlists.append(i_for)
  1274. else:
  1275. duble.append(i_for)
  1276. except Exception:
  1277. print(f"\n\033[31;1mНе могу найти_прочитать файл: '{userfile}'.\033[0m \033[36m\n " + \
  1278. f"\nПожалуйста, укажите текстовый файл в кодировке —\033[0m \033[36;1mutf-8.\033[0m\n" + \
  1279. f"\033[36mПо умолчанию, например, блокнот в OS Windows сохраняет текст в кодировке — ANSI.\033[0m\n" + \
  1280. f"\033[36mОткройте ваш файл '{userfile}' и измените кодировку [файл ---> сохранить как ---> utf-8].\n" + \
  1281. f"\033[36mИли удалите из файла нечитаемые спецсимволы.")
  1282. sys.exit()
  1283. # good user.
  1284. if userlists:
  1285. _userlists = [f"[dim cyan]{num}.[/dim cyan] {v} [{k}]".replace("", "") for num, (k, v) in enumerate(userlists, 1)]
  1286. console.print(Panel.fit("\n".join(_userlists).replace("%20", " "), title=f"valid ({len(userlists)})",
  1287. style=STL(color="cyan")))
  1288. # duplicate user.
  1289. if duble:
  1290. dict_duble = dict(duble)
  1291. for key, value in dict_duble.items():
  1292. if value not in flipped:
  1293. flipped[value] = [key]
  1294. else:
  1295. flipped[value].append(key)
  1296. for k,v in flipped.items():
  1297. k = f"{k} ({len(v)})"
  1298. d[k] = v
  1299. for num, (k, v) in enumerate(d.items(), 1):
  1300. str_1 = f"[dim yellow]{num}.[/dim yellow] {k} {v}".replace(" (", " ——> ").replace(")", " шт.")
  1301. str_2 = str_1.replace("——> ", "——> [bold yellow]").replace(" шт.", " шт.[/bold yellow]")
  1302. _duble.append(str_2)
  1303. print(f"\n\033[36mследующие nickname(s) из '\033[36;1m{userfile}\033[0m\033[36m' содержат " + \
  1304. f"\033[33mдубли\033[0m\033[36m и будут пропущены:\033[0m")
  1305. console.print(Panel.fit("\n".join(_duble), title=f"duplicate ({len(duble)})", style=STL(color="yellow")))
  1306. # bad user.
  1307. if userlists_bad:
  1308. _userlists_bad = [f"[dim red]{num}.[/dim red] {v} [{k}]" for num, (k, v) in enumerate(userlists_bad, 1)]
  1309. print(f"\n\033[36mследующие nickname(s) из '\033[36;1m{userfile}\033[0m\033[36m' содержат " + \
  1310. f"\033[31;1mN/A-символы\033[0m\033[36m и будут пропущены:\033[0m")
  1311. console.print(Panel.fit("\n".join(_userlists_bad), title=f"invalid_data ({len(userlists_bad)})",
  1312. style=STL(color="bright_red")))
  1313. # Short user.
  1314. if short_user:
  1315. _short_user = [f"[dim red]{num}.[/dim red] {v} [{k}]" for num, (k, v) in enumerate(short_user, 1)]
  1316. print(f"\n\033[36mследующие nickname(s) из '\033[36;1m{userfile}\033[0m\033[36m'\033[0m " + \
  1317. f"\033[31;1mкороче 3-х символов\033[0m\033[36m и будут пропущены:\033[0m")
  1318. console.print(Panel.fit("\n".join(_short_user).replace("%20", " "), title=f"short nickname ({len(short_user)})",
  1319. style=STL(color="bright_red")))
  1320. # Сохранение bad_nickname(s) в отдельном txt файле.
  1321. if short_user or userlists_bad:
  1322. for bad_user1, bad_user2 in itertools.zip_longest(short_user, userlists_bad):
  1323. with open (f"{DIRPATH}/results/nicknames/bad_nicknames.txt", "a", encoding="utf-8") as bad_nick:
  1324. if bad_user1:
  1325. bad_nick.write(f"{time.strftime('%Y-%m-%d_%H:%M:%S', TIME_DATE)} <FILE: {userfile}> '{bad_user1[1]}'\n")
  1326. if bad_user2:
  1327. bad_nick.write(f"{time.strftime('%Y-%m-%d_%H:%M:%S', TIME_DATE)} <FILE: {userfile}> '{bad_user2[1]}'\n")
  1328. USERLIST = [i[1] for i in userlists]
  1329. del userlists, duble, userlists_bad, _duble, short_user, flipped, d
  1330. if bool(USERLIST) is False:
  1331. print("\n", Style.BRIGHT + Fore.RED + format_txt("⛔️ Файл '{0}' не содержит ни одного валидного nickname".format(userfile),
  1332. k=True, m=True), "\n\n\033[31;1mВыход\033[0m\n", sep="")
  1333. sys.exit()
  1334. ## Проверка остальных (в т.ч. повтор) опций.
  1335. ## Опция '--update' обновление Snoop.
  1336. if args.update:
  1337. print(Fore.CYAN + format_txt("активирована опция '-U': «обновление snoop»", k=True))
  1338. update_snoop()
  1339. ## Опция '-w'.
  1340. if args.web:
  1341. print("")
  1342. snoopbanner.logo("Функция '-w' доступна только пользователям Snoop full version...",
  1343. color="\033[37m\033[44m", exit=False)
  1344. snoopbanner.donate()
  1345. ## Работа с базой.
  1346. # опция '-b'. Проверить, существует ли альтернативная база данных, иначе default.
  1347. if not os.path.exists(str(args.json_file)):
  1348. print(f"\n\033[31;1mОшибка! Неверно указан путь к файлу: '{str(args.json_file)}'.\033[0m")
  1349. sys.exit()
  1350. ## Опция '-c'. Сортировка по странам.
  1351. if args.country is True and args.web is False:
  1352. print(Fore.CYAN + format_txt("активирована опция '-c': «сортировка/запись результатов по странам»", k=True))
  1353. country_sites = sorted(BDdemo, key=lambda k: ("country" not in k, BDdemo[k].get("country", sys.maxsize)))
  1354. sort_web_BDdemo_new = {}
  1355. for site in country_sites:
  1356. sort_web_BDdemo_new[site] = BDdemo.get(site)
  1357. ## Функция для опций '-ei'.
  1358. def one_exl(one_exl_, bool_):
  1359. lap = []
  1360. bd_flag = []
  1361. for k, v in BDdemo.items():
  1362. bd_flag.append(v.get('country_klas').lower())
  1363. if all(item.lower() != v.get('country_klas').lower() for item in one_exl_) is bool_:
  1364. BDdemo_new[k] = v
  1365. enter_coun_u = [x.lower() for x in one_exl_]
  1366. lap = list(set(bd_flag) & set(enter_coun_u))
  1367. diff_list = list(set(enter_coun_u) - set(bd_flag)) #вывести уник элем из enter_coun_u иначе set(enter_coun_u)^set(bd_flag)
  1368. if bool(BDdemo_new) is False:
  1369. print('\n', format_txt(f"⛔️ \033[31;1m[{str(diff_list).strip('[]')}] пожалуйста проверьте ввод, " + \
  1370. f"т.к. все указанные регионы для поиска являются невалидными.\033[0m", k=True, m=True), sep='')
  1371. sys.exit()
  1372. # Вернуть корректный и bad списки пользовательского ввода в CLI.
  1373. return lap, diff_list
  1374. ## Если опции '-sei' не указаны, то используем БД, как есть.
  1375. BDdemo_new = {}
  1376. if args.site_list is None and args.exclude_country is None and args.one_level is None:
  1377. BDdemo_new = BDdemo if len(BDdemo) < 404 else sys.exit()
  1378. ## Опция '-s'.
  1379. elif args.site_list is not None:
  1380. # Убедиться, что сайты в базе имеются, создать для проверки сокращенную базу данных сайта(ов).
  1381. for site in args.site_list:
  1382. for site_yes in BDdemo:
  1383. if site.lower() == site_yes.lower():
  1384. BDdemo_new[site_yes] = BDdemo[site_yes] #выбираем в словарь найденные сайты из БД
  1385. try:
  1386. diff_k_bd = set(BDflag) ^ set(BDdemo)
  1387. except Exception:
  1388. snoopbanner.logo(text="\nnickname(s) не задан(ы)")
  1389. for site_yes_full_diff in diff_k_bd:
  1390. if site.lower() == site_yes_full_diff.lower(): #если сайт (-s) в БД Full версии
  1391. print(format_txt("{0}⛔️ пропуск:{2} {3}сайт из БД {4}full-версии{5} {6}недоступен в{7} " + \
  1392. "{8}demo-версии{9}{10}:: '{11}{1}{12}{13}'{14}",
  1393. k=True, m=True).format(Style.BRIGHT + Fore.RED, site_yes_full_diff,
  1394. Style.RESET_ALL, Fore.CYAN, Style.BRIGHT + Fore.CYAN,
  1395. Style.RESET_ALL, Fore.CYAN, Style.RESET_ALL,
  1396. Style.BRIGHT + Fore.YELLOW, Style.RESET_ALL,
  1397. Fore.CYAN, Style.BRIGHT + Fore.BLACK,
  1398. Style.RESET_ALL, Fore.CYAN, Style.RESET_ALL))
  1399. if not any(site.lower() == site_yes_full.lower() for site_yes_full in BDflag): #если ни одного совпадения по сайту
  1400. print(format_txt("{0}⛔️ пропуск:{1} {2}желаемый сайт отсутствует в БД Snoop:: '" + \
  1401. "{3}{4}{5}' {6}", k=True, m=True).format(Style.BRIGHT + Fore.RED, Style.RESET_ALL, Fore.CYAN,
  1402. Style.BRIGHT + Fore.RED, site,
  1403. Style.RESET_ALL + Fore.CYAN, Style.RESET_ALL))
  1404. # Отмена поиска, если нет ни одного совпадения по БД и '-s'.
  1405. if not BDdemo_new:
  1406. sys.exit()
  1407. ## Опция '-e'.
  1408. # Создать для проверки сокращенную базу данных сайта(ов).
  1409. # Создать и добавить в новую БД сайты, аргументы (-e) которых != бук.кодам стран (country_klas).
  1410. elif args.exclude_country is not None:
  1411. lap, diff_list = one_exl(one_exl_=args.exclude_country, bool_=True)
  1412. str_e = "активирована опция '-e': «исключить из поиска выбранные регионы»::" + \
  1413. "{0} {1} {2} {3} {4} {5}".format(Fore.CYAN, str(lap).strip('[]').upper(),
  1414. Style.RESET_ALL, Style.BRIGHT + Fore.RED,
  1415. str(diff_list).strip('[]'), Style.RESET_ALL)
  1416. print(Fore.CYAN + format_txt(str_e, k=True), '\n',
  1417. Fore.CYAN + format_txt("допустимо использовать опцию '-e' несколько раз", m=True), '\n',
  1418. Fore.CYAN + format_txt("[опция '-e'] несовместима с [опциями '-s', '-c', '-i']", m=True), sep='')
  1419. ## Опция '-i'.
  1420. # Создать для проверки сокращенную базу данных сайта(ов).
  1421. # Создать и добавить в новую БД сайты, аргументы (-e) которых != бук.кодам стран (country_klas).
  1422. elif args.one_level is not None:
  1423. lap, diff_list = one_exl(one_exl_=args.one_level, bool_=False)
  1424. str_i = "активирована опция '-i': «включить в поиск только выбранные регионы»::" + \
  1425. "{0} {1} {2} {3} {4} {5}".format(Fore.CYAN, str(lap).strip('[]').upper(),
  1426. Style.RESET_ALL, Style.BRIGHT + Fore.RED,
  1427. str(diff_list).strip('[]'), Style.RESET_ALL)
  1428. print(Fore.CYAN + format_txt(str_i, k=True), '\n',
  1429. Fore.CYAN + format_txt("допустимо использовать опцию '-i' несколько раз", m=True), '\n',
  1430. Fore.CYAN + format_txt("[опция '-i'] несовместима с [опциями '-s', '-c', 'e']", m=True), sep='')
  1431. ## Ник не задан или противоречие опций.
  1432. if bool(args.username) is False and bool(args.user) is False:
  1433. snoopbanner.logo(text="\nпараметры либо nickname(s) не задан(ы)")
  1434. if bool(args.username) is True and bool(args.user) is True:
  1435. print('\n⛔️' + format_txt("\033[31;1m выберите для поиска nickname(s) из файла или задайте в CLI,\n" + \
  1436. "но не совместное использование nickname(s): из файла и CLI", k=True, m=True), "\033[31;1m\n\nВыход\033[0m")
  1437. sys.exit()
  1438. ## Опция '-v'.
  1439. if args.verbose and bool(args.username) or args.verbose and bool(USERLIST):
  1440. print(Fore.CYAN + format_txt("активирована опция '-v': «подробная вербализация в CLI»\n", k=True))
  1441. snoopnetworktest.nettest()
  1442. ## Опция '-w' активна/не активна.
  1443. try:
  1444. if args.web is False:
  1445. _DB = f"_[_{len(BDdemo_new)}_]" if len(BDdemo_new) != len(BDdemo) else ""
  1446. print(f"\n{Fore.CYAN}загружена локальная база: {Style.BRIGHT}{Fore.CYAN}{len(BDdemo)}_Websites{_DB}{Style.RESET_ALL}")
  1447. except Exception:
  1448. print("\033[31;1mInvalid загружаемая база данных.\033[0m")
  1449. ## Проверка версий lib 'requests/urllib3'.
  1450. warning_lib()
  1451. ## Крутим user's.
  1452. def starts(SQ):
  1453. # Метаинформация.
  1454. if 'full' in VERSION:
  1455. meta()
  1456. # Выбор корректной кодировки для CSV с учетом OS/геолокации.
  1457. try:
  1458. if os.environ.get('LANG') is not None and 'ru' in os.environ.get('LANG'):
  1459. rus_unix = True
  1460. else:
  1461. rus_unix = False
  1462. if WINDOWS and "1251" in locale.setlocale(locale.LC_ALL):
  1463. rus_windows = True
  1464. else:
  1465. rus_windows = False
  1466. except Exception:
  1467. rus_unix = False
  1468. rus_windows = False
  1469. kef_user = 0
  1470. ungzip, ungzip_all, find_url_lst, el = [], [], [], []
  1471. exl = "/".join(lap).upper() if args.exclude_country is not None else "нет" #искл.регионы_valid
  1472. one = "/".join(lap).upper() if args.one_level is not None else "нет" #вкл.регионы_valid
  1473. for username in SQ:
  1474. kef_user += 1
  1475. sort_sites = sort_web_BDdemo_new if args.country is True else BDdemo_new
  1476. FULL, hardware, nick = snoop(username, sort_sites, country=args.country, user=args.user, verbose=args.verbose,
  1477. cert=args.cert, norm=args.norm, reports=args.reports,
  1478. print_found_only=args.print_found_only, timeout=args.timeout,
  1479. color=not args.no_func, header_custom=args.header_custom, speed=args.speed)
  1480. exists_counter = 0
  1481. if bool(FULL) is False:
  1482. kef_user -= 1
  1483. cli_file = " <CLI> " if args.user is False else f" <FILE: {userfile}>"
  1484. with open (f"{DIRPATH}/results/nicknames/bad_nicknames.txt", "a", encoding="utf-8") as bad_nick:
  1485. bad_nick.write(f"{time.strftime('%Y-%m-%d_%H:%M:%S', TIME_DATE)} {cli_file} '{username}'\n")
  1486. continue
  1487. ## Запись в txt отчет.
  1488. file_txt = open(f"{DIRPATH}/results/nicknames/txt/{username}.txt", "w", encoding="utf-8")
  1489. file_txt.write(f"Гео | Ресурс {' ' * 18} | Адрес" + "\n\n")
  1490. for website_name in FULL:
  1491. dictionary = FULL[website_name]
  1492. if type(dictionary.get("session_size")) != str:
  1493. ungzip.append(dictionary.get("session_size")), ungzip_all.append(dictionary.get("session_size"))
  1494. if dictionary.get("exists") == "найден!":
  1495. exists_counter += 1
  1496. find_url_lst.append(exists_counter)
  1497. txt_str = f"{dictionary['flagcountryklas']} | {(website_name)}"
  1498. kef_indent = 30 - (len(txt_str))
  1499. file_txt.write(f"{txt_str} {' ' * kef_indent} | {dictionary['url_user']}\n")
  1500. # Размер сессии персональный и общий, кроме CSV.
  1501. try:
  1502. sess_size = round(sum(ungzip) / 1024, 2) #в МБ
  1503. s_size_all = round(sum(ungzip_all) / 1024, 2) #в МБ
  1504. except Exception:
  1505. sess_size = 0.000_000_000_1
  1506. s_size_all = "Err"
  1507. timefinish = time.time() - TIME_START - sum(el)
  1508. el.append(timefinish)
  1509. time_all = str(round(time.time() - TIME_START))
  1510. file_txt.write("\n" f"Запрашиваемый объект: <{nick}> найден: {exists_counter} раз(а).")
  1511. file_txt.write("\n" f"Сессия: {str(round(timefinish))}сек {str(sess_size)}Mb.")
  1512. file_txt.write("\n" f"База Snoop (demo version): {flagBS} Websites.")
  1513. file_txt.write("\n" f"Исключённые регионы: {exl}.")
  1514. file_txt.write("\n" f"Выбор конкретных регионов: {one}.")
  1515. file_txt.write("\n" f"Обновлено: {time.strftime('%Y-%m-%d_%H:%M:%S', TIME_DATE)}.\n")
  1516. file_txt.write("\n" f"©2020-{time.localtime().tm_year} «Snoop Project» (demo version).")
  1517. file_txt.close()
  1518. ## Запись в html отчет.
  1519. if ANDROID and re.search("[^\W \da-zA-Z]+", nick):
  1520. username = f"nickname_{time.strftime('%Y-%m-%d_%H-%M-%S')}"
  1521. file_html = open(f"{DIRPATH}/results/nicknames/html/{username}.html", "w", encoding="utf-8")
  1522. path_ = DIRPATH if not ANDROID else "/storage/emulated/0/snoop"
  1523. file_html.write("<!DOCTYPE html>\n<html lang='ru'>\n\n<head>\n<title>◕ Snoop HTML-отчет</title>\n" + \
  1524. "<meta charset='utf-8'>\n<style>\nbody {background: url(../../../web/public.png) " + \
  1525. "no-repeat 20% 0%}\n.str1{text-shadow: 0px 0px 20px #333333}\n.shad{display: inline-block}\n" + \
  1526. ".shad:hover{text-shadow: 0px 0px 14px #6495ED; transform: scale(1.1); transition: transform 0.15s}\n" + \
  1527. "</style>\n<link rel='stylesheet' href='../../../web/style.css'>\n</head>\n\n<body id='snoop'>\n\n" + \
  1528. "<div id='particles-js'></div>\n\n" + \
  1529. "<h1><a class='GL' href='file://" + f"{path_}/results/nicknames/html/'>open file</a>" + "</h1>\n")
  1530. file_html.write("<h3>Snoop Project (demo version)</h3>\n<p>Нажмите: 'сортировать по странам', возврат:" + \
  1531. "'<span style='text-shadow: 0px 0px 13px #40E0D0'>F5'</span></p>\n<div id='report'>\n" + \
  1532. "<button onclick='sortList()'>Сортировать по странам ↓↑</button><br>\n<ol" + " id='id777'>\n")
  1533. li = []
  1534. for website_name in FULL:
  1535. dictionary = FULL[website_name]
  1536. flag_sum = dictionary["flagcountry"]
  1537. if dictionary.get("exists") == "найден!":
  1538. li.append(flag_sum)
  1539. file_html.write("<li><span class='shad'>" + dictionary["flagcountry"] + \
  1540. "<a target='_blank' href='" + dictionary["url_user"] + "'>" + \
  1541. (website_name) + "</a></span></li>\n")
  1542. try:
  1543. cnt = []
  1544. for k, v in sorted(Counter(li).items(), key=lambda x: x[1], reverse=True):
  1545. cnt.append(f"【{k} ⇔ {v}】")
  1546. flag_str_sum = "; ".join(cnt)
  1547. except Exception:
  1548. flag_str_sum = "-1"
  1549. file_html.write("</ol>\n</div>\n\n<br>\n\n<div id='meta'>GEO:" + flag_str_sum + ".\n")
  1550. file_html.write("<br> Запрашиваемый объект &lt; <b>" + str(nick) + "</b> &gt; найден: <b>" + \
  1551. str(exists_counter) + "</b> раз(а).")
  1552. file_html.write("<br> Сессия: " + "<b>" + str(round(timefinish)) + "сек_" + str(sess_size) + "Mb</b>.\n")
  1553. file_html.write("<br> Исключённые регионы: <b>" + str(exl) + "</b>.\n")
  1554. file_html.write("<br> Выбор конкретных регионов: <b>" + str(one) + "</b>.\n")
  1555. file_html.write("<br> База Snoop (demo version): <b>" + str(flagBS) + "</b>" + " Websites.\n")
  1556. file_html.write("<br> Обновлено: " + "<i><b>" + time.strftime("%Y-%m-%d</b>_%H:%M:%S", TIME_DATE) + \
  1557. ".</i><br><br>\n</div>\n")
  1558. file_html.write("""
  1559. <br>
  1560. <script>
  1561. function sortList() {
  1562. var list, i, switching, b, shouldSwitch;
  1563. list = document.getElementById('id777');
  1564. switching = true;
  1565. while (switching) {
  1566. switching = false;
  1567. b = list.getElementsByTagName("LI");
  1568. for (i = 0; i < (b.length - 1); i++) {
  1569. shouldSwitch = false;
  1570. if (b[i].innerHTML.toLowerCase() > b[i + 1].innerHTML.toLowerCase()) {
  1571. shouldSwitch = true;
  1572. break;
  1573. }
  1574. }
  1575. if (shouldSwitch) {
  1576. b[i].parentNode.insertBefore(b[i + 1], b[i]);
  1577. switching = true;
  1578. }
  1579. }
  1580. }
  1581. function rnd(min, max) {
  1582. return Math.random() * (max - min) + min;
  1583. }
  1584. var don = decodeURIComponent(escape(window.atob("\\
  1585. 4oyb77iPINCh0L/QsNGB0LjQsdC+INC30LAg0LjQvdGC0LXRgNC10YEg0LogU25vb3AgZGVtbyB2\\
  1586. ZXJzaW9uLgoK0JXRgdC70Lgg0LjQvNC10LXRgtGB0Y8g0LLQvtC30LzQvtC20L3QvtGB0YLRjCwg\\
  1587. 0L/QvtC00LTQtdGA0LbQuNGC0LUg0YTQuNC90LDQvdGB0L7QstC+INGN0YLQvtGCINGD0L3QuNC6\\
  1588. 0LDQu9GM0L3Ri9C5IElULdC/0YDQvtC10LrRgjoK0L/QvtC70YPRh9C40YLQtSBTbm9vcCBmdWxs\\
  1589. IHZlcnNpb24g0LHQtdC3INC+0LPRgNCw0L3QuNGH0LXQvdC40LkuCgpD0LwuICJzbm9vcF9jbGku\\
  1590. YmluIC0taGVscCAvIHNub29wX2NsaS5leGUgLS1oZWxwIi4K")))
  1591. var don1 = decodeURIComponent(escape(window.atob("\\
  1592. PGZvbnQgY29sb3I9InJlZCIgc2l6ZT0iMiI+4oybIFNub29wIGRlbW8gdmVyc2lvbi48L2ZvbnQ+\\
  1593. Cjxicj48YnI+CtCU0LvRjyDQv9C+0LTQtNC10YDQttC60Lgg0JHQlCDQuCDQtNCw0LvRjNC90LXQ\\
  1594. udGI0LXQs9C+INGA0LDQt9Cy0LjRgtC40Y8g0J/QniDigJQg0L/RgNC+0LXQutGC0YMg0YLRgNC1\\
  1595. 0LHRg9C10YLRgdGPINGE0LjQvdCw0L3RgdC+0LLQsNGPINC/0L7QtNC00LXRgNC20LrQsC48YnI+\\
  1596. CtCf0L7QtNC00LXRgNC20LjRgtC1INGA0LDQt9GA0LDQsdC+0YLRh9C40LrQsCDQuCDQtdCz0L4g\\
  1597. 0LjRgdGB0LvQtdC00L7QstCw0L3QuNGPINC00L7QvdCw0YLQvtC8LCDQuNC70Lgg0L/RgNC40L7Q\\
  1598. sdGA0LXRgtCw0Y8gPGI+PGZvbnQgY29sb3I9ImdyZWVuIj5Tbm9vcCBmdWxsIHZlcnNpb24hPC9m\\
  1599. b250PjwvYj4KPGJyPjxicj4KQ9C8LiAic25vb3BfY2xpLmJpbiAtLWhlbHAgLyBzbm9vcF9jbGku\\
  1600. ZXhlIC0taGVscCIuCg==")))
  1601. func = setInterval(() => {alert(don)}, rnd(30, 45) * 1000)
  1602. func1 = setTimeout(() => {id777.onmouseover = function() {document.write(don1)}}, rnd(55, 75) * 1000)
  1603. </script>
  1604. <script src="../../../web/particles.js"></script>
  1605. <script src="../../../web/app.js"></script>
  1606. <audio title="Megapolis (remix).mp3" controls="controls" autoplay="autoplay">
  1607. <source src="../../../web/Megapolis%20(remix).mp3" type="audio/mpeg">
  1608. </audio>
  1609. <br>
  1610. <audio title="for snoop in cyberpunk.mp3" controls="controls">
  1611. <source src="../../../web/for%20snoop%20in%20cyberpunk.mp3" type="audio/mpeg">
  1612. </audio>
  1613. <br><br>
  1614. <div id='buttons'>
  1615. <a target='_blank' href='https://github.com/snooppr/snoop' class="SnA"><span class="SnSpan">🛠 Source Исходный код</span></a>
  1616. <a target='_blank' href='https://drive.google.com/file/d/12DzAQMgTcgeG-zJrfDxpUbFjlXcBq5ih/view' \
  1617. class="DnA"><span class="DnSpan">📖 Doc Документация</span></a>
  1618. <a onclick='bay()' class="DnA"><span class="DnSpan">💳 Get Full_Version</span></a>
  1619. </div>
  1620. <br><br>\n
  1621. """ + \
  1622. snoopbanner.buy() + \
  1623. f"""\n\n<p class='str1'><span style="color: gray"><small><small>Отчёт создан в ПО Snoop Project. <br> ©2020-\
  1624. {time.localtime().tm_year} «Snoop Project».</small></small></span></p>
  1625. <script>
  1626. if(typeof don == "undefined" || typeof don1 == "undefined" || don.length != 216 || don1.length != 335 || typeof func == "undefined" \
  1627. || typeof func1 == "undefined")
  1628. document.getElementById('snoop').innerHTML=""
  1629. </script>
  1630. </body>
  1631. </html>""")
  1632. file_html.close()
  1633. ## Запись в csv отчет.
  1634. if rus_windows is False:
  1635. file_csv = open(f"{DIRPATH}/results/nicknames/csv/{username}.csv", "w", newline='', encoding="utf-8")
  1636. else:
  1637. file_csv = open(f"{DIRPATH}/results/nicknames/csv/{username}.csv", "w", newline='') #для ru_пользователей
  1638. usernamCSV = re.sub(" ", "_", nick)
  1639. try:
  1640. err_all = dic_binding.get('censors') / kef_user #err_connection_all
  1641. flagBS_err = round(err_all * 100 / (len(BDdemo_new) - len(dic_binding.get("badraw"))), 2)
  1642. except ZeroDivisionError:
  1643. flagBS_err = 0
  1644. try:
  1645. bad_zone = f"~{Counter(dic_binding.get('badzone')).most_common(2)[0][0]}/" + \
  1646. f"{Counter(dic_binding.get('badzone')).most_common(2)[1][0]}"
  1647. except IndexError:
  1648. try:
  1649. bad_zone = f"~{Counter(dic_binding.get('badzone')).most_common(2)[0][0]}"
  1650. except IndexError:
  1651. bad_zone = "ERR"
  1652. writer = csv.writer(file_csv)
  1653. if rus_windows or rus_unix or ANDROID:
  1654. writer.writerow(['Ресурс', 'Страна', 'Url', 'Ссылка_на_профиль', 'Статус', 'Статус_http',
  1655. 'Общее_замедление/сек', 'Отклик/сек', 'Общее_время/сек', 'Сессия/Kb'])
  1656. else:
  1657. writer.writerow(['resource', 'country', 'url', 'url_username', 'status', 'http',
  1658. 'deceleration/s', 'response/s', 'time/s', 'session/Kb'])
  1659. for site in FULL:
  1660. if FULL[site]['session_size'] == 0:
  1661. Ssession = "Head"
  1662. elif type(FULL[site]['session_size']) != str:
  1663. Ssession = str(FULL.get(site).get("session_size")).replace('.', locale.localeconv()['decimal_point'])
  1664. else:
  1665. Ssession = "Bad"
  1666. writer.writerow([site, FULL[site]['countryCSV'], FULL[site]['url_main'], FULL[site]['url_user'],
  1667. FULL[site]['exists'], FULL[site]['http_status'],
  1668. FULL[site]['response_time_site_ms'].replace('.', locale.localeconv()['decimal_point']),
  1669. FULL[site]['check_time_ms'].replace('.', locale.localeconv()['decimal_point']),
  1670. FULL[site]['response_time_ms'].replace('.', locale.localeconv()['decimal_point']),
  1671. Ssession])
  1672. writer.writerow(['«' + '-'*35, '-'*4, '-'*35, '-'*56, '-'*13, '-'*17, '-'*32, '-'*13, '-'*23, '-'*16 + '»'])
  1673. writer.writerow([f'БД_(fullversion)={flagBS}_Websites'])
  1674. writer.writerow([f"Nick={usernamCSV}"])
  1675. writer.writerow('')
  1676. writer.writerow([f'Исключённые_регионы={exl}'])
  1677. writer.writerow([f'Выбор_конкретных_регионов={one}'])
  1678. writer.writerow([f"Bad_raw:_{flagBS_err}%_БД,_bad_zone_{bad_zone}" if flagBS_err >= 2 else ''])
  1679. writer.writerow('')
  1680. writer.writerow(['Дата'])
  1681. writer.writerow([time.strftime("%Y-%m-%d_%H:%M:%S", TIME_DATE)])
  1682. writer.writerow([f'©2020-{time.localtime().tm_year} «Snoop Project»\n(demo version).'])
  1683. file_csv.close()
  1684. ungzip.clear()
  1685. dic_binding.get("badraw").clear()
  1686. ## Финишный вывод в CLI.
  1687. if bool(FULL) is True:
  1688. direct_results = f"{DIRPATH}/results/nicknames/*" if not WINDOWS else f"{DIRPATH}\\results\\nicknames\\*"
  1689. print(f"{Fore.CYAN}├─Результаты:{Style.RESET_ALL} найдено --> {len(find_url_lst)} " + \
  1690. f"url (сессия: {time_all}_сек__{s_size_all}_Mb)")
  1691. print(f"{Fore.CYAN}├──Сохранено в:{Style.RESET_ALL} {direct_results}")
  1692. if flagBS_err >= 2: #perc_%
  1693. bad_raw(flagBS_err, bad_zone, nick, [args.exclude_country, args.one_level, args.site_list])
  1694. else:
  1695. print(f"{Fore.CYAN}└───Дата поиска:{Style.RESET_ALL} {time.strftime('%Y-%m-%d__%H:%M:%S', TIME_DATE)}\n")
  1696. if "demo" in VERSION:
  1697. console.print(f"[italic] Получить Snoop Full Version (4.6K+ сайтов):[/italic]\n[dim yellow] " + \
  1698. f"$ {'python ' if 'source' in VERSION else ''}" + \
  1699. f"{os.path.basename(sys.argv[0])} --donate/-d[/dim yellow]\n", highlight=False)
  1700. elif "full" in VERSION and WINDOWS and not any(dic_binding.get("options_speed")):
  1701. console.print(format_txt(f"[bold red] ![/bold red] [bold yellow]Обратите внимание: скорость поиска можно " + \
  1702. f"существенно ускорить, используя опции::[/bold yellow]", k=True, m=True))
  1703. console.print(format_txt(f"[bold yellow] [-[bold green]-q[/bold green]uick/-[bold green]-p[/bold green]ool/" + \
  1704. f"-[bold green]-f[/bold green]ound-print][/bold yellow]", k=True, m=True),
  1705. "\n", highlight=False)
  1706. console.print(Panel(f"{E_MAIL} до {date_off}", title='лицензия', style=STL(color="white", bgcolor="blue")))
  1707. ## Открывать/нет браузер с результатами поиска.
  1708. if args.no_func is False and exists_counter >= 1:
  1709. try:
  1710. if not ANDROID:
  1711. try:
  1712. webbrowser.open(f"file://{DIRPATH}/results/nicknames/html/{username}.html")
  1713. except Exception:
  1714. console.print("[bold red]Невозможно открыть web-браузер, проблемы в операционной системе.")
  1715. else:
  1716. install_service = Style.DIM + Fore.CYAN + \
  1717. "\nДля авто-открытия результатов во внешнем браузере на Android у пользователя " + \
  1718. "должна быть настроена среда, код:" + Style.RESET_ALL + Fore.CYAN + \
  1719. "\ncd && pkg install termux-tools; echo 'allow-external-apps=true' >>" + \
  1720. ".termux/termux.properties" + Style.RESET_ALL + \
  1721. Style.DIM + Fore.CYAN + "\n\nИ перезапустить терминал."
  1722. termux_sv = False
  1723. if os.path.exists("/data/data/com.termux/files/usr/bin/termux-open"):
  1724. with open("/data/data/com.termux/files/home/.termux/termux.properties", "r", encoding="utf-8") as f:
  1725. for line in f:
  1726. if ("allow-external-apps" in line and "#" not in line) and line.split("=")[1]\
  1727. .strip()\
  1728. .lower() == "true":
  1729. termux_sv = True
  1730. if termux_sv is True:
  1731. subprocess.run(f"termux-open {DIRPATH}/results/nicknames/html/{username}.html", shell=True)
  1732. else:
  1733. print(install_service)
  1734. else:
  1735. print(install_service)
  1736. except Exception:
  1737. print(f"\n\033[31;1mНе удалось открыть результаты\033[0m")
  1738. try:
  1739. hardware.shutdown()
  1740. except Exception:
  1741. pass
  1742. ## поиск по выбранным пользователям либо из CLI, либо из файла.
  1743. starts(args.username) if args.user is False else starts(USERLIST)
  1744. ## Arbeiten...
  1745. if __name__ == '__main__':
  1746. try:
  1747. main_cli()
  1748. except KeyboardInterrupt:
  1749. console.print(f"\n[bold red]Прерывание [italic](Ctrl + c)[/bold red]")
  1750. if WINDOWS:
  1751. os.kill(os.getpid(), signal.SIGBREAK)
  1752. elif dic_binding.get('android_lame_workhorse') is True:
  1753. os.kill(os.getpid(), signal.SIGKILL)
  1754. else:
  1755. [pid.terminate() for pid in active_children()]