Povzdech - (zamyšlení)

[chocholousek]

Nedávno jsem uvedl v život projekt picon.cz, proto jsou všechny linky pro stažení i s tohoto fóra směřované na tuto novou stránku. Hlavním důvodem pro vznik stránky bylo usnadnit stažení samotných balíčku zpřehlednit, nebo lépe celé to zjednodušit. Je to rychlejší přehlednější a jednodušší. Doposud používaný google.com je stále větší a větší problém, a přístup k balíčků byl hlavně přes plagin "Chocholousek picon downloader" stále složitější. Blokování balíčků, bany pro uživatele kteří si chtěli jen něco stáhnout, a podobné bylo a je běžné. Proto mám v plánu význam úložiště google postupně utlumit na minimum. Vznik úložiště specializovaného jen pro balíčky picon, proto bylo logickým vyústěním. Nabídka od Ellana se prostě odmítnout nedala.
Picony jsem přestěhoval, vytvořil par stránek a nakonec vyšla nová verze plaginu podporující nové úložiště, taková idylka. Pochopil jsem velmi brzy proč googlu vadilo už jen to že se balíčky stahují, protože už dávno jednotlivé balíčky picon přesáhly rozměry malého lokálního projektu. Stahuje se hlavně prostřednictvím pluginu (cca 96%) a stovky (~900) balíčků denně, doslova s cele Evropy, blízkého východu a části Afriky. To je samozřejmě potěšující, ale přineslo to sebou i problémy.
Problémy, co už bylo složitější, se však vyskytly i na novém úložišti, první bylo vytahování direct linků, to je asi velmi běžné a alespoň v drtivé většině jsem tomuto zabránil. Dokázal jsem postupně ošetřit všechny běžné praktiky různých bootů crawlerů a spamu všeho druhu, které stahují vše nač přijdou, aniž by to mělo smysl.
Co však nedokážu ošetřit a je to hlavní důvod proč tohle zde píšu je srážka s debilem, jsou totiž lidé kterým zřejmě tenhle nekomerční projekt, který si tak doma patlám na koleně vadí. A bylo by moc fajn kdyby mne takovíto lidé prostě jen ignorovali. Jenže se najdou jedinci kteří jsou schopni vynaložit navíc nějakou energii. A vezmou jednu linku tady s AB a tu proženou nějakou smičkou (nějaký skript?) a jeden a ten sám soubor si stáhnou ~4000x. Interval? No přece co to jde, co dovolí internet.
Prosím neberte to jako návod, ale jako povzdechnutí. Může se stát že jak rychle projekt picon.cz začal tak rychle i skončí.

[Or-Horo]

Ahoj,

i když je to jen tvůj koníček, odvádíš skvělou práci. Za mě jsem rád, že existují lidé jako ty, kteří se o plody své práce podělí a to zcela nezištně (snad jen pro pocit nějaké vnitřní radosti). Je mi líto, jaké s tím máš komplikace. Rád bych ti nějak pomohl, ale asi na tohle nejsem ten kovaný.

Kdysi dávno jsem vedl několik vlastních projektů, mimo jiné různé webové stránky a dokonce několik diskuzních fór. Nějakou dobu to šlapalo dobře. Pak se mi jeden kamarád snažil pomoci a udělal pro mě to, že na Google jsem byl téměř vždy na 8 - 12 místě ve vyhledávači. A od té doby byly stránky pod útokem. Nejprve klasické spamy. Fórum neumožňovalo (alespoň jsem si to myslel) posílat příspěvky, pokud člověk neměl registrovaný a adminem schválený účet. Přesto se objevovaly stovky příspěvků denně, které nabízely pilulky na prodloužení jistých partií a odkazy na xxx obsah. Později dokonce někdo hacknul účet a zprovoznil tam nějakou webovou stránku s odkazy tohoto typu.

Majitel hostu mě stránky zablokoval. Později mi vysvětlil, že někdo hacknul FTP účet a navíc provedl nějakou injektáž škodlivého kódu do SQL databáze. Dodnes jsem nepochopil, proč někdo vkládá skripty zobrazující desetitisíce odkazů na weby prodávající modré pilulky. Asi se mu to vyplácí.

Byl to taky nekonečný boj. Když jsem vždycky zavedl nějaké opatření, na nějakou dobu to fungovalo, ale po čase se objevil jiný, ještě sofistikovanější útok.

Nakonec jsem to vzdal a udělal opatření, aby se ty stránky na vyhledávači Google neobjevovaly. Od toho okamžiku jsem měl klid. Ale zase tam přestali chodit noví uživatelé. Řešil jsem to "výměnnou" formou, že jsem na stránky podobného obsahu nechával dávat odkazy na ty moje a na oplátku jsem na moje stránky dával ty jejich.

Někdo mi pak později vysvětloval, že účelem těchto útoků není propagace modrých pilulek, ani snaha zničit mou práci. Ty odkazy tam prý jsou jen pro odvedení pozornosti. Ve skutečnosti na pozadí fungoval kód, nějaký trojský kůň, který napadal prohlížeče běžných uživatelů těchto stránek a cílem bylo ve skutečnosti napadnou jejich počítač, ukrást tam data. Případně ho pak takto napadený počítač. později použít k dalším útokům. Takže věci, které nám často nedávají smysl, mají úplně jiný důvod, než se na první pohled zdá.

Takže mi věř, že i když trochu z jiného soudku, vím, jak se asi právě cítíš. Jen ti přeju pevné nervy, ať to vydržíš.

Ve tvém případě by pomohla nějaká stahovací webová stránka, která nikdy nedovolí stahovat ty soubory přímo, ale přes dynamicky vygenerované odkazy s časově omezenou platností. A před aktivací odkazu ještě taková ta kontrolní otázka. Ideálně něco, co může vědět jen Čech, potažmo Slovák. Což samozřejmě omezuje možnost stahovat třeba Číňanům nebo Severokorejcům. Něco podobného jsem viděl na nějakých stránkách o satelitních přijímačích v Turecku. Dali tam v Turečtině otázku, něco o Atatürkovi, co může vědět jen někdo, kdo se o něm učil ve škole. Např. koho si vzala za manžela třetí Krokova dcera?

[Wozi]

Pro Chocholousek.....Dík za Tvou práci a diufám že o Tvé picony nepřijdem, držim palce a přeji trpělivost.

[gchevalier]

dnes je bezne si pri hostingu zaplatit sluzbu DDOS napr. cez cl0udflare (vlastnikom je tiez g0+g1e) ktora vyriesi tento problem bezo zbytku

[ctiforum]

dnes je bezne si pri hostingu zaplatit sluzbu DDOS napr. cez cl0udflare (vlastnikom je tiez g0+g1e) ktora vyriesi tento problem bezo zbytku

Je otázne, koľko by sa nás našlo hoci len po 1EUR mesačne cez PayPal, aby to Chocholoušek zaplatil.....keď pozerám na tunajších kolenovrtov
"Pro" verzia stojí 20 USD/month.... Je otázne, či by nestačila free za $0 / month .... a či by to nenarobilo problém "chocholoušek plugin-u"

Bez picon je enigma2 taká nejaká "nefarebná a bez života...."

[gchevalier]

myslienka bola skor sa opytat poskytovatela uloziska (sponzora) ci nezvazi zakupenie ochrany,
alebo najst takeho, kto tu ochranu ma
je to asi trochu odborna tema, ale da sa to aj svojpomocne pomocou fail2ban (ak je admin pristup)
napr.
Survive DDOS attack with fail2ban
*_https://easyengine.io/tutorials/nginx/fail2ban/_*

[chocholousek]

Vím, co popisuješ, ale s tímto nemám žádný problém. Ono se ti tam jednou dvakrát denně "něco" pokusí nabourat, alespoň zatím neměl nikdo úspěch.
Navrhované řešení je myslím neprůchozí právě díky pluginu, kdy je na google obrovské množství omezení a díky těmto omezením vzniklo tohle "náhradní" úložiště. Když se dobře podíváš tak odkazy nejsou direct linky na samotné balíčky, i když se tak chovají, takže nějaké ty možnosti nastavení tu jsou.
Ellano se stará dobře, věřte mi. Osobně jsem velmi spokojen. Nastavené to mají na výbornou a celou srandu jejich servery ustály bez ztráty kytičky.

p.s. Jistěže jsem udělal opatření. Pokud se někdo pokusí o něco podobného, tak mu tohle už neprojde a navíc odměna jej nemine. Jen se tu nechci rozepisovat co jsem udělal.

[Or-Horo]

Jak píše gchevalier, to skoro zavání nějakým DDOS (nebo MSWINDOWS??? ) útokem. Podobné útoky jsem kdysi (neúmyslně ) udělal svému poskytovateli wifič internetu. Naštěstí to bral sportovně a řekl mi, jak mám jistý stahovací klient nastavit.

[tomko]

a čo by sa stalo, keby plagin bol podmienený prihlasovacím menom a heslo (registráciou) a povolenie k stahovaniu by bolo týmto podmienené

[chocholousek]

Odpovim, ja si nemyslim ze zavest povinnost autorizace uzivatele by neco zmenila a obavam ze by to nicemu nepomohlo. Nic se tim samo o sobe neochrani. Nejde tu o to vedet kdo se prihlasil (pod jakym jmenem a heslem) ale ochranit linky pred jejich moznym potencialnim zneuzitim. I kdyby jsem prihlaseni zlobiveho uzivatele zrusil, diky tomu ze nekdo neco provede, tak zitra bude prihlasen pod jinym uzivatelem a vesele muze skodit dal. Linky jsou dostupne odkudkoliv s celeho sveta, ale vem si alespon jednu linku treba tady s fora zkopiruj ji nekam jinam a uvidis ze ona ta linka mozna nepojede, takze ruzna havet jako jsou crawlery nebo ruzny spam a ja nevim co vse jeste, nema narok. Presto ale pokud nekdo vi neco o tom jak se toto dela, a pouzije to proti me a picon.cz, je autorizace jen dalsi zbytecnost navic.
Postizeny clovicek se pokusil jeste nekolikrat o pristup na picon.cz a vzdy chtel neco stahnout, ale to uz nemohl, pote zrejme prisel nato jak jsem tomu dokazal zabranit a obesel to, a to tak jako by obesel i prihlaseni pokud by bylo povinne.
Picon.cz funguje, a funguje alespon doposud k me velke spokojenosti, a budeme-li rozumni neni duvodu aby nefungoval i nadale.

[tomko]

To máš pravdu ale aspoň by si mu narobil starosť že si musí vytvoriť nové email konto a to by aspoň časť ľudí odradilo

[Wozi]

Dík za Tvou práci na piconách a snad Ti blbci neseberou chuť se tomuto tématu, který děláš skvěle, věnovat i nadále.

[liquere]

Uz v roku 94-95 som tvrdil, ze internet bude casom problem pre mnozstvo blbcov co sa tam casom dostanu ... ale hlavne hajzlikov co zvladnu tak on a off na pocitaci.

Dakujem za tvoj cas.

[pravyroxor]

Veľa súborov sťahujú aj ro-boti, často to robí aj sám ujo google a rôzne SEO (search engine optimization)
vytvor si aspoň v roote webu súbor robots.txt s obsahom
User-agent: *
Disallow: /

Inak veľká vďaka za tvoju užitočnú prácu.

[chocholousek]

Tohle uz je ctyri mesice stara diskuse, tohle je na serveru picon.cz uz davno osetreno.
@Wozi neboj to nehrozi
@liquere vis oni to nejsou hlupaci ve smyslu mozkove nedostatecnosti to urcite ne, naopak dobre vedi co cini, a co hur bavi se tim ze poradne zneprijemni to co delas.
@pravyroxor no to neni moc dobry napad, porad mi chodi asi 24% lidi pres vyhledavace, a kdyz si to nenaindexuji tyto vyhledavace, tak sice bude klid ale zase aby tam nikdo nechodil to nechci. Neprecet si si to poradne nemam zadny problem s roboty crawlery ani nic podobneho.

Cely problem je docela dobre vyresen, a alespon zatim po nekolika mesicnim provozu mohu rici ze nikdo nemuze udelat nic takoveho jako se stalo tady na prvnim obrazku. Funguje to jako u pana doktora. Pri pokusu neco stahnout si prohlidnut, vysetren a pokud si shledan jako zdrav bezproblemu, muzes si stahnout cokoliv. Pokud si shledan jako potencialne nebezpecny nestahnes si nic a jsi presmerovan na chybovou stranku. Je naprosto jedno jestli pristupujes pres www, hdg nebo chocholousek picon downloader. Nekteri uz vedi a na toto omezeni narazili, ostatni to nikdy nezjisti, nicmene tech co se toto dotklo je mizive procento spis promile.

Co obsahuje chybova stranka pri neuspesnem pokusu neco stahnout?

Kód: Vybrat vše

Pravidla pro stahování:
1 – Stahujte jen ty balíčky pro satelitní pozice které aktivně používáte.
2 – Ke stažení používejte prohlížeč www, plagin chocholoušek picon a nebo vestavěný stahovací manager v HDG / FHDG.
3 – Stahujte jen s rezidentních IP adres, nepoužívejte IP které často používají spameři či roboti a nebo ti jež nepřejí tomuto serveru.
4 – Aktualizujte picony maximálně jednou za týden, aktualizace balíčků se prováděna jednou týdně ne častěji.
5 – Nepoužívejte plaginy do prohlížečů na úpravu download linků.
6 – Při problémech pište zde, popište problém určitě jej spolu vyřešíme.

[liquere]

Chapem ta preto som doplnil hajzlikov.