Tweet-thread-splitter

De limiet van 280 tekens van een tweet is geen simpele `text.length`-controle, en de meeste naïeve tekentellers doen dit op een manier die ertoe doet fout. Deze tool implementeert het echte gewogen-lengte-algoritme van X/Twitter: elk codepunt wordt opgezocht in dezelfde wegingstabel die de twitter-text-library van het platform gebruikt, waarbij de meeste Latijnse, Cyrillische, Griekse en gangbare leestekens als 1 teken tellen, maar alles daarbuiten — CJK-ideogrammen, de meeste emoji, veel symbolen — als 2 telt. Net zo belangrijk is dat het doorlopen van de tekst op echte Unicode-codepunten (niet op ruwe UTF-16-eenheden) betekent dat een astral-plane-emoji zoals een gezicht of vlag met een surrogate pair correct één keer wordt geteld, in plaats van per ongeluk dubbel zoals een naïeve `.length`-controle zou doen.

De andere makkelijk te missen echte regel die deze tool eerlijk implementeert: elke http(s)://- of www.-URL in je tekst wordt geteld als exact 23 tekens, of de letterlijke link nu 20 of 200 tekens lang is. Dat is de echte t.co-verkorte lengte die X voor elke link invult, en het betekent dat een tweet vol met een lange tracking-URL veel meer ruimte over heeft voor echte woorden dan een naïeve tekentelling zou suggereren — de splitter houdt hiermee rekening bij het bepalen waar een tweet eindigt.

Een lang bericht in een thread splitsen is meer dan alleen elke 280 tekens afkappen. Deze tool werkt met drie grensvoorkeurniveaus: eerst probeert hij hele alinea's bij elkaar te houden, valt terug op een echte zinsgrens-heuristiek als een alinea te lang is (een regex-gebaseerde splitter die het verschil kent tussen een punt aan het einde van een zin en een punt in een afkorting als 'dr.' of 'bijv.' of een decimaal getal als '3,14'), en breekt alleen op losse woorden als laatste redmiddel wanneer zelfs een enkele zin de limiet overschrijdt — op elk niveau wordt een URL als één ondeelbaar token behandeld en nooit doormidden gesplitst.

Threadnummering ('1/7', '2/7'...) heeft een werkelijk makkelijk te missen randgeval: de nummeringstekst zelf gebruikt tekens in de tweet waaraan hij is toegevoegd, en de breedte van die nummering hangt af van het totale aantal tweets, wat je pas weet als het splitsen klaar is. Deze tool lost dat op door iteratief opnieuw te splitsen, waarbij de echte gewogen lengte van de nummering gereserveerd wordt vóór elke doorgang, totdat het gereserveerde budget overeenkomt met het uiteindelijke aantal tweets. De standaardlimiet van 280 tekens wordt gebruikt met een eerlijke opmerking dat X Premium-abonnees een veel hogere limiet voor lange berichten krijgen (tot ongeveer 25.000 tekens) voor posts die niet als openbare thread hoeven te werken — een schakelaar laat je naar een aangepaste limiet wisselen als je daarop mikt.