Twint: [BUG] Resume seem does not work

Created on 27 May 2019  Â·  5Comments  Â·  Source: twintproject/twint

Initial Check

Make sure you've checked the following:

  • [x] Python version is 3.7.3
  • [x] Updated Twint with pip3 install --upgrade -e git+https://github.com/twintproject/twint.git@origin/master#egg=twint;
  • [x] I have searched the issues and there are no duplicates of this issue/question/request.

Environment Details

Use Linux => Archlinux => Python 3.7.3 => Virtualenv

aiodns==2.0.0
aiohttp==3.5.4
aiohttp-socks==0.2.2
async-timeout==3.0.1
attrs==19.1.0
beautifulsoup4==4.7.1
cchardet==2.1.4
cffi==1.12.3
chardet==3.0.4
elasticsearch==7.0.1
fake-useragent==0.1.11
geographiclib==1.49
geopy==1.20.0
idna==2.8
multidict==4.5.2
numpy==1.16.3
pandas==0.24.2
pycares==3.0.0
pycparser==2.19
PySocks==1.7.0
python-dateutil==2.8.0
pytz==2019.1
schedule==0.6.0
six==1.12.0
soupsieve==1.9.1
-e git+https://github.com/twintproject/twint.git@a65311af3bcd73e34b9539267fc572bdc3aee6d8#egg=twint
Unidecode==1.0.23
urllib3==1.25.3
yarl==1.3.0

Command Ran

./.virtualenv/bin/twint -u jesuislibre --limit 20 --resume 1131644320593977347

Description of Issue

It seem does not work, it start search from the last recent tweet, it not use the resume tweet Id

The result command

./.virtualenv/bin/twint -u jesuislibre --limit 20 --resume 1131644320593977347
1133104637475721216 2019-05-27 22:16:12 CEST <jesuislibre> Ils sont mignons ces groupies politique qui défendent corps et âmes des saltimbanques qui ne sont bon qu'a faire figuration sur leurs trottinettes lors du @fiseworld ou de faire quelques selfies devant la bétonnière !  #JeSuisUnDesDeux  cc @VelociteMtp
1133102091164164097 2019-05-27 22:06:05 CEST <jesuislibre> Je savais bien que j'en avais oublié quelques uns :)
1133079460641693697 2019-05-27 20:36:09 CEST <jesuislibre> @lucalbernhe @Saurel_P il semblerait que vous déclinez aussi de baliser ?  Ya rien de plus dangereux que cette grille !!!  Faut-il que l'on se cotise pour avoir de un vrai balisage ou allez vous nous faire un numéro de trottinettes au @fiseworld ?  #JeSuisUnDesDeux @VelociteMtp pic.twitter.com/KGViS7ThJd
1132760343032356867 2019-05-26 23:28:06 CEST <jesuislibre> Euh ..., je crois qu'il ne faudrait pas que vous preniez tout au premier degré !
1132759620055896064 2019-05-26 23:25:13 CEST <jesuislibre> Concernant Cahuzac, bizarrement condamné a 4 ans dont 2 avec surcis. Pile pour avoir une remise de peine.  A ce niveau, on doit être irréprochable ! Et fermement condamné si faute !
1132758095359303686 2019-05-26 23:19:10 CEST <jesuislibre> Et ce n'est que la face cachée de iceberg (partie publique)
1132752070996582401 2019-05-26 22:55:13 CEST <jesuislibre> Le vrai visage de la politique, la vrai !   https://twitter.com/Alex_InDaHouse2/status/1132720984262369280/video/1 …
1132749841455566849 2019-05-26 22:46:22 CEST <jesuislibre> 1) Pour moi, tant que pas jugé == présumé innocent ! 2) Balkany même problème ! 3) Fillon même problème ! 4) Jérôme Cahuzac même problème ! 5) Sarkozy même problème !  J'en oublie certainement d'autres :)
1132733132963229696 2019-05-26 21:39:58 CEST <jesuislibre> La raie publique c'est moi !  L’arrêt publique de la @FranceInsoumise en une seule élection !  La @FranceInsoumise soumise à une grande défaite !   https://www.youtube.com/watch?v=Q5LZcw6MASA … #Electionseuropeenne2019 #LaRaiePublique
1132730782047457282 2019-05-26 21:30:38 CEST <jesuislibre> Auparavant, l'affaire DSK aussi ...
1132584084646105088 2019-05-26 11:47:42 CEST <jesuislibre> @VigiloObsApp 😀
1132542146043682816 2019-05-26 09:01:03 CEST <jesuislibre> Et à 0min18s, c'est ma hantise !  Ta vidéo le résume très bien, aucune visibilité sur les personnes pouvant venir du parc (par ta droite).  un jours un chien et un cycliste on débouler par ce coté !  Et c'est fou que tu dois devoir autan te faufiler entre les piétons !
1132539096361046016 2019-05-26 08:48:56 CEST <jesuislibre> Etant donnée que c'est une balade, je ne peux rien dire :)  Mais (En mode oui mais le cycliste :) ) jusqu'à 3min30. C'est mon chemin habituel et je trouve que tu t'introduit inutilement dans le trafic automobile.  Au lieu de tourner à gauche au Pont Zuca, tu peut aller tout droit
1132409672621809666 2019-05-26 00:14:39 CEST <jesuislibre> Oui mais les policiers ...
1131845370709979137 2019-05-24 10:52:19 CEST <jesuislibre> A savoir que c'est une application citoyenne développé par des citoyens bénévoles  Elle est né suite au mouvement #JeSuisUnDesDeux à #Montpellier . @VigiloObsApp et soutenu par l'association @VelociteMtp   Plus d'information =>  https://vigilo.city/fr/villes/  et  http://www.jesuisundesdeux.org/portfolio/articles-de-presses/ …
1131814313440796672 2019-05-24 08:48:55 CEST <jesuislibre> L'économie va tellement mal, que les épiciers sont obligés de se mettre à vendre des voitures https://twitter.com/C23may/status/1131493661093617664 …
1131671554218176515 2019-05-23 23:21:38 CEST <jesuislibre> Et dans les rares cas où il y'a une piste cyclable temporaire, elle est immédiatement squatté ! pic.twitter.com/hmEUVRHVwc
1131661495643844608 2019-05-23 22:41:40 CEST <jesuislibre> Comparaison du balisage des travaux entre #Montpellier et #Grenoble #Montpellier balisage à son plus strict minimum (dédié pour les voitures)  #Grenoble Piste de déviation  De quel laboratoire parle t'on ?  #JeSuisUnDesDeux #DresseTonPV cc @VelociteMtp pic.twitter.com/jsFBk31bod
1131650032179011584 2019-05-23 21:56:07 CEST <jesuislibre> Je présume que c'est en rapport avec ca ? =>  https://twitter.com/FallaitPasSuppr/status/1131647735898222592 …  Apparemment, elle s'est banni toutes seule ! :)
1131644320593977347 2019-05-23 21:33:25 CEST <jesuislibre>  pic.twitter.com/R2YD6vx4Rb

bug resolved

All 5 comments

They changed the way max_position works
immagine

Need to investigate

Thanks for reporting

As workaround, you can store every request url in a file (config.Debug = True) and use the max_position of the last url as config.Resume

Now config.Resume must be a file name, like history_ids.txt

Twint will save the last min_position to that file, it will automatically resume from the given id if the file will be specified

usage:

import twint

c = twint.Config()
c.Username = "username"
c.Resume = "history_ids.txt"

twint.run.Search(c)

406

An extra \n was being added to the resume file (missed this because I changed the way it's being saved), now it works as expected

Was this page helpful?
0 / 5 - 0 ratings

Related issues

rogerdc picture rogerdc  Â·  41Comments

StefanoSetti picture StefanoSetti  Â·  19Comments

certrik picture certrik  Â·  37Comments

arranjdavis picture arranjdavis  Â·  40Comments

mmosleh picture mmosleh  Â·  26Comments