Invidious : faut-il le maintenir?

rigelk · Novembre 1, 2019, 1:37

Bonjour à tous,

Je viens ici au nom de DryCat en région nantaise, pour discuter avec vous d’Invidious en particulier - bien que les questions que nous nous posons valent aussi pour des services comme Nitter ou Searx. En somme, des services fortement liés aux APIs de plateformes centralisées.

Ceux déjà familiers de Nitter voient à peu près de quoi il en retourne : avec Invidious, l’utilisateur n’est pas en contact avec YouTube pour la plupart des interactions (recherche de vidéo, suivi d’abonnements, récupérations de métadonnées d’une vidéo et de son fil de commentaires, etc.) jusqu’au moment de lire la vidéo (et encore, il existe un mode « proxy » ou le traffic streaming vidéo passe aussi par le serveur Invidious.

Là où cela se complique, c’est que Google bloque les IPs utilisées pour récupérer ces informations. Cela nous force à changer régulièrement d’adresse IP (au début une fois par mois, maintenant une fois tous les 2-3 jours). Bien sûr, nous sommes entrain d’automatiser le processus - rien de compliqué là-dedans, surtout que l’on ne parle que de l’IP utilisée par Invidious pour aller chercher les informations sur les serveurs de Google. Le frontal/rp utilisé par les utilisateurs pour accéder au service ne change pas, lui. Cela nous permet de piocher dans un /64 en IPv6 pour la partie récupération d’infos, ce qui nous laisse de la marge.

Enfin voilà, après 3 mois de service (ex: stats sur octobre), @Dryusdan et moi nous demandons si ça vaut le coup de continuer l’aventure. Techniquement on peut, et ça ne devrait pas poser plus de problème que ça sur le court terme. Mais nous avons deux problèmes sur le moyen/long terme :

d’ordre technique : jusqu’ici on met en échec le blocage de Google grace à un /64 IPv6, mais si du jour au lendemain Google se mette à bloquer tout notre range… (ex: Searx ça a déjà été le cas).
d’ordre éthique : Invidious ne libère pas de YouTube à proprement parler, et ces problèmes techniques nous y rappellent. On hésite donc à communiquer au sujet d’Invidious comme étant un de nos services (pour l’instant c’est juste « en test »).

Maintenant, s’il ne « libère » pas les usages, il aide notamment lors du partage de vidéos (ex: sur les réseaux sociaux) pour ne pas exposer outre mesure les destinataires du message. Peut-on pour autant communiquer à son sujet ? Est-ce que l’on ne trompe pas nos utilisateurs en leur permettant de continuer d’utiliser des services qui luttent activement pour capturer leurs données, et en ne les redirigeant pas vers des services plus éthiques de vidéo ? J’ai déjà ma petite idée, et je sais bien que les services ne seraient pas équivalents, mais je suis curieux de ce que vous en pensez.

Je sais qu’au moins @Elukerio héberge une instance Invidious, étant aussi listés sur le wiki du projet. Quelle a été votre expérience ? Que pensez-vous faire de ce service à l’avenir ? Rencontrez-vous des difficultés, et avez-vous aussi dû recourir à un roulement d’IP automatisé ?

pyg · Novembre 2, 2019, 11:10

Hello @rigelk !

J’attends avec impatience la réponse de @Elukerio (ping @mablr au passage) parce que ce sujet m’interesse pour les mêmes raisons.

Je suis partagé sur invidious (d’autant plus depuis qu’ils intègrent dissenter ) pour les mêmes raisons que toi.
Pour l’instant Google bloque sur l’adresse IP, mais jouer au gendarme et au voleur avec Google est voué à l’échec à terme.
Pourtant, d’un autre côté, quand une vidéo n’est dispo que sur YouTube, invidious fait parfaitement le job.

Bref, je suis très partagé aussi.

Par contre, je me disais qu’on pourrait faire jouer le « S » de CHATONS en jouant la carte de la solidarité.
Imaginons un service chatube.org auquel on passerait l’id d’une vidéo Youtube (ex: chatube[.]org/watch?v=tH5EMxQbrQg) et qui ferait un round-roubin entre les différents chatons proposant du invidious (ex: https://yt.elukerio.org/watch?v=tH5EMxQbrQg ou https://invidious.drycat.fr/watch?v=tH5EMxQbrQg ou … ). Bref, tu as l’idée : ça ne résout pas le pb du gendarme et du voleur, mais ça permet au moins de répartir la charge entre instances invidious (notamment en cas de coup de buzz d’un lien).
Bon, c’est peut être une idée pourrie, hein, mais ça serait applicable pour les instances invidious, nitter ou searx (bon, ça a moins d’intérêt pour searx)

rigelk · Novembre 3, 2019, 2:26

ah je n’avais pas vu ce thread. Exaspérant.

(après avoir regardé le thread et les commits, Invidious n’intègre pas encore la possibilité d’afficher les commentaires - c’est juste dans les cartons quoi)

Il n’y a pas d’idée parfaite quand on cherche à marcher sur les plates-bandes de géants du net. Invidious est voué à périr sous le blocage, mais je partage ton avis qu’un minimum de coordination à l’échelle des CHATONS (même si on est juste une poignée) permettrait au moins :

le partage d’astuces techniques pour prolonger la durée de vie du service
la synchronisation pour se retirer le moment venu, et éviter de perdre de l’énergie à « écoper tout seul »
le partage de bonnes infos sur comment informer les utilisateurs d’alternatives plus éthiques mais leur demandant potentiellement plus d’effort (j’ai en tête un simple bandeau, mais ça fait déjà beaucoup)
ta suggestion, que je trouve plutôt intéressante pour éviter le problème de popularité d’une instance

mablr · Novembre 3, 2019, 9:47

Salut !
moi aussi j’ai avis de plus en plus mitigé sur Invidious.
Voici un bilan rapide et personnel en quelques points :

Invidious n’est pas viable à grande échelle, comme searx, même en changeant d’IP on se fait bannir au bout d’un moment.
C’est un pansement sur une jambe de bois, surtout quand on utilise le mode proxy, ça bouffe de la bande passante dans les deux sens ! (ex: l’instance d’@elukerio fait transiter environ 2To de trafic via le « mode proxy » qui activé par défaut)
Pour dissenter, c’est bien dommage , mais c’est du libre, rien n’empêche de forker.
Invidious a tendance à être vorace en espace disque, en effet il stocke beaucoup d’informations utiles seulement à court terme. J’ai donc fait un petit script qui « passe la balais » chaque nuit dans la base de données, en m’inspirant de invidious-updater.
Sinon (un peu de positif quand même ^^) ça marche pas mal du tout, la possibilité de jouer uniquement l’audio est vraiment sympa, ça fait son petit effet quand je présente Invidious à des ami(e)s !

Pour terminer je trouve que chatube.org (méta-instance invidous) est une bonne idée.
Ça existe déjà pour searx : https://searx.neocities.org/ (/!\ Je n’ai pas trouvé le code source).

Si aucune initiative n’émerge dans le collectif pour faire quelque chose de « plus distribué », je pense qu’@elukerio arrêtera le service d’ici un an.

Affaire à suivre …

rigelk · Novembre 5, 2019, 12:41

Pour ajouter un point que je n’ai pas vu mentionné, on a noté à DryCat un accroissement des inscriptions sur d’autres services depuis la mise en service d’Invidious. C’est assez net dernièrement sur notre instance Mastodon. De là à parler de produit d’appel, c’est peut-être un peu fort, mais ça touche clairement un public plus large que ce que l’on avait avant.

@Elukerio vous avez vu un apport similaire ?

On a à peu près le même niveau de traffic avec cette fonctionalité d’activée. On va la désactiver ce soir d’ailleurs. Peut-être que cela réduira notre visibilité auprès des outils de ban automatique de Google, mais en tous cas ça aidera notre bande passante.

Concernant le service https://searx.neocities.org/, pas besoin de chercher bien loin pour le code source : la page est clairement écrite à la main et se suffit en elle-même comme source, apparemment.

Dryusdan · Novembre 5, 2019, 12:58

Bonjour à tous

Pour être précis on est passé de 800Go/mois pour tout les services à 1,6To/semaine pour tous les services depuis l’ajout de invidious dans notre catalogue.

mablr · Novembre 5, 2019, 3:11

Oui nous avons constaté la même chose, c’est un service qui attire même les plus néophytes.

Je trouve que désactiver cette option fait perdre le vrai atout d’Invidious pour l’utilisateur : le relatif anonymat vis-à-vis de youtube.

Ah oui, effectivement c’est du JS fait main ^^, tout se passe du côté client.

neil · Novembre 6, 2019, 1:47

Salut !

À moins que nous disposons d’une nouvelle alternative libre pour permettre à Mme Michu de regarder les vidéos de son Youtuber préféré sans pistage ou de convaincre tous les gros youtuber·euses de migrer vers PeerTube, abandonner Invidious me semble assez inconcevable.

Cela dit j’entends les préoccupations techniques, nous risquons aussi d’avoir le même problème sur notre instance Nitter (qui dépend par ailleurs d’une instance Invidious pour assurer toutes ses fonctionnalités), même si Twitter ne semble pas avoir réagi pour le moment.

L’idée d’un chatube est excellente. Ça serait encore mieux si le chatube en question vérifie si les instances Invidious des CHATONS sont bannies ou non avant de procéder à la redirection de la requête.

Nous avons déjà Booteille qui a travaillé sur son extension Firefox « Invidition », qui redirige automatiquement les utilisateur·ices de YouTube/Twitter sur l’instance Invidious/Nitter de son choix. La répartition des charges est à priori aussi possible au niveau de l’extension.

Elukerio et Drycat : merci à vous de maintenir vos instances, vous faites un super travail, continuez comme ça si vous le pouvez

~ Neil

mablr · Novembre 6, 2019, 6:27

Salut,
l’instance d’Elukerio semble à nouveau bannie , je ne sais pas trop quoi faire maintenant …

Merci @neil pour ce gentil message

djayroma · Novembre 7, 2019, 9:13

@mablr

Alolise vient d’obtenir un /56 dans le DC

Si tu demandes gentiment Alolise doit pouvoir t’obtenir la même chose

Il faut juste qu’on configure ton réseau pour IPv6…

Ensuite, on peut imaginer que tu bricoles un truc pour que ton invidious ne passe QUE par IPv6 et avec un /56 tu dois pouvoir changer régulièrement d’IPs pour tes requêtes…
#worthTrying

rigelk · Novembre 7, 2019, 10:30

@pyg j’ai du code. On y met que les instances des CHATONS, ou d’autres extérieures au collectif y ont leur place ?

EDIT: le code se charge de vérifier toutes les 30min pour chaque instance de sa liste, si elle est bannie ou non, et ne redirige les utilisateurs que vers les instances opérationnelles.

rigelk · Novembre 7, 2019, 11:07

~~à noter que si l’on veut maintenir une liste d’instances du collectif, on peut monter notre version de https://instances.invidio.us/~~ (après avoir lu le code source, le service est intimement lié à la page wiki du projet et à son service d’uptime… donc dur de se le ré-approprier)

mablr · Novembre 7, 2019, 11:47

Trop bien !
Je vais faire la demande également, par contre pour la mise en place ça risque de me prendre un peu de temps :-/
Comme tu dis souvent c’est la faute de la #contractionEspaceTemps

djayroma · Novembre 7, 2019, 10:14

Mon petit @mablr je pense qu’on va faire à l’envers plutôt
On va regarder ta config, utiliser ton IPv6 actuelle, et ensuite on va faire une demande
Et honnêtement ça passera peut être mieux si ça vient d’Alolise #noOffense, car on apas mal bataillé pour l’avoir notre /56

Dryusdan · Novembre 8, 2019, 5:23

Il y a une option dans la configuration

force_resolve: ipv6

Sinon à mes heures pas si perdu que ça (si seulement je pouvais en perdre ) j’ai fais un petit script sur le coin de la table qui est a bien améliorer (j’ai même pas eu le temps de faire un readme).

https://git.drycat.fr/Dryusdan/increment_ipv6/

Il faut modifier la variable RANGE dans le code et créer / modifier le fichier last_digit.txt en y mettant les 4 derniers caractères de votre IPv6 après le :

ça fonctionne, ça fait le taff mais ça manque de variables

En espérant que cela peut vous servir

mablr · Novembre 8, 2019, 10:54

Tu as raison, il faut savoir gérer les priorités.
Sinon @elukerio supportera bientôt (enfin) l’IPv6, j’ai quasiment fini d’apprendre les bases sur ma machine de test.

mablr · Novembre 8, 2019, 10:59

Bien joué !
Je vais mettre ça en place prochainement.

Dryusdan · Décembre 15, 2019, 1:24

Bonjour

Je reviens vers vous un peu plus d’un mois après lers derniers messages.

J’ai découvert cette semaine que le développeur de Invidious a reçu une requête DMCA : https://omar.yt/posts/suspended-patreon

Cette requête lui a valu de se faire couper les vivres par Patreon et cela c’est arrêté là.

Même si les services American (Google, Twitter, Patreon) ne sont pas connu pour leurs analyses de la plainte (on coupe tout et basta), cela m’à quand même forcé à réfléchir.

Aujourd’hui Invidious est un service à part entière qui s’interface entre l’utilisateur et Youtube. Par conséquent il « vole » les revenus de Google et des maisons de disque justement car il permet de visionner sans avoir à payer la vidéo.¹
De plus cela se repose clairement sur l’infrastructure de Google qui a fait une vague énorme de blocage mais qui peut très bien se retourner contre les instances Invidious ou les hébergeurs pénalement.

De mon côté je trouve le risque bien trop gros et comme dis dans le premier post ça ne libère pas de YouTube ni des GAFAM.

Voilà, c’était pour information

Bonne journée
Dryusdan

1 ) Un adblocker bloque également les publicités mais en modifiant le fonctionnement du navigateur. Dans le cas présent c’est un service et non un navigateur modifié.

anon6747921 · Décembre 15, 2019, 2:16

Franchement pourquoi s’attaquer à la consequence ?
Contourner YouTube ? mais ça sert juste à quoi ?
Vous n’aurez pas la puissance de frappe des GAFAM. C’est juste une évidence.
L’énergie dépensée à çà … juste un gâchis.

Poussez plutôt fort pour que poussent des instances Peertube, MAIS pour avoir des instance Peertube il faut quoi ? … de prime abord … avant toutes choses ?
DE LA BANDE PASSANTE (symétrique ce la va de soit) !

C’est là que tout le monde doit pousser, avoir de la bande passante : personnellement je pense que c’est la clef majeur de nos ennuis, il manque çà à bcp de CHATONS pour libérer le web … pour le réinventer et partager … sans passer par un hub central.

Note : je pense que je vais aussi monter un FAI style Illyse (FDN) dans le Puy-de-Dôme, marre du blabla.

popi · Décembre 15, 2019, 3:50

Je suis d’accord avec toi : je vois les initiatives type ‹ filtres GAFAM › (y en avait plein au MozFest) comme des fausses solutions qui ne s’occupent que d’une partie du problème sans l’adresser réellement. Dans ce cas précis : soit on contraint Google à ne plus siphonner nos données, soit on arrive à convaincre les youtubeurs de publier également sur des plateformes plus respectueuses de nos données.

Autrement je préfère inciter à utiliser des extensions du navigateur pour bloquer la pub / les traqueurs et supprimer automatiquement les cookies, au moins c’est valable pour tout le Web.

Si une vidéo YouTube me plaît, en fonction de la licence j’importe et/où je prend contact pour pouvoir la rendre disponible sur Peertube.

Cela dit, j’utilise très peu YouTube dans l’ensemble…