Statistiques des forums de Jeuxvideo.com

[novembre]

Depuis un peu moins d'une heure, les topics de plus de 100000 posts sont splités.
Un nouveau topic au même nom démarre, dès qu'un post eet posté sur le gros topic et l'ancien se retrouve archivés. A noter, que 2 posts sont crées :
- Le dernier de l'ancien topic qui porte par exemple un numéro n
- Le 1er du nouveau qui porte le numéro n+1

Ma question :
Va tu considérer qu'il s'agit de topic différent (cas actuel sans modif) ou va tu faire en sorte de tenir en compte de ses modifs pour réunir les topics splités en 1 seuls pour les stats ?

[Fremen]

Ces "splits" de topics sont vraiment une mauvaise nouvelle pour les statistiques, puisque d'une certaine façon ça fausse les statistiques des gros topics. C'est toujours mieux qu'à une époque où, me semble-t-il, ils avaient carrément supprimé certains gros topics pour faire le ménage.

Comme tu le dis, le programme actuel considère que ce sont deux topics différents.

Après étude du problème, je vois deux méthodes :

1 La plus simple : après le téléchargement des nouveaux messages, je copie tous les messages de la deuxième moité de topic à la fin du premier et ainsi je "fais croire" au programme de stats que le topic n'a jamais été découpé.

Dans ce cas au final on aura un topic regroupé, mais :
- les liens vers les citations de la 2ème partie du topic seront invalides (car ils n'appartiennent pas au même topic en réalité)
- la 2ème partie du topic sera aussi reconnue comme un topic seul, autrement dit les messages de la 2ème partie seront comptés 2 fois, une fois dans le nouveau topic créé par JV, et une autre dans le topic regroupé
- les stats du forum et du site seront faussées à cause de ça

Ces différents points peuvent ensuite être partiellement corrigés, mais c'est une grosse source d'erreurs et on risque d'avoir un résultat bancal.

2. La moins simple : Regrouper les topics concernés à la volée, pendant le calcul des stats, comme le programme le fait déjà avec les pseudos. Sauf que là il s'agit de topics complets et pas de pseudos, ça demandera beaucoup de travail et surtout mon vieux PC risque de ne pas suivre. Déjà là, sans regroupement de topics, il commence les téléchargements le dimanche et met en ligne les stats le vendredi...


Donc pour l'instant c'est un peu l'impasse. Je ne vois pas trop quoi faire à part continuer à considérer que ces topics splittés sont distincts. Si toi ou quelqu'un d'autre a une idée évidemment je suis preneur ^^
_________________

[Silvermo]

Suis confronté au même prob pour mon prog de stats :p
dès mes examens terminés, je me penche sur ZE solution idéale.

[Fremen]

Ah bon, tu te mets aux statistiques toi aussi ? ^^ Cool, on va pouvoir discuter des nouvelles fonctionnalités de JV qui nous empoisonnent la vie alors.

En fait mon gros soucis, c'est que le mien a des données précalculées. Ça a l'avantage d'éviter de devoir réanalyser tous les messages à chaque fois. Et l'inconvénient c'est qu'une fois que des topics ou messages sont analysés, c'est très compliqué de revenir en arrière, à moins de repartir à 0 et refaire un ou deux mois de calculs...

Si le tien fonctionne sans précalculs, tu as des chances de pouvoir trouver une solution plus propre.

En tout cas bon courage pour tes exams. C'est pas de bol d'avoir des épreuves en septembre ^^
_________________

[Silvermo]

En fait mon programme est quasi terminé :p
Récup, envoi dans la bd, mise à jour, requêtes de calcul, design des pages générées (un peu inspiré du tien ^^ ), reste juste à faire les requêtes de maj des calculs, en fonction des regroupements, des topics splittés, etc...
Pour ce qui est du précalculé c'est pareil chez moi ^^
J'ai fait tout mon programme en Java, je connais pas les benchmarks du tien, je me doute que ça doit être bien plus performant.
Y a des différences au niveau des filtres aussi ^^
Et par exemple mes stats sont faites pour un topic ou un forum à la fois, bref pas possible de faire les stats générales

Mais bon on pourra en reparler, et oui pas de bol d'avoir les examens là ^^
Sinon ça m'a bien amusé ce développement, ça m'a aussi causé pas mal de soucis, j'ai découvert des trucs que je soupçonnais pas, et l'arrivée des topics splittés m'a vraiment bien fait chier :p , ou le fait de ne plus pouvoir compter sur les titres de topics uniques, ou encore le fait que des pseudos sur jv.com (les anciens) dépassent la limite normale des pseudos ^^ , etc
Fin bon, j'espère bientôt terminer ce truc ^^

[Silvermo]

Ha oui, au niveau technique j'utilise postgresql, donc l'user doit installer en local, configurer etc...
donc c'est utilisable sous windaube, linux, mac et tout ce qui support java et postgresql :p , je suppose donc tout système unix etc

[Fremen]

[Silvermo]

J'en serai ravi aussi ^^
Je te tiens au courant en tout cas.
Mais à mon avis avec les regroupements de pseudo et topics splittés, je vais m'amuser un peu au niveau optimisation ^^, maj etc

[novembre]

Silvermo tu as utilisé jdbc ?
_________________
GRAAAOUUUUUUU ! :content:
*se roule par terre*

[Silvermo]

Oui bien sûr ^^

[Silvermo]

Pourquoi cette question au fait ? (navré du double post )

[novembre]

Moi dans mon aspirateur, j'utilise l'implementation Hibernate de JPA et le tout dans une application Spring.
C'est pas forcement ce qu'il a de mieux, mais je fais ça pour me faire un peu de pratique sur jpa.
_________________
GRAAAOUUUUUUU ! :content:
*se roule par terre*

[silvermo]

Ok, je t'avouerai que j'y ai jamais touché (JPA et Spring)