Auteur Message
silvermo
MessagePosté le: Mar Sep 09, 2008 9:29 am    Sujet du message:

Ok, je t'avouerai que j'y ai jamais touché Smile (JPA et Spring)
novembre
MessagePosté le: Mar Sep 09, 2008 7:23 am    Sujet du message:

Moi dans mon aspirateur, j'utilise l'implementation Hibernate de JPA et le tout dans une application Spring.
C'est pas forcement ce qu'il a de mieux, mais je fais ça pour me faire un peu de pratique sur jpa.
Silvermo
MessagePosté le: Lun Sep 08, 2008 11:30 pm    Sujet du message:

Pourquoi cette question au fait ? (navré du double post Sad )
Silvermo
MessagePosté le: Lun Sep 08, 2008 11:30 pm    Sujet du message:

Oui bien sûr ^^
novembre
MessagePosté le: Lun Sep 08, 2008 10:18 pm    Sujet du message:

Silvermo tu as utilisé jdbc ?
Silvermo
MessagePosté le: Dim Sep 07, 2008 11:58 am    Sujet du message:

J'en serai ravi aussi ^^
Je te tiens au courant en tout cas.
Mais à mon avis avec les regroupements de pseudo et topics splittés, je vais m'amuser un peu au niveau optimisation ^^, maj etc
Fremen
MessagePosté le: Dim Sep 07, 2008 11:28 am    Sujet du message:

Silvermo a écrit:
En fait mon programme est quasi terminé :p
Récup, envoi dans la bd, mise à jour, requêtes de calcul, design des pages générées (un peu inspiré du tien ^^ ), reste juste à faire les requêtes de maj des calculs, en fonction des regroupements, des topics splittés, etc...
Pour ce qui est du précalculé c'est pareil chez moi ^^


On dirait que tu as déjà abattu le gros du travail en effet ^^

Concernant ce qu'il te reste à faire, la grosse difficulté pour moi ça a plutôt été le temps de tester tous les cas de figure et de corriger les multiples bugs dans chacun d'entre eux. Les regroupements et mises à jour c'est parfois un peu traitre quand tu fais du précalculé.

Silvermo a écrit:
J'ai fait tout mon programme en Java, je connais pas les benchmarks du tien, je me doute que ça doit être bien plus performant.
Y a des différences au niveau des filtres aussi ^^
Et par exemple mes stats sont faites pour un topic ou un forum à la fois, bref pas possible de faire les stats générales Wink


En fait sur le mien, le goulot d'étranglement ce sont les accès disque de la base de données. Autrement dit, mon programme serait en Python, Basic, Java ou C, à mon avis il n'y aurait pas plus de quelques % d'écart. Ça a justement été l'une des surprises quand j'ai fait mes premiers tests : à partir du moment où tu t'appuies sur un SGBD, les performances dépendent principalement de lui, des réglages que tu fais dessus et de l'optimisation de tes requêtes.

La différence est peut-être plus dans la consommation mémoire, mais bon on n'est plus à l'époque où on payait 150€ pour 4Mo de RAM Wink

De plus si tu ne gères pas de stats générales, tu risques d'y gagner pas mal, car ça demande quelques sacrifices : quand tu regroupes trop d'infos au même endroit, les performances tombent un peu.

En tout cas ton choix de Java/Postgre est probablement judicieux.

Silvermo a écrit:
Mais bon on pourra en reparler, et oui pas de bol d'avoir les examens lĂ  ^^
Sinon ça m'a bien amusé ce développement, ça m'a aussi causé pas mal de soucis, j'ai découvert des trucs que je soupçonnais pas, et l'arrivée des topics splittés m'a vraiment bien fait chier :p , ou le fait de ne plus pouvoir compter sur les titres de topics uniques, ou encore le fait que des pseudos sur jv.com (les anciens) dépassent la limite normale des pseudos ^^ , etc
Fin bon, j'espère bientôt terminer ce truc ^^


Oui lol, c'est ça qui est super chez JV, il y a tellement de messages et d'activité que tu tombes toujours sur un cas particulier qui vient t'enquiquiner. Mais bon, une fois que tes stats seront en ligne, tu peux faire confiance aux forumeurs pour critiquer, même ce qui est correct. Ça aide beaucoup à repérer tous ces petits "imprévus" Wink

Silvermo a écrit:
Ha oui, au niveau technique j'utilise postgresql, donc l'user doit installer en local, configurer etc...
donc c'est utilisable sous windaube, linux, mac et tout ce qui support java et postgresql :p , je suppose donc tout système unix etc


Tout à fait. À la base, Java (l'implémentation de SUN) ne tournait que sur Intel x86, mais depuis que le code a été libéré, on devrait commencer à le voir s'étendre encore davantage. En tout cas ça fait plaisir de voir autre chose que du Visual truc pas portable de Microsoft !

En tout cas si tu montes un site ou que tu mets des stats quelque part, n'hésite pas à me faire signe, je serais content d'y jeter un oeil ^^
Silvermo
MessagePosté le: Sam Sep 06, 2008 10:12 pm    Sujet du message:

Ha oui, au niveau technique j'utilise postgresql, donc l'user doit installer en local, configurer etc...
donc c'est utilisable sous windaube, linux, mac et tout ce qui support java et postgresql :p , je suppose donc tout système unix etc
Silvermo
MessagePosté le: Sam Sep 06, 2008 10:10 pm    Sujet du message:

En fait mon programme est quasi terminé :p
Récup, envoi dans la bd, mise à jour, requêtes de calcul, design des pages générées (un peu inspiré du tien ^^ ), reste juste à faire les requêtes de maj des calculs, en fonction des regroupements, des topics splittés, etc...
Pour ce qui est du précalculé c'est pareil chez moi ^^
J'ai fait tout mon programme en Java, je connais pas les benchmarks du tien, je me doute que ça doit être bien plus performant.
Y a des différences au niveau des filtres aussi ^^
Et par exemple mes stats sont faites pour un topic ou un forum à la fois, bref pas possible de faire les stats générales Wink

Mais bon on pourra en reparler, et oui pas de bol d'avoir les examens lĂ  ^^
Sinon ça m'a bien amusé ce développement, ça m'a aussi causé pas mal de soucis, j'ai découvert des trucs que je soupçonnais pas, et l'arrivée des topics splittés m'a vraiment bien fait chier :p , ou le fait de ne plus pouvoir compter sur les titres de topics uniques, ou encore le fait que des pseudos sur jv.com (les anciens) dépassent la limite normale des pseudos ^^ , etc
Fin bon, j'espère bientôt terminer ce truc ^^
Fremen
MessagePosté le: Sam Sep 06, 2008 8:18 pm    Sujet du message:

Ah bon, tu te mets aux statistiques toi aussi ? ^^ Cool, on va pouvoir discuter des nouvelles fonctionnalités de JV qui nous empoisonnent la vie alors. Smile

En fait mon gros soucis, c'est que le mien a des données précalculées. Ça a l'avantage d'éviter de devoir réanalyser tous les messages à chaque fois. Et l'inconvénient c'est qu'une fois que des topics ou messages sont analysés, c'est très compliqué de revenir en arrière, à moins de repartir à 0 et refaire un ou deux mois de calculs...

Si le tien fonctionne sans précalculs, tu as des chances de pouvoir trouver une solution plus propre.

En tout cas bon courage pour tes exams. C'est pas de bol d'avoir des Ă©preuves en septembre ^^
Silvermo
MessagePosté le: Sam Sep 06, 2008 7:42 pm    Sujet du message:

Suis confronté au même prob pour mon prog de stats :p
dès mes examens terminés, je me penche sur ZE solution idéale.
Fremen
MessagePosté le: Sam Sep 06, 2008 5:48 pm    Sujet du message:

Ces "splits" de topics sont vraiment une mauvaise nouvelle pour les statistiques, puisque d'une certaine façon ça fausse les statistiques des gros topics. C'est toujours mieux qu'à une époque où, me semble-t-il, ils avaient carrément supprimé certains gros topics pour faire le ménage.

Comme tu le dis, le programme actuel considère que ce sont deux topics différents.

Après étude du problème, je vois deux méthodes :

1 La plus simple : après le téléchargement des nouveaux messages, je copie tous les messages de la deuxième moité de topic à la fin du premier et ainsi je "fais croire" au programme de stats que le topic n'a jamais été découpé.

Dans ce cas au final on aura un topic regroupé, mais :
- les liens vers les citations de la 2ème partie du topic seront invalides (car ils n'appartiennent pas au même topic en réalité)
- la 2ème partie du topic sera aussi reconnue comme un topic seul, autrement dit les messages de la 2ème partie seront comptés 2 fois, une fois dans le nouveau topic créé par JV, et une autre dans le topic regroupé
- les stats du forum et du site seront faussées à cause de ça

Ces différents points peuvent ensuite être partiellement corrigés, mais c'est une grosse source d'erreurs et on risque d'avoir un résultat bancal.

2. La moins simple : Regrouper les topics concernés à la volée, pendant le calcul des stats, comme le programme le fait déjà avec les pseudos. Sauf que là il s'agit de topics complets et pas de pseudos, ça demandera beaucoup de travail et surtout mon vieux PC risque de ne pas suivre. Déjà là, sans regroupement de topics, il commence les téléchargements le dimanche et met en ligne les stats le vendredi...


Donc pour l'instant c'est un peu l'impasse. Je ne vois pas trop quoi faire à part continuer à considérer que ces topics splittés sont distincts. Si toi ou quelqu'un d'autre a une idée évidemment je suis preneur ^^
novembre
MessagePosté le: Lun Juil 21, 2008 9:19 am    Sujet du message: JV.com et topic splitĂ©

Depuis un peu moins d'une heure, les topics de plus de 100000 posts sont splités.
Un nouveau topic au même nom démarre, dès qu'un post eet posté sur le gros topic et l'ancien se retrouve archivés. A noter, que 2 posts sont crées :
- Le dernier de l'ancien topic qui porte par exemple un numéro n
- Le 1er du nouveau qui porte le numéro n+1

Ma question :
Va tu considérer qu'il s'agit de topic différent (cas actuel sans modif) ou va tu faire en sorte de tenir en compte de ses modifs pour réunir les topics splités en 1 seuls pour les stats ?

Powered by phpBB © 2001, 2005 phpBB Group