[Pomysł] Nasz serwer statystyk

Zaczęty przez krzyszp, 13 Listopad 2010, 14:18

emik

Cytat: krzyszp w 14 Listopad 2010, 17:54


CytatPotwierdzam po potwierdzeniu meilowym konta, FF i IE pomimo czyszczenia cache caly czas:
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1: SELECT * FROM tblSubTeams WHERE TeamID =

Szczerze mówiąc, to jeszcze tego nie rozumiem, zwłaszcza, że jak dotąd ten błąd tylko u Ciebie występuje... Wygląda na to, że jesteś podłączony do teamu, który został skasowany w bazie. Podejrzewam, że program aktualizujący statystyki ma błąd i czyści jakieś dane - sprawdzę to i poprawię ręcznie, ale problem wystąpi jeszcze jutro (app do ściągania danych chodzi na kompie w pracy, więc w nocy jeszcze coś "spieprzy" zanim poprawię...



u mnie identyczny komunikat


krzyszp

Cytat: emik w 14 Listopad 2010, 14:22
po zalogowaniu:

CytatYou have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1: SELECT * FROM tblSubTeams WHERE TeamID =

Spróbujcie teraz? Chyba wiem, gdzie jest błąd...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

mimeq

Teraz mam tak:

Twoje projekty:

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1: SELECT DISTINCT ProjectID FROM tblScores WHERE UserID=;


krzyszp

Cytat: mimeq w 14 Listopad 2010, 18:21
Teraz mam tak:

Twoje projekty:

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1: SELECT DISTINCT ProjectID FROM tblScores WHERE UserID=;
Ok, czyli posypało się odczytywanie ID usera z tabeli z joomli, a to dlatego, że... nie masz scalonego konta.

Koniecznie muszę wymusić scalanie konta podczas rejestracji bo to tutaj jest błąd. Spróbuj najpierw scalić konto i napisz mi jaki jest efekt, ok?

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

RAD-Poland

#44
mam również ten komunikat
CytatTwoje projekty:

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1: SELECT DISTINCT ProjectID FROM tblScores WHERE UserID=;

- wczoraj: zalogowałem się, przyłączyłem do B@P, ale nie zdążyłem podać swojego CPID
- konto mam scalone, więc to inny problem

błąd powstał prawdopodobnie z tego że nie przewidziano wykonywania pewnych czynności na raty
jeśli wymagane jest jednoczesny wybór subteam'u i podanie CPID to może przydałby się jakiś formularz (wymuszający to)

EDIT: jeśli nie można tego obejść to mój CPID = 3a045e428e45f087f7cc832bdb4791ff
EDIT2: po poniższej interwencji, logowanie przebiegło poprawnie  :)

   
WCG:
PG:         YOYO:

     

krzyszp

Wymagane jest tylko scalenie konta i jest to mój błąd - nie przewidziałem opcji, że to faktycznie nie jest konieczne :)
Muszę napisać include'a, który będzie to sprawdzał i w przypadku braku scalenia przekierowywał na odpowiednią stronę. Kilka minut roboty, ale jeszcze na kompie w domu nie mam środowiska przygotowanego (ale jeszcze dziś będzie).

Dodatkowo, w przypadku niektórych użytkowników zeruje się w pewnych okolicznościach ID joomli w bazie statystyk... To jest pilne, muszę to poprawić, zamierzam także dodać opcję dodawania projektów przez każdego usera do bazy danych i poprawiania linków do istniejących projektów - to pozwoli szybko reagować na powstanie nowych projektów.

Ps. Scaliłem Twoje konto w bazie. Nie jest Twój CPID mi potrzebny - to skrypt go wymaga, ja Cię znalazłem przez administrację Joomli :)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

krzyszp

No i sprawa załatwiona Panowie i Panie  ;D ;D ;D

Teraz chyba nie ma już takich rażących błędów???

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Cyfron

w Sub-teamy:

CytatNasze "subteamy"
sobota, 13 listopada 2010 13:24 Administrator
Email Drukuj PDF

Lista subteamów drużyny BOINC@Poland:
AGH

CyFRoN zgromadził punktów


BOINC@Poland

[BOINC@Poland]emik zgromadził punktów

[BOINC@Poland] Szopler zgromadził punktów

eclipse99 zgromadził punktów

mimeq zgromadził punktów

RAD-Poland zgromadził punktów

JaRa zgromadził punktów

J. Gdak zgromadził punktów

emik zgromadził punktów

pmgpmg zgromadził punktów

krzysztof piszczek - wspieram polski projekt boinc zgromadził punktów

Nie ma żadnych punktów itd - tak ma być?

Zmieniłbym też kolejność linków w "Twoje menu" - na samą górę bym dał "połącz konta" a potem stwórz/przyłącz

Tak jak było gdzieś już wcześniej mówione - fajnie by było, jakby projekty, które wyświetla, że do nich należę, były wyświetlane w kolejności alfabetycznej, albo w kolejności wg punktów (ale wtedy np z pokazaniem punktacji) no i lepiej chbya by wyglądało, jakby te projekty były jeden po drugim, a nie jeden za drugim (większa czytelność).

no i oczywiście wielki szacun za tą wielką robotę jaką tutaj wykonałeś!  :respect:
Ode mnie na pewno masz piwo !

krzyszp

Tak, brak punktów wynika z tego, że właśnie grzebię w kodzie, co powoduje błędy, więc chwilowo wyłączyłem, kłania się też konieczność poprawienia udate'u dat w bazie programem, który napisałem, ale to musi poczekać do jutra (soft chodzi na windzie, może dziś w nocy spróbuję to zrobić na laptopie).

Kolejność linków to akurat łatwa sprawa, zaraz to zmienię (podobnie trzeba "popracować" nad terminologią).
Natomiast kolejność wyświetlania projektów, to trochę bardziej skomplikowana sprawa i musi poczekać, aż uporam się z innymi problemami "wywalającymi stronę"...
Natomiast wyświetlanie ich "jeden pod drugim" powoduje, że strona mocno się "rozjeżdża" przy większej ilości projektów...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

krzyszp

Dodałem możliwość wybrania województwa dla którego się liczy, wkrótce dodam stronę ze statystykami poszczególnych województw...

Za kilka minut też zrobię listę brakujących danych dla statystyk, mam nadzieję, że pomożecie znaleźć te informacje...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

#50
pomożemy

a jak z bezpieczeństwem haseł trzymanych u ciebie na serwerku?

krzyszp

http://climateprediction.net/stats/team.xml.gz

CytatXML Parsing Error: not well-formed
Location: http://climateapps2.oucs.ox.ac.uk/cpdnboinc/stats/user.xml.gz
Line Number 1, Column 1:￿)>�L

Ktoś coś wie, co jest grane?

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

#52
kodowanie?

http://social.msdn.microsoft.com/Forums/en/xmlandnetfx/thread/47f6eb6a-b062-4f4d-8b7f-b4afb1b2725d

krzyszp

Nie, w ogóle nie dają się ściągnąć pliki ze statystykami mimo, że je widać...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

apohawk

#54
po dekompresji otwiera się normalnie
No good deed goes unpunished.

krzyszp

Cytat: krzyszp w 16 Listopad 2010, 14:46
Nie, w ogóle nie dają się ściągnąć pliki ze statystykami mimo, że je widać...

Cytatpo dekompresji otwiera się normalnie

Tylko, że ja go ściągnąć nie mogę...
Ani przez FF, ani używając

Public Sub DownloadFile(ByVal uri As String, ByVal destFile As String, Optional ByVal username As String = Nothing, Optional ByVal pwd As String = Nothing)
        Dim wc As New System.Net.WebClient


        If Not username Is Nothing AndAlso Not pwd Is Nothing Then
            wc.Credentials = New System.Net.NetworkCredential(username, pwd)
        End If
        On Error GoTo blad
        Debug.Print(uri)
        wc.DownloadFile(uri, destFile)
        Exit Sub
blad:
        Resume Next

    End Sub


z VB

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

buninek


apohawk

Ściągałem tego urla przez wget i poszło bez problemów. FF ściąga i otwiera ten plik skompresowany i dlatego jest ten błąd 'linia 1; kolumna 1 cośtam', ale jak dałem pokaż źródło (ctrl+u), to od razu było widać że nie rozpakował. Daj w FF zapisz link jako i się ściągnie.
No good deed goes unpunished.

krzyszp

Ok, już działa :)

Tak przy okazji, udało mi się w firmie załatwić przekierowanie portów, dzięki czemu nie muszę się już bać o rozrost bazy (ponad 1,2MB dziennie). Co prawda, stronka będzie trochę wolniej działać, ale chyba warto...

W weekend przeniosę dane.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

a jak dyskusja z Pigulcem?

krzyszp

Na razie zamarła... Kombinuję teraz na dwie strony (zależnie od wyników jakie da się osiągnąć) - albo napiszę kod generujący tabele z wynikami do wklejenia przez Piga, albo samodzielnie przeliczę statystyki, potrzebowałbym tylko info kto jest w jakim województwie...

Generalnie, mając już wygenerowane tabele mogę je też wkleić, a właściwie, to łatwiej jest mi je generować "w locie" na stronie... Tylko, że w takim wypadku Pigu nie ma jak ich zaimportować...

Znalazłem też w miarę prosty instruktaż, jak generować wykresy, teraz tylko muszę się nauczyć dostosować to do specyfiki Joomli i strony, a to może zająć mi trochę czasu... Pomoc mile widziana.

Najbardziej palącym problemem jest brak niektórych statystyk oraz "rozjeżdżanie" się CPID, nadal z tym walczę, ale nie bardzo mogę znaleźć inny sposób na jednoznaczną identyfikację usera w plikach statystyk...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

przypisanie do województw mają chyba Sergeant i Apohawk :D

krzyszp

Można też to na stronie samodzielnie zrobić :)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

a nie prościej byłoby zrobić pełną samoobsługę? Użytkownik po zarejestrowaniu podawałby swoje ID w poszczególnych projektach i wybierał sobie subteamy?

krzyszp

A masz ochotę lecieć przez 96 projektów i wyszykiwać swoje ID? :)

Ps. W międzyczasie przeniosłem bazę danych :)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Szopler

Cytat: Troll81 w 16 Listopad 2010, 17:26
a nie prościej byłoby zrobić pełną samoobsługę? Użytkownik po zarejestrowaniu podawałby swoje ID w poszczególnych projektach i wybierał sobie subteamy?

1000x XD
Szczególnie nowych to zachęci...
pełen automat to rozumiem %)

Cyfron

Przy wyborze województwa, w tej liście rozwijanej, zamiast polskich znaków mam "?"

apohawk

krzyszp, podaj maila na pw, to podeślę ci dump bazy.
No good deed goes unpunished.

krzyszp

Cytat: Cyfron w 16 Listopad 2010, 20:15
Przy wyborze województwa, w tej liście rozwijanej, zamiast polskich znaków mam "?"
Muszę to poprawić... Jest jakiś problem z kodowaniem pomiędzy serwerem mysql i silnikiem strony (mimo, że na obu ustawiłem utf-8) i w związku z tym województwa z pl-znakami są źle wyświetlane i nie zapisywane w bazie...

@apohawk - PM-ka poszła.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Karlik

Cytat: krzyszp w 16 Listopad 2010, 21:25
Muszę to poprawić... Jest jakiś problem z kodowaniem pomiędzy serwerem mysql i silnikiem strony (mimo, że na obu ustawiłem utf-8)
Problem domyślnego połączenia zapewne. Nie wiem jak się łączysz (php,python,???), ale ogólnie albo możesz zmienić w ustawieniach serwera albo jako pierwsze zapytanie (zaraz po połączeniu) daj:
SET NAMES utf8

krzyszp

#70
PHP...

I tu wkradł się mój błąd...

Ze względu na to, że piszę te krypty tak jak piszę (czyli jako "wklejki" w artykuły), nie bawiłem się w include'owanie połączenia (z powodów, jakie "robiący" w Joomli znają). Dlatego definicje połączenia mam powrzucane w różne dziwne miejsca.
Chwilowo wywaliłem krzaczki z bazy, czyli zamieniłem Łódzkie na Ludzkie, a w wolnym czasie poprawię to na porządnie i sprawdzę jak SET NAMES się sprawdzi.

CytatProblem domyślnego połączenia zapewne.
Sprawdziłem, na 100%. Jutro mnie nie ma w firmie, ale pojutrze rano zmienie ustawienia MySQL'a na serwerze.


Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

apohawk

baza wysłana... mam nadzieję  8)
No good deed goes unpunished.

krzyszp

Tak dla przypomnienia...

Dodałem tabelę z wynikami województw (bazując na tabeli dostarczonej mi przez apohawk'a) i tu ciekawostka... Nie wiem jakim cudem, ale byłem podłączony pod "dolnośląskie" |-?
Poprawiłem na Lubuskie :)

Oczywiście, każdy może się zarejestrować i zmienić województwo w każdej chwili...

Z postępu prac:

Nadal nie jest na 100% dograna synchronizacja wyników z serwerami... Chyba zacznę planować przeniesienie tej funkcji na serwer linuksowy w firmie bazując albo na skrypcie PHP albo na PERL'u (ale nie mam z nim żadnego doświadczenia - pomoc więc wskazana).

Statystyki nadal nie są mocno rozbudowane, ale do większej rozbudowy przystąpię dopiero jak opanuję rysowanie wykresów (albo ktoś z Was to zrobi i podeśle mi przykładowe kody źródłowe generujące statystyki z bazy) - do użycia w sygnaturkach.

Z dodatkowych pomysłów - wymyśliłem sobie, że skoro jest możliwość pobierania statystyk wyścigów, dlaczego by i ich nie zaimplementować na stronie? Wszak raczej nie ogranicza nas teraz wielkość bazy danych (do 200GB :) ).

W tym wypadku można by dopisywać wyścigi bazując na formularzu wypełnionym przez kogokolwiek z zarejestrowanych użytkowników. Co o tym myślicie?

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

mimeq

mimeq zgromadził 2154775.14 punktów

Troche mi sie zle patrzy na tak "wyswietlany" wynik, moga byc np przecinki, spacje lub inny wymysl ?  ;D

2 154 775.14 punktów
2,154,775.14 punktów

Juz prawie pokazuje tyle co boincstats  ;) :

2,246,305.72



krzyszp

#74
Cytat: mimeq w 19 Listopad 2010, 16:30
mimeq zgromadził 2154775.14 punktów

Troche mi sie zle patrzy na tak "wyswietlany" wynik, moga byc np przecinki, spacje lub inny wymysl ?  ;D
Postaram się :)

Edit:
Zrobione :)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

apohawk

Cytat: krzyszp w 19 Listopad 2010, 16:24
Dodałem tabelę z wynikami województw (bazując na tabeli dostarczonej mi przez apohawk'a) i tu ciekawostka... Nie wiem jakim cudem, ale byłem podłączony pod "dolnośląskie" |-?
Poprawiłem na Lubuskie :)
Kurde, też nie wiem. Nie było cię w żadnym csv, którymi karmiłem bazę, a w bazie "dolnośląskie"  XD
shit happens
No good deed goes unpunished.

Bober

Super pomysł krzyszp i szacunek za realizację  :respect:

krzyszp

Cytat: Bober w 19 Listopad 2010, 20:55
Super pomysł krzyszp i szacunek za realizację  :respect:
Szacunek się nie należy - na stronie właściwie jeszcze nie ma nic, co nie było by łatwe do uzyskania (i pokazania) :)

Niestety, wciąż nie ma pełnych danych i nie są generowane grafiki dla sygnaturek... Wciąż też trzeba dograć sprawę jednoznacznego identyfikowania userów oraz wyświetlanie indywidualnych statystyk. Chciałbym też zautomatyzować statystyki dla wyścigów. Niestety, nie wiem, czy czasowo dam radę ogarnąć to wszystko poprawiając jednocześnie skrypty - jest z tym trochę roboty zanim zacznie to naprawdę niezawodnie działać...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Bober

Dobrze, to na zachętę było  :D

mimeq

Cytat: krzyszp w 19 Listopad 2010, 16:50
Cytat: mimeq w 19 Listopad 2010, 16:30
mimeq zgromadził 2154775.14 punktów

Troche mi sie zle patrzy na tak "wyswietlany" wynik, moga byc np przecinki, spacje lub inny wymysl ?  ;D
Postaram się :)

Edit:
Zrobione :)

Oddzialy wewnetrzne B@P:

mimeq zgromadził 2154775.14 punktów
RAD-Poland zgromadził 4991832.73 punktów
JaRa zgromadził 4043481.78 punktów
J. Gdak zgromadził 2230095.05 punktów
emik zgromadził 113.00 punktów

Tu nie widze "apostrofów", reszta wyglada ok  :respect: