ROZWIĄZANY: IP.SEO dodaje zbyt mało URLs do mapy

[Gość ambrella]

Witam,

mam forum na którym jest ponad 220k postów i ponad 20k topiców

Jednak w czasie generowania map IP.SEO dodaje jedynie nie wiele więcej niż 10k URLi.

Choć w Sitemap Generation=>settings ustawiam w "Number of topics" opcję ALL lub 50 000 to cały czas ilość URLi w generowanych mapach się nie zmienia.

poniżej fragment wyniku z Last Run

Czy coś działa nie tak, czy wprost przeciwnie wszystko jest OK tylko ja nie załapałem jak to powinno działać. Bo mim zdaniem powinien dodawać wszystkie topiki

12:30:01 - - - Running plugin: forums
12:30:01 - - - - Generated 1 sitemaps.
12:30:01 - - - - - File 1, added 48 URLs.
12:30:01 - - - Running plugin: gallery_albums
12:30:01 - - - - Generated 0 sitemaps.
12:30:01 - - - Running plugin: gallery_images
12:30:01 - - - - Generated 0 sitemaps.
12:30:01 - - - Running plugin: topics
12:30:22 - - - - Generated 2 sitemaps.
12:30:22 - - - - - File 1, added 10000 URLs.
12:30:22 - - - - - File 2, added 46 URLs.
12:30:22 - Running plugins for third party applications.
12:30:22 - No plugins to run for: customSidebarBlocks
12:30:22 - Sitemap generation finished.

[mlodszy]

Którą masz wersję IP.SEO?

[Gość ambrella]

Którą masz wersję IP.SEO?

wersja 1.3.0

[Jakub]

IP.SEO automatycznie dzieli sitemapy na pliki po 10000 wpisów. To normalne.

[Gość ambrella]

IP.SEO automatycznie dzieli sitemapy na pliki po 10000 wpisów. To normalne.

Ja rozumiem, że dzieli, tylko pytanie z jakiego powodu dodaje tylko 1000 i 46 URLi? Czyli tworzy tylko 2 pliki.

Bo powinien dodać ponad 22 000 URLi czyli stworzyć minimum 3 pliki.

[mlodszy]

Ok, spojrzałem w konfiguracje:

Important: You must disable the sitemap generator task and run as a cron job in order to include more than 10,000 topics.

[DawPi]

No i wszystko jasne!

[Gość ambrella]

No i wszystko jasne!

No nie do końca jeszcze jasne.

Rozumiałem od samego początku (sorry, że o tym nie wspomniałem w pierwszym poście) że trzeba wyłączyć "task" w ramach: System => System Scheduler => Sitemap Generator (Generates a sitemap for your forum.)

więc w tym miejscu mam wyłączone i ustawione w cronie curl który jest tam wyświetlany uruchamianie o 30 minucie każdej godziny i jak widać w pierwszym poście leci akcja co godzinkę i niestety dodaje tylko 10k URLi

[DawPi]

Być może jest to bug i powinieneś go zgłosić: http://community.invisionpower.com/tracker/project-44-ipseo/

[Łukasz]

U mnie tylko generuje 18 140

Z ponad Napisanych postów 185148

Ps. Nie mam aktywnej licencji ;(

Edytowane 28 Lutego 2011 przez Łukasz

[Gość ambrella]

Ps. Nie mam aktywnej licencji ;(

To chyba nie jest problem aktywności licencji bo to dotyczy wsparcia itp. a nie działania programu jako takiego.

Zgłosiłem wczoraj jako bug jak sugerował DawPi, zobaczymy co będzie. O wynikach poinformuję.

[Łukasz]

Tak ale bez aktywnej licencji nie mogę wejść w temat z pomocą od tej modyfikacji na forum IPS.

[Gość ambrella]

Tak ale bez aktywnej licencji nie mogę wejść w temat z pomocą od tej modyfikacji na forum IPS.

a o tym nie pomyślałem.

Tak czy inaczej zgłosiłem i ... nic się nie dzieje.

Obserwuje temat i jak coś się pojawi to zamelduję

[andriu-m]

sprawdź do jakiej grupy są przypisywane boty bo prawdopodobnie masz ustawioną inna grupę niż gość dla botów

a generator sitemapy generuje sobie listę for do których boty maja dostęp jako gość, potem liste tematów do których grupa bot (gość) ma dostęp i wpisuje je do sitemapy, jeśli do for nie mają dostępu goście to generator pominie te tematy i fora

mimo ze jest możliwość wybrania do jakiej grupy mają byc przypisywane boty to i tak generator wpisuje linki do sitemapy tylko te do których maja dostęp goście

[Łukasz]

Zmiana uprawnień grupy gość pomogła.

Wiec trzeba nadać prawa grupie gość i będzie wszystko ok.

[Gość ambrella]

Zmiana uprawnień grupy gość pomogła.

Wiec trzeba nadać prawa grupie gość i będzie wszystko ok.

czyli jak?

ustawić w IP.SEO => Settings => System => Search Engine Optimization => Treat Search Engine as part of which group?

na guests? o to chodzi?

[andriu-m]

i zezwolic grupie gość na dostęp do for ktore maja byc w sitemapie

[Gość ambrella]

tak zrobiłem - miałem ustawione na user i zmieniłem na guest, goście mają dostęp do prawie wszystkich for poza kilkoma malutkimi (sprawdziłem maski) i efekt jest taki:

Last run: March 3rd, 2011 - 7:02pm
19:02:01 - Sitemap generation started.
19:02:01 - Running plugins for IPS applications.
19:02:01 - No plugins to run for: calendar
19:02:01 - No plugins to run for: ipchat
19:02:01 - No plugins to run for: portal
19:02:01 - No plugins to run for: convert
19:02:01 - Running plugins for: ipseo
19:02:01 - - - Running plugin: blog_entries
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: blogs
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: content_database_categories
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: content_database_records
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: content_pages
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: core
19:02:01 - - - - Generated 1 sitemaps.
19:02:01 - - - - - File 1, added 1 URLs.
19:02:01 - - - Running plugin: downloads_categories
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: downloads_files
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: forums
19:02:01 - - - - Generated 1 sitemaps.
19:02:01 - - - - - File 1, added 50 URLs.
19:02:01 - - - Running plugin: gallery_albums
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: gallery_images
19:02:01 - - - - Generated 0 sitemaps.
19:02:01 - - - Running plugin: topics
19:02:21 - - - - Generated 2 sitemaps.
19:02:21 - - - - - File 1, added 10000 URLs.
19:02:21 - - - - - File 2, added 66 URLs.
19:02:21 - Running plugins for third party applications.
19:02:21 - No plugins to run for: customSidebarBlocks
19:02:21 - No plugins to run for: sitemap
19:02:21 - Sitemap generation finished.

czyli w zasadzie nic się nie zmieniło

dzisiejsze dane z "Statystyki systemu":

Tematów - 24299

Postów - 196325

[andriu-m]

a w uprawnieniach for jest zaznaczona opcja takze "Czytanie" ?

Edytowane 3 Marca 2011 przez andriu-m

[Gość ambrella]

a w uprawnieniach for jest zaznaczona opcja takze "Czytanie" ?

Tak właśnie mam ustawione. Wyświetlanie i czytanie dla grupy "guests".

[andriu-m]

a fora nadrzedne? jak wygladaja uprawnienia?

podalbys adres forum :]

albo mozesz sprobowac zmusic generator do uzycia uprawnien grupy 'members'

admin\applications_addon\ips\ipseo\extensions\sitemapPlugins\forums.php

		// Get categories:
	$permCheck = $this->DB->buildWherePermission(array($this->settings['guest_group']), 'p.perm_2', true);

zamien na

		// Get categories:
	$permCheck = $this->DB->buildWherePermission(array($this->settings['member_group']), 'p.perm_2', true);

admin\applications_addon\ips\ipseo\extensions\sitemapPlugins\topics.php

$permCheck = $this->DB->buildWherePermission(array($this->settings['guest_group']), 'p.perm_2', true);

zamien na

$permCheck = $this->DB->buildWherePermission(array($this->settings['member_group']), 'p.perm_2', true);

Edytowane 4 Marca 2011 przez andriu-m

[Gość ambrella]

Wszystkie fora są dostępne dla guests, wyjątek stanowią 2 podfora ale to nie powinno mieć przecież żadnego znaczenia.

zmiana efekt dała żaden...

no może nie do końca bo teraz w drugim pliku jest 70 URLi zamiast 66 wczoraj

[Gość ambrella]

zaobserwowałem pewną prawidłowość - wraz z powstawaniem kolejnych tematów na forum ilość URLi w drugim pliku rośnie (42, 66 teraz 72). Tak jakby zaczynał czytać forum do generowania map od pewnego konkretnego miejsca/daty i potem już dodawał.

[andriu-m]

Important: You must disable the sitemap generator task and run as a cron job in order to include more than 10,000 topics.

masz mozliosc uruchomnienia tego z crona ?

nie wiem czy dobry kawalek kodu znalazłem ale wydaje mi się ze to ten odpowiada za to ze przy uruchomieniu z zadaz IPB wygeneruje tylko 10 000 topicow, jeśli zostanie uruchomimy z crona to wygeneruje do 50000000

admin\applications_addon\ips\ipseo\extensions\sitemapPlugins\topics.php

public function generate()
{
	if($this->settings['sitemap_priority_topics'] == 0)
	{
		return;
	}

	$maxTopics = (int)$this->settings['sitemap_recent_topics'];

	if(!ipSeo_SitemapGenerator::isCronJob() && ($maxTopics > 10000 || $maxTopics == -1))
	{
		$maxTopics = 10000;
	}
	elseif(ipSeo_SitemapGenerator::isCronJob() && $maxTopics == -1)
	{
		$maxTopics = 50000000;
	}

Edytowane 5 Marca 2011 przez andriu-m

[Gość ambrella]

Important: You must disable the sitemap generator task and run as a cron job in order to include more than 10,000 topics.

masz mozliosc uruchomnienia tego z crona ?

No ale ja właśnie cały czas uruchamiam z crona.

Nie znam się zbytnio na php, pętlach i if-else ale coś mi się w tych warunkach nie podoba... dokonałem niewielkiej modyfikacji kodu i teraz wygląda on tak

public function generate()
       {
               if($this->settings['sitemap_priority_topics'] == 0)
               {
                       return;
               }

               $maxTopics = (int)$this->settings['sitemap_recent_topics'];

               if(!ipSeo_SitemapGenerator::isCronJob() && ($maxTopics > 10000 || $maxTopics == -1))
               {
                       $maxTopics = 50000;
               }
               elseif(ipSeo_SitemapGenerator::isCronJob() && $maxTopics == -1)
               {
                       $maxTopics = 50000000;
               }

efektem jest wygenerowanie 3 plików map a zapis last run wygląda tak:

14:51:01 - - - Running plugin: topics
14:52:09 - - - - Generated 3 sitemaps.
14:52:09 - - - - - File 1, added 10000 URLs.
14:52:09 - - - - - File 2, added 10000 URLs.
14:52:09 - - - - - File 3, added 7376 URLs.

Edytowane 5 Marca 2011 przez ambrella