Автор Тема: В тестовом режиме работает сервер поиска магнет ссылок.  (Прочитано 3819 раз)

Оффлайн spacelib

  • Новичок
  • *
  • Сообщений: 1
  • Карма: +0/-0
Внимание!

В тестовом режиме работает сервер поиска магнет ссылок. Адрес http://dc-poisk.no-ip.org:17000 . Пока проиндексировано около 1591186 документов (pdf,djvu,chm) и видеофайлов.

пример: поиск мультика «Вольт»

1. magnet [(comhem)Xisz] \ filmas \ Russian Movies \ BolT (ВОЛЬТ)CAMRip ...
magnet [(ADSL)Pozd] \ DLoad \ Volt.2008.L1.CAMRip.ELEKTRI4KA.avi. magnet [(comhem)Xisz] \ filmas \ Russian Movies \ BolT (ВОЛЬТ)CAMRip.ELEKTRI4KA ...
magnet [AVAT] \ Фильмы \ Вольт [Bolt.2008.L1.CAM.EL4].avi.
magnet [CLIPS] \ FILMS \ Мульты \ Вольт(2008).avi.
E:\video\ZX\ZX2AUJ3P32BHTMA53DJKHHBFV7EFZ3RLJ44HAPY722624512.SpaceLib.html 26 Дек 2008, 01:26 — Найденные слова

и т.д.

индексировались актвные юзеры с dc.ozerki.net , dc.lanport.ru , «толстый кот» и dchub://library.loopback.nu:411 .

Сам сервер это Yandex.Server-FREE-010-3.8.3 , который индексирует html файлы созданные SSearch.exe ( http://spacelib.narod.ru/p_ssearch_adv.html ) из списков файлов пользователей хабов (см. раздел Турбо-Поиск).

Данный проект «демо», самому мне некогда заниматься этим серьезно, да и канала хорошего нет. Основная задача показать возможность легкого создания серверов поиска магнет ссылок и привлечь внимание админов хабов к организации полнотекстового поиска. Современные поисковики сделали WWW удобным для быстрого поиска и извлечения информации. То же самое возможно и для Direct Connect сетей.
Яндекс бесплатно распространяет урезанную FREE версию своего поисковика, в надежде, что он в принципе не может создать конкуренцию его платной версии «Энтерпрайз». Однако и это возможно. Для этого надо создать виртуальную сеть поисковиков (из Yandex.Server-FREE), каждый из которых индексировал бы только свой тип файлов. Один – документы, другой видео, третий аудио, четвертый программы, пятый …. И т.д. в общем так , как это делает сам Яндекс. На главной форме http сервера юзер бы сам выбирал, какие типы файлов ему нужны, а уже с неё шли бы запросы к сети поисковиков, результат потом объединялся на http сервере и выдавался юзеру. Так можно балансировать нагрузку как по поиску так и по индексации магнет-ссылок. Отдельный поисковик надо заточить под самые свежие файлы расшаренные в сети, как это делает Яндекс при индексации форумов и новостных порталов.

Что касаемо моего проекта, примерно через неделю закончится индексация еще около 22 000 000  магнет ссылок на аудио файлы (это примерно 15 000 000  уникальных файлов) . Потом наступит очередь архивов и образов дисков.

Обращу особое внимание на тот факт, что любой может поднять у себя поиск по хабу  . Для этого нужны три программы:

ducsetup.exe - No-IP Dynamic Update Client (DUC) v2.2.1 (инструкция http://forums.nashalife.ru/showthread.php?s=&threadid=27754 )
Yandex.Server-FREE-010-3.8.3 (дока на русском в комплекте)
SSearch.exe (дока http://spacelib.narod.ru/p_ssearch_adv.html )

1. Сначала ставите и настраиваете No-IP Dynamic Update Client (внешнего трафика кушает на копейки).
2. Скачиваете файл-листы пользователей обычным клиентом и с помощью SSearch.exe превращаете их в множество html файлов (закладка Турбо-Поиск), где и хранится информация о магнет-ссылках.
3. Устанавливаете и настраиваете Yandex.Server. В качестве области индексирования выбираете папки с созданными ранее html файлами. Пример из yandex.cfg:

<DataSrc id="ftds">
<Ftds>

<Folder>
Path e:\doc
</Folder>

<Folder>
Path e:\video
</Folder>

<Extensions>
text/html: .html .htm .shtml
</Extensions>
</Ftds>
</DataSrc>

Если у вас безлимитный тариф, откройте порт в брандмауэре для Yandex.Server именно тот, который вы указали в yandex.cfg (по умолчанию 17000) и разрешите его для любого компьютера из сети. Иначе порт должен быть открыт только для локальных IP адресов, точно так же как и для стронга, Yandex.Server запускайте не как сервис, а как консоль (-d) в брандмауэре разрешите его ТОЛЬКО для локальных IP адресов. (Я, для локальной конфигурации сервер поиска не тестировал! Будьте осторожны! Нужны эксперименты, что-бы не попасть на трафик!).

Возможно вам еще потребуется настроить режим проброса порта (17000) на роутере, если он не в режиме «бридж».

Когда запустите сервер зайдите в админку и проиндексируйте все файлы, только после этого станет возможен поиск. Что бы самому увидеть и протестировать свой поисковый сервер, вам потребуется на него заходить через внешний прокси сервер, адреса ищите тут ( http://proxyfree.ru/ ).

 Важно: для Yandex.Server-FREE заведите отдельного пользователя, обрежте ему все права, запретите доступ ко всем дискам и папкам, кроме области индексирования и той папки куда он сам установлен. В конфиге yandex.cfg не используйте секцию <Authorization> , иначе ставте Yandex.Server-FREE в папку со случайным именем.


Ждем энтузиастов, которые займутся индексацией главного российского хаба!

 Некоторое обсуждение проекта можно почитать здесь http://forum.proc.ru/index.php?showtopic=43930
« Последнее редактирование: 31 Декабря 2008, 21:58 от spacelib »

Оффлайн Cuba

  • Модератор
  • Постоялец
  • ***
  • Сообщений: 167
  • Карма: +7/-9
Задумка неплохая, добавим ссылочку в шапку хаба.