Создание поисковой системы для программистов

[tarpedo]

Я бы стал этим заниматься только как возможность получения опыта в данной области.

это впринципе основное. монетизировать успешный проект никогда небыло проблем. а вот сделать его успешным - та еще задача.

Никаких копи/пасте с сайтов, а тока линки на них

есть небольшое уточнение - для того что бы наш поисковик не хавал бесполезный контент с сайта надо полезный текст копипастить в базу. он и будет индексироватся. нафига нам там меню. никаких лишних результатов.

но сейчас пишем алгоритмы по автоматизации - хотя это ущерб качеству.

[Вавел из ГМТУ]

Лучше создавать базу самописных(и не очень) функций и процедур. Хорошо прокоментированых и "как их юзать"...
Ну вот например иногда при поиске файлов нужно както определить все локальные диски..

{Возвращает список локальных дисков в виде строки. Пример: "CDE".}
Function ListDrives : String;
Const
  DRIVE_UNKNOWN = 0;
  DRIVE_NO_ROOT_DIR = 1;
  DRIVE_REMOVABLE = 2;
  DRIVE_FIXED = 3;
  DRIVE_REMOTE = 4;
  DRIVE_CDROM = 5;
  DRIVE_RAMDISK = 6;
Var
  r : LongWord;
  Drives : Array [0..128] Of Char;
  pDrive : PChar;
Begin
  r := GetLogicalDriveStrings(SizeOf(Drives), Drives);
  If r = 0 then Exit;
  If r > SizeOf(Drives) Then
  Raise Exception.Create(SysErrorMessage(ERROR_OUTOFMEMORY));
  pDrive := Drives;
  While pDrive^ <> #0 Do
    Begin
      If GetDriveType(pDrive) = DRIVE_FIXED Then Result := Result + (pDrive[0]);
      Inc(pDrive, 4);
   End;
End;

[tarpedo]

Вавел - как другой проект то да. а так - сорри, немного не в тему.

Ты имеешь в виду что то по типу сайта http://www.phpclasses.org/ только под все языки программирования?

тоже не плохая иде но совсем другая )))

[pu4koff]

Сообщение от tarpedo

есть небольшое уточнение - для того что бы наш поисковик не хавал бесполезный контент с сайта надо полезный текст копипастить в базу. он и будет индексироватся. нафига нам там меню. никаких лишних результатов.

Ну без этого никуда. Копи/пасты во всяких википедиях, Delphi World'ах и других сборниках статей.
Хотя, на всякий случай, желательно сделать возможность просмотра проиндексированного содержимого, а то страничку с нужной инфой убьют и нигде не найдешь.
В связи с этим возникла мыслишка: одни и те же статьи легко встретить на разных сайтах. На каждую из них создавать запись в базе для индексации - муторно, ибо вручную, да и выпадет при поиске список на 5 страниц с одной и той же статьей. Добавлять один только сайт в базу, а на остальные тупо забить - информация потеряется, если этот сайт умрёт. Можно подумать над чем-то вроде "зеркал" (для одной записи в базе хранить несколько ссылок). Ну это я так... мысли вслух. Вдруг интересно кому будет
Вавел из ГМТУ, ну так одно другому не мешает, а такой поисковик вполне может способствовать появлению ресурсов с такими функциями.

[tarpedo]

Хотя, на всякий случай, желательно сделать возможность просмотра проиндексированного содержимого, а то страничку с нужной инфой убьют и нигде не найдешь.

само собой будет кеш.

информация потеряется, если этот сайт умрёт.

с кешем не потеряется а так предполагается хранить ссылку на сайт первоисточник.

[crazy horse]

У меня есть тоже мысли на этот счет. Пожалуйста, не воспринимайте их в штыки, а просто подумайте над ними:
Я вижу смысл лезть на подобный ресурс, только если не справился гугл или встроенная система хелпа. Практически ни разу еще не подводило, задумайтесь - какая у вашего сайта будет посещаемость? Программистов не так уж и много на свете, я имею ввиду тех, которые активно пишут, плюс ко всему, чем дальше я работаю, тем реже я пинаю гугл, поскольку в голове тоже что-то накапливается. Чаще всего объектом моих относительно регулярных посещений становятся сайты разрабов языка/фреймворков и толковые сайты, посвященные данному языку. Такие сайты, относящиеся к моей среде, я могу перечислить на память во сне. Едем дальше. Для повседневных задач, к которым не относится написание программ, мне очень удобно пользовать гугль. Поверьте, на поисковик со спецтематикой я полезу только в реееедком случае, если не сработает система расширенных запросов гугля и я к тому времени не забуду адрес вашего поисковика. За сим откланиваюсь, и надеюсь, что вы все хорошенько взвесите.

[tarpedo]

crazy horse - спасибо за критику

позволю откоментить ваш пост

все правильно за исключением одного. вы не берете во внимание те толпы начинающих "программистов" (в кавычках, так как они еще такими не являются). необходимость для них в таком ресурсе мне кажется наиболее весома.

да опытные программеры имеют наработки, готовую кучу самописных библиотек и просто коллосальный опыт.

но, мне вот буквально полгода назад пришлось перейти на сисадминство.
мой огромный багаж PHP и тп. веб, оказался просто не нужен.

PERL freebsd совсем другие. за полгода я перерыл стоко интернета и продолжаю что это просто нельзя трезво окинуть взглядом. постоянно открытые и обновляемые три фаерфокса с новыми кждый день 50 активными вкладками дают о себе знать. установка и конфигурирование биллинга включая фаерволы - теперь я это делаю с закрытыми глазами. поднять DC, OpenFire, ICq сервер тож не проблема, в плоть до написания ssl сервера на perl для удаленного обслуживания с мобильного телефона.

суммируя - если б я все действительно полезные статьи за это время мог преподнести кому нить я бы чесно - был очень рад. ведь на поиски даже маленького кусочка правильного конфига может уйти не один день чтения мануалов и гугли. аналогии я уверен можно провести и в системном и в веб программировании. а таких случаев я уверен не один.

[DeKot]

вы не берете во внимание те толпы начинающих "программистов" (в кавычках, так как они еще такими не являются).

Как показывает практика даного форума, да и других также, как раз так называемые "начинающие программисты" в основной своей массе просто не желают пользоваться поиском где либо.А в основном "памагите" и "help". Поэтому любой профилировнный поисковик в основном используется узким кругом специалистов, которых то как раз и не масса, а наоборот ограниченое число.

[BaronTreep]

наполняется вручную - низкая скорость. хотя если общественность поддержит то гугля и рядом лежать не будет

Как раз наоборот. При интелектульном анализе контента (чем google славится), авто метод на порядок превосходит. Например: у вас есть 3000 кластеров по 1000 компов как у проф. поисковиков?

Насчет php - google писали, что для аналитической части python используется.

Есть спец. поисковики у того же гугла:
www.google.com/linux
и ещё другие, щас не помню.

Вобщем "цель оправдывается средствами". Средств нет (? для серьезного проекта ?). Цели нет - пока не сталкивался с тем, чтобы google/yandex чего то не нашел.

[alexinspir]

...
http://www.google.com/codesearch
http://www.google.com/bsd
http://www.google.com/mac

все уже есть... однако я за конкуренцию.
если ваш продукт покажет большую эффективность нежели google - естественно им будут пользоваться. (имхо качество поиска яндекса оставляет желать лучшего + интерфейс немного неудобный и куча НЕ контекстной рекламы)