Ну что попробуем создать?

"закусывать надо" (с)

Не пью вообще =)
Уже практически сделал поисковой движок. Запущусь в июне-июле. Скорость поиска примерно в тысячу (!) раз быстрее чем в Гугле.
В Гугле поиск происходит в среднем за 0,15 секунды, а у меня за 0.0001 (на моем компе, на сервере должно быть еще быстрее). Все за счет моей базы данных. Она позволяет на средненьком компе совершать около 1,5 миллиона запросов, при этом нагрузка на 4 ядерный проц (qx6700) всего 60%. Для примера, в яндексе за секунду совершают всего 10000 поисковых запросов, так что по сути одного сервера с лихвой хватит для всего рунета. Сервер для начала будет подключен к гигабитному порту (можно будет растянуть до 40 гигабит).

НУЖНЫ МНЕНИЯ ЧТО ДОБАВИТЬ/УДАЛИТЬ
Отличная защита от ддоса и прочих хакерских атак.
В поисковике также как и в Гугле результаты поиска будут выводиться в реалтайме (старый добрый AJAX). Вообще на сайте все будет на этой технологии, то есть по сути все будет происходить на одной странице без перезагрузки.
Результаты будут выводиться по 12 сайтов на каждой странице.
Возле каждого сайта будет указан его рейтинг (1-10 звездочек), отзывы, предупреждение (если на сайте имеется потенциальный вирус)
Самое главное - фильтрация сайтов. То есть, например, если страница сайта оптимизирована под поисковой запрос, но она совершенна ему не соответствует, то такой сайт можно банить. Это даст гораздо более качественный поиск, чем меньше левых сайтов, тем быстрее можно найти нужную информацию.
Нужна будет помощь, если не трудно, просто записывайте адреса всех гов...сайтов, на которых побывали, в текстовый файл и кидайте мне или в эту тему. В будущем буду за это платить. Сайты с посещаемостью меньше 10 человек в сутки будут автоматом баниться, их можно не указывать.

Позже напишу про остальные сервисы (по сути полноценные порталы). Если есть идеи - пишите.

ну надо же превзойти сам гугл ..... ты себя богом не чувствуешь ?

что говорит по этому поводу сам гугл, интересно было бы узнать

Не слушай болтунов. Делай, развивайся!

смысл сего мероприятия?

Заморочиться ))

Зачем Вам наши советы? Владея такими технологиями, Вы уже через несколько недель станете миллионером.

Завидуете? Не можете/хотите помочь человеку - не мешайте!

Да ладно. Никто не завидует. Однако, не верится, что человек придумал поисковый движок на два порядка быстрее самого Google.

А если это правда, то ему надо срочно это дело патентовать, а то останется у разбитого корыта. Вместо этого он спрашивает какие рюшечки на сайт навесить. Как-то не логично...

Что тут не логичного? Он кодом занимается, а не дизайном. Быть "все-в-одном" уже давным-давно не получается.

Не логично пустить на самотёк и в итоге потерять права на столь гениальный код.

хорошо. полтора миллиона запросов... какие запросы?
у вашей базы язык запросов типа SQL?
каков объем базы в котором производятся эти полтора миллиона запросов?

как объем одного запроса? я имею ввиду объем структуры данных запроса.

будьте добры стандартный запрос к базе напишите тут для сравнения с другими базами ) ну и объем данных необходимо знать ) и тип данных )

я занимался поиском, все уже придумано, а человек судя по всему велик очередной изобрел и не правильно сделал оценку производительности движка.

и что самое интересное всех абсолютно всех скорость гугла вполне устаивает ) то есть терятеся смысл...

Да пускай хоть огонь изобретает, вам жалко что ли?
Или вы хотите, чтобы он пиво дул в подъезде из-за того, что "все уже до нас изобретено"?
Откуда такая агрессия?

и пока мы не увидим хотя бы сырой но работающий продукт, так и будем швыряться ссаными тряпками

Хотите присвоить авторство?


Зачем так сразу человека разочаровывать?


Он ещё базу забаненных сайтов не досоздал!

KOM,
Это не агрессия, это от нечего делать. Лишь бы чего пописать.
Топикстартеру удачи в своих начинаниях.

Уже представляю заголовки Мэйла, "Создан убийца гугла"

причем тут авторство?

какое надо авторство я уже присвоил у меня у самого не слабый поисковый движок хотя цели иные

и кстати мой движек обрабытывает более чем 1 500 000 "запросов" в секунду ))) но опять же цели иные совсем и параметры я умолчу

к автору, меня интересует объем БД в котором производится выборка. в каком объеме данных производится поиск?

гуглевый движек делает выборку в базе размером в несколько миллиардов записей за доли секунды, на одном компе такую производительность физически организовать невозможно.

в общем удачи в начинаниях, надеюсь не сильно озадачил своими тупыми комментами !

если состоится торжественный спуск движка на просторы интернета, то я буду принимать ставки на какой минуте сервак захлебнется и потонет

Вот

Абсолютно все - и дизайн, и программный код делаю исключительно я. Мне нужны советы других пользователей, чтобы реально сделать все максимально удобным и полезным.


А кто его сможет получить? Если только работники хостера тупо придут и сольют инфу с хардов, но это практически нереально. Хостер отвечает за сохранность данных, доступ в датацентр имеют ограниченное количество лиц.

Важная характеристика моей базы заключается в том, что не имеет значение размер базы, хоть миллиарды ячеек, все равно доступ к нужной ячейки (или поиск) происходит практически мгновенно (наносекунды). Могу только сказать, что база всегда находится в оперативной памяти и через каждые 5 минут скидывается бэкап на хард.
Скорость-то устраивает, вот только принцип Гугла явно неправильный. Они стараются внести в свой индекс абсолютно все, даже самые отстойные сайты.
Мой принцип будет противоположным - минимальное количество НУЖНЫХ сайтов, для получения нужной информации. Часто сайты воруют информацию, то есть информация дублируется, мой движок будет убирать с поиска такие продублированные копии информации.

ой, зря ты это написал...

Да, знаю, что опасно. НО 2-3 сервера в кластере надежности не дадут помереть информации в случае выхода из строя одного сервера. Так что можно не беспокоиться.

"все равно доступ к нужной ячейки (или поиск) происходит практически мгновенно"

это ты по хэшам ищешь? хэш функцию сам придумал? ))) коллизии не тормозят процесс поиска?

сам гугль их система устраивает, мало того что все страницы в гугле проиндексированы они там еще и физически присутствуют то есть прокэшированы...

"Важная характеристика моей базы заключается в том, что не имеет значение размер базы"

это из разряда фантастики размер всегда имеет значение )))

блин какие хэши что я несу ) для полнотекстного поиска хэширование врятли вариант, тогда что? бойер-мур? ))))

Итак, один из сервисов (порталов) - социальная сеть. По сути будет система "портал в портале".
Отличия от вконтакте.ру
1. Как я и говорил, все будет происходить динамически без перезагрузки страницы. Стена пользователя по сути будет как чат.
2. Меняемый дизайн (можно будет менять фон, брендирование)
3. Все будет озвучено моим голосом (я проф. диктор). То есть например придет сообщение на стену и голос сразу сообщит, что "пришло сообщение от Васи Пупкина" и т.д.
4. Все функции скайпа, то есть можно будет подключить веб-камеру, оставлять голосовые и видеосообщения.
5. 4000 анимированных смайлов (вконтакте их нет вообще), удобно выбираемые.
6. ПОЛНОЕ ОТСУТСТВИЕ СПАМА. Не знаю чем занимаются "300 лучших умов России", что уже в течении 5 лет так и не могут справиться со спамом.
7. 10 видов динамических фотоальбомов на выбор.
8. Поддержка анимированных аваторов.
9. НИКТО НЕ БУДЕТ ПРОСИТЬСЯ В ДРУЗЬЯ, ЕСЛИ ОН ТЕБЕ НЕ ДРУГ, НИКТО НЕ БУДЕТ ОТМЕЧАТЬ НА ФОТОГРАФИИ, ЕСЛИ ТЕБЯ НА НЕЙ НЕТ И Т.Д. Эта проблема решается очень просто - если человек, например, делает запрос на добавление в друзья, а тот человек его отклоняет, то с него снимается -1% рейтинга. Если рейтинг упадет ниже определенного уровня, то автоматом - бан.

ЧТО ЕЩЕ МОЖНО ДОБАВИТЬ?

какой боер-мур Ярик, окстись)))
и прекращай каскадами постить

Принцип извлечения данных с индекса поисковика совершенно другой, чем при обычном запросе (наподобие sql)

нанопринцип

Можно и так назвать (учитывая скорость)

доооо, народ теперь точно толпами повалит!

Да забыл еще добавить, будет фильтр мата. А то бесит когда в статусе у пользователя "идите все на" и т.д.

нанофильтр

Нитро фтрук пайавилсо))

А ваще йа хачу на это пасматреть, довайте порадуемса за человека, у нево есть цель,мечта не знайу што правильнее))

да безусловно, реализуй все как говоришь посмотрим!

Не в тему конечно.
Мне вот интересно...как работает Track id.
Каким образом, по чёрти как записанному на микрофон отрывку музыки, сервис sony выдает информацию о композиции? Как происходит выборка. Да еще и с такой скоростью!!!!!!!!!!!!!!

нейронная сеть возможно, распознование текста звука и т.д. все не плохо нейронка реализует.

Это-то понятно что распознование и нейронная сеть. А вот скорость обработки. Из миллиардов композиций. И всего за 10-15 секунд.

я думаю там используется хэш куска песни как отпечаток пальца. программа (трэкайди или винамп) отправляет часть песни на сервер, там высчитывается хэш, по базе ищут наиболее похожие
т.е. фактически по базе идет поиск не мегабайтов а всего сотни если не десятков байтов

Но ведь распознает и дает ответ с любого места композиции. А не только припевов

совершенно точно. Создай тему, если интересно, там и порассуждаете

ну у них песни хранятся целиком
врятли нейронные сети у них используются

сорри за офф



нейронной сети плевать скольким композициям ее обучили, скорость вычисления от количества композиций не меняется, у нейронки основной параметр влияющий на скорость вычислений это количество слоев, если мне не изменяет память, ессно чем больше слоев тем больше может поглотить такая сеть...

а вообще я тут подумал асин прав скорее всего, некий хэш считается на весь трэк, как сичтается это уже отдельный разговор.

Как-то пробовал делать подобное. Ничего сложного. Загрузите любой трек в аудиоредактор. Что мы видим? Волновые формы с пиками (самые громкие моменты). Вот с помощью них и можно, так сказать, закодировать любой трек. Например пик громкостью -6db на первой секунде, -8 db на второй и т.д. Затем остается только сравнить кусок такого кода с уже имеющейся базой, в поиске можно задать допустимые отклонения (ведь пики могут быть разными в случае низкого качества материла или записи с микрофона).

Да если Вы такой гениальный программист, то бросайте к чёртовой матери эти поисковики! Напишите нам новую хорошую ОС! Что бы виндовые игрушки поддерживала и летала как MS-DOS на Пентиум4.

флай, тут чувак уже написал то что ты пытаешься реализовать вам надо скооперироваться! http://www.sql.ru/forum/actualthread.aspx?...708039&pg=1

по ссылке пройдите кто в теме, поржать можно от души.

кстати флай давай предложи тест протестим скорости ) я возьму любую бд ты свою ну и посмотрим )

Непонятно чего добивается автор. Лучше бы сделал свой проект и показал бы преимущества воочию. Бесят тупые комментарии ("!!11адын адын") офисного планктона сайта sql.ru(заняться им нечем, лучше б работали). А ведь таких полстраны.
Я лучше кину туда ссылку на уже готовый портал, пусть думают как такое реализовать на стандартных для них базах. Думаю тема тоже растянется там на страниц 500

ок флай, реализуешь незабудь сюда скинуть а вообще я тебе предложил письками меряться давай придумаем дельный тест

Куски кода выкладывать не буду