Работа с частотным словарем

@ganiev1 · Регистрация: 02.12.2010

Author24 — интернет-сервис помощи студентам

Доброго времени суток.
Необходимо из большого файла ~100Мб загрузить в map пару (ключ, значение), где ключ это string слово, а значение int - какое-то число (частота его повторений в разных текстах).
Вот пример из текстового файла

Код

adsd 10
cfff 30
ddd 40
ddx 50
ddc 30
feee 10
gffff 50
vsd 10

Поскольку файл довольно большой, то я загружаю его полностью в в один большой string и из этого string'a делаю строковой поток, чтобы можно было читать его, как будто это файл.

C++

typedef map <string, int> map_sl;
 
int main()
{
    map_sl w_dict;
    string key;
    int value;
 
    ifstream in("hello.dic");
    istreambuf_iterator<char> it(in);
    string contents(it,std::istreambuf_iterator<char>());
    istringstream mstr(contents);
    while (!mstr.eof())
    {
        mstr >> key >> value;
        w_dict.insert(make_pair(key,value));
    }

Считывание из файла в строку занимает 1,5 секунды , а вот из строки в map считывание занимает бесконечное количество времени.
Можно ли ускорить это дело или лучше использовать нечто совсем другое?
Используемая среда VS 2012

alsav22 · 28.06.2014, 04:28

Сообщение от ganiev1

Поскольку файл довольно большой, то я загружаю его полностью в в один большой string и из этого string'a делаю строковой поток, чтобы можно было читать его, как будто это файл.

Смысл? Можно просто из файла читать:

C++

1
2
3

 
while (in >> key >> value)
    w_dict.insert(make_pair(key, value));

@SlavaSSU · 28.06.2014, 09:31

ganiev1, захешировать строки и делать map<long long, int> M?

@SlavaSSU 221 / 166 / 47 Регистрация: 17.07.2012 Сообщений: 587
	28.06.2014, 09:31	3
	ganiev1, захешировать строки и делать map<long long, int> M? 0