zone.c

   1 /*
   2 Copyright (C) 1996-1997 Id Software, Inc.
   3
   4 This program is free software; you can redistribute it and/or
   5 modify it under the terms of the GNU General Public License
   6 as published by the Free Software Foundation; either version 2
   7 of the License, or (at your option) any later version.
   8
   9 This program is distributed in the hope that it will be useful,
  10 but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
  12
  13 See the GNU General Public License for more details.
  14
  15 You should have received a copy of the GNU General Public License
  16 along with this program; if not, write to the Free Software
  17 Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  18
  19 */
  20 // Z_zone.c
  21
  22 #include "quakedef.h"
  23
  24 cvar_t developer_memory = {0, "developer_memory", "0", "prints debugging information about memory allocations"};
  25 cvar_t developer_memorydebug = {0, "developer_memorydebug", "0", "enables memory corruption checks (very slow)"};
  26
  27 mempool_t *poolchain = NULL;
  28
  29 void *_Mem_Alloc(mempool_t *pool, size_t size, const char *filename, int fileline)
  30 {
  31 #if MEMCLUMPING
  32         int i, j, k, needed, endbit, largest;
  33         memclump_t *clump, **clumpchainpointer;
  34 #endif
  35         memheader_t *mem;
  36         if (size <= 0)
  37                 return NULL;
  38         if (pool == NULL)
  39                 Sys_Error("Mem_Alloc: pool == NULL (alloc at %s:%i)", filename, fileline);
  40         if (developer.integer && developer_memory.integer)
  41                 Con_Printf("Mem_Alloc: pool %s, file %s:%i, size %i bytes\n", pool->name, filename, fileline, size);
  42         if (developer.integer && developer_memorydebug.integer)
  43                 _Mem_CheckSentinelsGlobal(filename, fileline);
  44         pool->totalsize += size;
  45 #if MEMCLUMPING
  46         if (size < 4096)
  47         {
  48                 // clumping
  49                 needed = (sizeof(memheader_t) + size + sizeof(int) + (MEMUNIT - 1)) / MEMUNIT;
  50                 endbit = MEMBITS - needed;
  51                 for (clumpchainpointer = &pool->clumpchain;*clumpchainpointer;clumpchainpointer = &(*clumpchainpointer)->chain)
  52                 {
  53                         clump = *clumpchainpointer;
  54                         if (clump->sentinel1 != MEMCLUMP_SENTINEL)
  55                                 Sys_Error("Mem_Alloc: trashed clump sentinel 1 (alloc at %s:%d)", filename, fileline);
  56                         if (clump->sentinel2 != MEMCLUMP_SENTINEL)
  57                                 Sys_Error("Mem_Alloc: trashed clump sentinel 2 (alloc at %s:%d)", filename, fileline);
  58                         if (clump->largestavailable >= needed)
  59                         {
  60                                 largest = 0;
  61                                 for (i = 0;i < endbit;i++)
  62                                 {
  63                                         if (clump->bits[i >> 5] & (1 << (i & 31)))
  64                                                 continue;
  65                                         k = i + needed;
  66                                         for (j = i;i < k;i++)
  67                                                 if (clump->bits[i >> 5] & (1 << (i & 31)))
  68                                                         goto loopcontinue;
  69                                         goto choseclump;
  70         loopcontinue:;
  71                                         if (largest < j - i)
  72                                                 largest = j - i;
  73                                 }
  74                                 // since clump falsely advertised enough space (nothing wrong
  75                                 // with that), update largest count to avoid wasting time in
  76                                 // later allocations
  77                                 clump->largestavailable = largest;
  78                         }
  79                 }
  80                 pool->realsize += sizeof(memclump_t);
  81                 clump = malloc(sizeof(memclump_t));
  82                 if (clump == NULL)
  83                         Sys_Error("Mem_Alloc: out of memory (alloc at %s:%i)", filename, fileline);
  84                 memset(clump, 0, sizeof(memclump_t));
  85                 *clumpchainpointer = clump;
  86                 clump->sentinel1 = MEMCLUMP_SENTINEL;
  87                 clump->sentinel2 = MEMCLUMP_SENTINEL;
  88                 clump->chain = NULL;
  89                 clump->blocksinuse = 0;
  90                 clump->largestavailable = MEMBITS - needed;
  91                 j = 0;
  92 choseclump:
  93                 mem = (memheader_t *)((unsigned char *) clump->block + j * MEMUNIT);
  94                 mem->clump = clump;
  95                 clump->blocksinuse += needed;
  96                 for (i = j + needed;j < i;j++)
  97                         clump->bits[j >> 5] |= (1 << (j & 31));
  98         }
  99         else
 100         {
 101                 // big allocations are not clumped
 102 #endif
 103                 pool->realsize += sizeof(memheader_t) + size + sizeof(int);
 104                 mem = (memheader_t *)malloc(sizeof(memheader_t) + size + sizeof(int));
 105                 if (mem == NULL)
 106                         Sys_Error("Mem_Alloc: out of memory (alloc at %s:%i)", filename, fileline);
 107 #if MEMCLUMPING
 108                 mem->clump = NULL;
 109         }
 110 #endif
 111         mem->filename = filename;
 112         mem->fileline = fileline;
 113         mem->size = size;
 114         mem->pool = pool;
 115         mem->sentinel1 = MEMHEADER_SENTINEL1;
 116         // we have to use only a single byte for this sentinel, because it may not be aligned, and some platforms can't use unaligned accesses
 117         *((unsigned char *) mem + sizeof(memheader_t) + mem->size) = MEMHEADER_SENTINEL2;
 118         // append to head of list
 119         mem->next = pool->chain;
 120         mem->prev = NULL;
 121         pool->chain = mem;
 122         if (mem->next)
 123                 mem->next->prev = mem;
 124         memset((void *)((unsigned char *) mem + sizeof(memheader_t)), 0, mem->size);
 125         return (void *)((unsigned char *) mem + sizeof(memheader_t));
 126 }
 127
 128 // only used by _Mem_Free and _Mem_FreePool
 129 static void _Mem_FreeBlock(memheader_t *mem, const char *filename, int fileline)
 130 {
 131 #if MEMCLUMPING
 132         int i, firstblock, endblock;
 133         memclump_t *clump, **clumpchainpointer;
 134 #endif
 135         mempool_t *pool;
 136         if (mem->sentinel1 != MEMHEADER_SENTINEL1)
 137                 Sys_Error("Mem_Free: trashed header sentinel 1 (alloc at %s:%i, free at %s:%i)", mem->filename, mem->fileline, filename, fileline);
 138         if (*((unsigned char *) mem + sizeof(memheader_t) + mem->size) != MEMHEADER_SENTINEL2)
 139                 Sys_Error("Mem_Free: trashed header sentinel 2 (alloc at %s:%i, free at %s:%i)", mem->filename, mem->fileline, filename, fileline);
 140         pool = mem->pool;
 141         if (developer.integer && developer_memory.integer)
 142                 Con_Printf("Mem_Free: pool %s, alloc %s:%i, free %s:%i, size %i bytes\n", pool->name, mem->filename, mem->fileline, filename, fileline, mem->size);
 143         // unlink memheader from doubly linked list
 144         if ((mem->prev ? mem->prev->next != mem : pool->chain != mem) || (mem->next && mem->next->prev != mem))
 145                 Sys_Error("Mem_Free: not allocated or double freed (free at %s:%i)", filename, fileline);
 146         if (mem->prev)
 147                 mem->prev->next = mem->next;
 148         else
 149                 pool->chain = mem->next;
 150         if (mem->next)
 151                 mem->next->prev = mem->prev;
 152         // memheader has been unlinked, do the actual free now
 153         pool->totalsize -= mem->size;
 154 #if MEMCLUMPING
 155         if ((clump = mem->clump))
 156         {
 157                 if (clump->sentinel1 != MEMCLUMP_SENTINEL)
 158                         Sys_Error("Mem_Free: trashed clump sentinel 1 (free at %s:%i)", filename, fileline);
 159                 if (clump->sentinel2 != MEMCLUMP_SENTINEL)
 160                         Sys_Error("Mem_Free: trashed clump sentinel 2 (free at %s:%i)", filename, fileline);
 161                 firstblock = ((unsigned char *) mem - (unsigned char *) clump->block);
 162                 if (firstblock & (MEMUNIT - 1))
 163                         Sys_Error("Mem_Free: address not valid in clump (free at %s:%i)", filename, fileline);
 164                 firstblock /= MEMUNIT;
 165                 endblock = firstblock + ((sizeof(memheader_t) + mem->size + sizeof(int) + (MEMUNIT - 1)) / MEMUNIT);
 166                 clump->blocksinuse -= endblock - firstblock;
 167                 // could use &, but we know the bit is set
 168                 for (i = firstblock;i < endblock;i++)
 169                         clump->bits[i >> 5] -= (1 << (i & 31));
 170                 if (clump->blocksinuse <= 0)
 171                 {
 172                         // unlink from chain
 173                         for (clumpchainpointer = &pool->clumpchain;*clumpchainpointer;clumpchainpointer = &(*clumpchainpointer)->chain)
 174                         {
 175                                 if (*clumpchainpointer == clump)
 176                                 {
 177                                         *clumpchainpointer = clump->chain;
 178                                         break;
 179                                 }
 180                         }
 181                         pool->realsize -= sizeof(memclump_t);
 182                         memset(clump, 0xBF, sizeof(memclump_t));
 183                         free(clump);
 184                 }
 185                 else
 186                 {
 187                         // clump still has some allocations
 188                         // force re-check of largest available space on next alloc
 189                         clump->largestavailable = MEMBITS - clump->blocksinuse;
 190                 }
 191         }
 192         else
 193         {
 194 #endif
 195                 pool->realsize -= sizeof(memheader_t) + mem->size + sizeof(int);
 196                 if (developer_memorydebug.integer)
 197                         memset(mem, 0xBF, sizeof(memheader_t) + mem->size + sizeof(int));
 198                 free(mem);
 199 #if MEMCLUMPING
 200         }
 201 #endif
 202 }
 203
 204 void _Mem_Free(void *data, const char *filename, int fileline)
 205 {
 206         if (data == NULL)
 207                 Sys_Error("Mem_Free: data == NULL (called at %s:%i)", filename, fileline);
 208
 209         if (developer.integer && developer_memorydebug.integer)
 210         {
 211                 _Mem_CheckSentinelsGlobal(filename, fileline);
 212                 if (!Mem_IsAllocated(NULL, data))
 213                         Sys_Error("Mem_Free: data is not allocated (called at %s:%i)", filename, fileline);
 214         }
 215
 216         _Mem_FreeBlock((memheader_t *)((unsigned char *) data - sizeof(memheader_t)), filename, fileline);
 217 }
 218
 219 mempool_t *_Mem_AllocPool(const char *name, int flags, mempool_t *parent, const char *filename, int fileline)
 220 {
 221         mempool_t *pool;
 222         if (developer.integer && developer_memorydebug.integer)
 223                 _Mem_CheckSentinelsGlobal(filename, fileline);
 224         pool = (mempool_t *)malloc(sizeof(mempool_t));
 225         if (pool == NULL)
 226                 Sys_Error("Mem_AllocPool: out of memory (allocpool at %s:%i)", filename, fileline);
 227         memset(pool, 0, sizeof(mempool_t));
 228         pool->sentinel1 = MEMHEADER_SENTINEL1;
 229         pool->sentinel2 = MEMHEADER_SENTINEL1;
 230         pool->filename = filename;
 231         pool->fileline = fileline;
 232         pool->flags = flags;
 233         pool->chain = NULL;
 234         pool->totalsize = 0;
 235         pool->realsize = sizeof(mempool_t);
 236         strlcpy (pool->name, name, sizeof (pool->name));
 237         pool->parent = parent;
 238         pool->next = poolchain;
 239         poolchain = pool;
 240         return pool;
 241 }
 242
 243 void _Mem_FreePool(mempool_t **poolpointer, const char *filename, int fileline)
 244 {
 245         mempool_t *pool = *poolpointer;
 246         mempool_t **chainaddress, *iter, *temp;
 247
 248         if (developer.integer && developer_memorydebug.integer)
 249                 _Mem_CheckSentinelsGlobal(filename, fileline);
 250         if (pool)
 251         {
 252                 // unlink pool from chain
 253                 for (chainaddress = &poolchain;*chainaddress && *chainaddress != pool;chainaddress = &((*chainaddress)->next));
 254                 if (*chainaddress != pool)
 255                         Sys_Error("Mem_FreePool: pool already free (freepool at %s:%i)", filename, fileline);
 256                 if (pool->sentinel1 != MEMHEADER_SENTINEL1)
 257                         Sys_Error("Mem_FreePool: trashed pool sentinel 1 (allocpool at %s:%i, freepool at %s:%i)", pool->filename, pool->fileline, filename, fileline);
 258                 if (pool->sentinel2 != MEMHEADER_SENTINEL1)
 259                         Sys_Error("Mem_FreePool: trashed pool sentinel 2 (allocpool at %s:%i, freepool at %s:%i)", pool->filename, pool->fileline, filename, fileline);
 260                 *chainaddress = pool->next;
 261
 262                 // free memory owned by the pool
 263                 while (pool->chain)
 264                         _Mem_FreeBlock(pool->chain, filename, fileline);
 265
 266                 // free child pools, too
 267                 for(iter = poolchain; iter; temp = iter = iter->next)
 268                         if(iter->parent == pool)
 269                                 _Mem_FreePool(&temp, filename, fileline);
 270
 271                 // free the pool itself
 272                 memset(pool, 0xBF, sizeof(mempool_t));
 273                 free(pool);
 274
 275                 *poolpointer = NULL;
 276         }
 277 }
 278
 279 void _Mem_EmptyPool(mempool_t *pool, const char *filename, int fileline)
 280 {
 281         mempool_t *chainaddress;
 282
 283         if (developer.integer && developer_memorydebug.integer)
 284         {
 285                 _Mem_CheckSentinelsGlobal(filename, fileline);
 286                 // check if this pool is in the poolchain
 287                 for (chainaddress = poolchain;chainaddress;chainaddress = chainaddress->next)
 288                         if (chainaddress == pool)
 289                                 break;
 290                 if (!chainaddress)
 291                         Sys_Error("Mem_EmptyPool: pool is already free (emptypool at %s:%i)", filename, fileline);
 292         }
 293         if (pool == NULL)
 294                 Sys_Error("Mem_EmptyPool: pool == NULL (emptypool at %s:%i)", filename, fileline);
 295         if (pool->sentinel1 != MEMHEADER_SENTINEL1)
 296                 Sys_Error("Mem_EmptyPool: trashed pool sentinel 1 (allocpool at %s:%i, emptypool at %s:%i)", pool->filename, pool->fileline, filename, fileline);
 297         if (pool->sentinel2 != MEMHEADER_SENTINEL1)
 298                 Sys_Error("Mem_EmptyPool: trashed pool sentinel 2 (allocpool at %s:%i, emptypool at %s:%i)", pool->filename, pool->fileline, filename, fileline);
 299
 300         // free memory owned by the pool
 301         while (pool->chain)
 302                 _Mem_FreeBlock(pool->chain, filename, fileline);
 303
 304         // empty child pools, too
 305         for(chainaddress = poolchain; chainaddress; chainaddress = chainaddress->next)
 306                 if(chainaddress->parent == pool)
 307                         _Mem_EmptyPool(chainaddress, filename, fileline);
 308
 309 }
 310
 311 void _Mem_CheckSentinels(void *data, const char *filename, int fileline)
 312 {
 313         memheader_t *mem;
 314
 315         if (data == NULL)
 316                 Sys_Error("Mem_CheckSentinels: data == NULL (sentinel check at %s:%i)", filename, fileline);
 317
 318         mem = (memheader_t *)((unsigned char *) data - sizeof(memheader_t));
 319         if (mem->sentinel1 != MEMHEADER_SENTINEL1)
 320                 Sys_Error("Mem_CheckSentinels: trashed header sentinel 1 (block allocated at %s:%i, sentinel check at %s:%i)", mem->filename, mem->fileline, filename, fileline);
 321         if (*((unsigned char *) mem + sizeof(memheader_t) + mem->size) != MEMHEADER_SENTINEL2)
 322                 Sys_Error("Mem_CheckSentinels: trashed header sentinel 2 (block allocated at %s:%i, sentinel check at %s:%i)", mem->filename, mem->fileline, filename, fileline);
 323 }
 324
 325 #if MEMCLUMPING
 326 static void _Mem_CheckClumpSentinels(memclump_t *clump, const char *filename, int fileline)
 327 {
 328         // this isn't really very useful
 329         if (clump->sentinel1 != MEMCLUMP_SENTINEL)
 330                 Sys_Error("Mem_CheckClumpSentinels: trashed sentinel 1 (sentinel check at %s:%i)", filename, fileline);
 331         if (clump->sentinel2 != MEMCLUMP_SENTINEL)
 332                 Sys_Error("Mem_CheckClumpSentinels: trashed sentinel 2 (sentinel check at %s:%i)", filename, fileline);
 333 }
 334 #endif
 335
 336 void _Mem_CheckSentinelsGlobal(const char *filename, int fileline)
 337 {
 338         memheader_t *mem;
 339 #if MEMCLUMPING
 340         memclump_t *clump;
 341 #endif
 342         mempool_t *pool;
 343         for (pool = poolchain;pool;pool = pool->next)
 344         {
 345                 if (pool->sentinel1 != MEMHEADER_SENTINEL1)
 346                         Sys_Error("Mem_CheckSentinelsGlobal: trashed pool sentinel 1 (allocpool at %s:%i, sentinel check at %s:%i)", pool->filename, pool->fileline, filename, fileline);
 347                 if (pool->sentinel2 != MEMHEADER_SENTINEL1)
 348                         Sys_Error("Mem_CheckSentinelsGlobal: trashed pool sentinel 2 (allocpool at %s:%i, sentinel check at %s:%i)", pool->filename, pool->fileline, filename, fileline);
 349         }
 350         for (pool = poolchain;pool;pool = pool->next)
 351                 for (mem = pool->chain;mem;mem = mem->next)
 352                         _Mem_CheckSentinels((void *)((unsigned char *) mem + sizeof(memheader_t)), filename, fileline);
 353 #if MEMCLUMPING
 354         for (pool = poolchain;pool;pool = pool->next)
 355                 for (clump = pool->clumpchain;clump;clump = clump->chain)
 356                         _Mem_CheckClumpSentinels(clump, filename, fileline);
 357 #endif
 358 }
 359
 360 qboolean Mem_IsAllocated(mempool_t *pool, void *data)
 361 {
 362         memheader_t *header;
 363         memheader_t *target;
 364
 365         if (pool)
 366         {
 367                 // search only one pool
 368                 target = (memheader_t *)((unsigned char *) data - sizeof(memheader_t));
 369                 for( header = pool->chain ; header ; header = header->next )
 370                         if( header == target )
 371                                 return true;
 372         }
 373         else
 374         {
 375                 // search all pools
 376                 for (pool = poolchain;pool;pool = pool->next)
 377                         if (Mem_IsAllocated(pool, data))
 378                                 return true;
 379         }
 380         return false;
 381 }
 382
 383
 384 // used for temporary memory allocations around the engine, not for longterm
 385 // storage, if anything in this pool stays allocated during gameplay, it is
 386 // considered a leak
 387 mempool_t *tempmempool;
 388 // only for zone
 389 mempool_t *zonemempool;
 390
 391 void Mem_PrintStats(void)
 392 {
 393         size_t count = 0, size = 0, realsize = 0;
 394         mempool_t *pool;
 395         memheader_t *mem;
 396         Mem_CheckSentinelsGlobal();
 397         for (pool = poolchain;pool;pool = pool->next)
 398         {
 399                 count++;
 400                 size += pool->totalsize;
 401                 realsize += pool->realsize;
 402         }
 403         Con_Printf("%lu memory pools, totalling %lu bytes (%.3fMB)\n", (unsigned long)count, (unsigned long)size, size / 1048576.0);
 404         Con_Printf("total allocated size: %lu bytes (%.3fMB)\n", (unsigned long)realsize, realsize / 1048576.0);
 405         for (pool = poolchain;pool;pool = pool->next)
 406         {
 407                 if ((pool->flags & POOLFLAG_TEMP) && pool->chain)
 408                 {
 409                         Con_Printf("Memory pool %p has sprung a leak totalling %lu bytes (%.3fMB)!  Listing contents...\n", pool, (unsigned long)pool->totalsize, pool->totalsize / 1048576.0);
 410                         for (mem = pool->chain;mem;mem = mem->next)
 411                                 Con_Printf("%10lu bytes allocated at %s:%i\n", (unsigned long)mem->size, mem->filename, mem->fileline);
 412                 }
 413         }
 414 }
 415
 416 void Mem_PrintList(size_t minallocationsize)
 417 {
 418         mempool_t *pool;
 419         memheader_t *mem;
 420         Mem_CheckSentinelsGlobal();
 421         Con_Print("memory pool list:\n"
 422                    "size    name\n");
 423         for (pool = poolchain;pool;pool = pool->next)
 424         {
 425                 Con_Printf("%10luk (%10luk actual) %s (%+li byte change) %s\n", (unsigned long) ((pool->totalsize + 1023) / 1024), (unsigned long)((pool->realsize + 1023) / 1024), pool->name, (long)pool->totalsize - pool->lastchecksize, (pool->flags & POOLFLAG_TEMP) ? "TEMP" : "");
 426                 pool->lastchecksize = pool->totalsize;
 427                 for (mem = pool->chain;mem;mem = mem->next)
 428                         if (mem->size >= minallocationsize)
 429                                 Con_Printf("%10lu bytes allocated at %s:%i\n", (unsigned long)mem->size, mem->filename, mem->fileline);
 430         }
 431 }
 432
 433 void MemList_f(void)
 434 {
 435         switch(Cmd_Argc())
 436         {
 437         case 1:
 438                 Mem_PrintList(1<<30);
 439                 Mem_PrintStats();
 440                 break;
 441         case 2:
 442                 Mem_PrintList(atoi(Cmd_Argv(1)) * 1024);
 443                 Mem_PrintStats();
 444                 break;
 445         default:
 446                 Con_Print("MemList_f: unrecognized options\nusage: memlist [all]\n");
 447                 break;
 448         }
 449 }
 450
 451 extern void R_TextureStats_Print(qboolean printeach, qboolean printpool, qboolean printtotal);
 452 void MemStats_f(void)
 453 {
 454         Mem_CheckSentinelsGlobal();
 455         R_TextureStats_Print(false, false, true);
 456         Mem_PrintStats();
 457 }
 458
 459
 460 /*
 461 ========================
 462 Memory_Init
 463 ========================
 464 */
 465 void Memory_Init (void)
 466 {
 467         poolchain = NULL;
 468         tempmempool = Mem_AllocPool("Temporary Memory", POOLFLAG_TEMP, NULL);
 469         zonemempool = Mem_AllocPool("Zone", 0, NULL);
 470 }
 471
 472 void Memory_Shutdown (void)
 473 {
 474 //      Mem_FreePool (&zonemempool);
 475 //      Mem_FreePool (&tempmempool);
 476 }
 477
 478 void Memory_Init_Commands (void)
 479 {
 480         Cmd_AddCommand ("memstats", MemStats_f, "prints memory system statistics");
 481         Cmd_AddCommand ("memlist", MemList_f, "prints memory pool information (or if used as memlist 5 lists individual allocations of 5K or larger, 0 lists all allocations)");
 482         Cvar_RegisterVariable (&developer_memory);
 483         Cvar_RegisterVariable (&developer_memorydebug);
 484 }
 485